Luận văn thạc sĩ Kỹ thuật điện tử: Ứng dụng biến đổi Curvelet xử lý ảnh siêu phân giải và triển khai trên Kit ARM 32 bit

Hiện tại có rất nhiều phương pháp hồi phục ảnh nhưng đề tài chọn biến đổi curvelets cho nhiệm vụ này vì biến đổi curvelets được chứng minh có thể xử lý tốt các cạnh, đường cong và hướng

TRƯỜNG ĐẠI HỌC BÁCH KHOA

-

LÊ CAO KHOA

ỨNG DỤNG BIẾN ĐỔI CURVELET XỬ LÝ ẢNH SIÊU PHÂN GIẢI VÀ TRIỂN KHAI TRÊN

KIT ARM 32 BIT

Mã số: 605270

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, tháng 07 năm 2013

TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM

Cán bộ hướng dẫn khoa học : PGS.TS LÊ TIẾN THƯỜNG

TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ

I TÊN ĐỀ TÀI: Ứng dụng biến đổi Curvelet xử lý ảnh siêu phân giải và triển khai trên vi

điều khiển ARM 32-bit

II NHIỆM VỤ VÀ NỘI DUNG:

Đề tài gồm các nhiệm vụ và nội dung sau :

được công bố  Tìm hiểu về biến đổi Curvelets và các ưu nhược điểm của biến đổi này so với

biến đổi Wavelet và biến đổi Fourier truyền thống

gian tính toán cho ảnh siêu phân giải so với các giải thuật đưa ra trước đó

pháp đã có

kiến nghị các hướng phát triển khả dĩ cho đề tài nhằm khắc phục các nhược điểm này

bài báo để gởi cho hội nghị trong hoặc ngoài nước

Tp HCM, ngày 02 tháng 07 năm 2013

TRƯỞNG KHOA ĐIỆN-ĐIỆN TỬ

LỜI CẢM ƠN

Em xin bày tỏ lòng kính trọng và cảm ơn chân thành, sâu sắc đến thầy PGS.TS Lê Tiến Thường –Phó giáo sư Tiến sĩ Viễn Thông trường ĐHBK-ĐHQG TPHCM Thầy đã tận tình hướng dẫn, động viên, giúp đỡ và tạo mọi điều kiện tốt nhất để em hoàn thành luận văn tốt nghiệp này Những hướng dẫn về mặt khoa học cũng như những kinh nghiệm nghiên cứu khoa học mà thầy đã truyền đạt và chia sẻ cho em sẽ là những hành trang quý báu theo em suốt quá trình học tập và làm việc sau này Kính chúc thầy và gia đình nhiều sức khỏe và hạnh phúc, riêng thầy tiến xa trên con đường nghiên cứu khoa học

Em gửi lời cảm ơn chân thành đến quý thầy cô đang giảng dạy tại trường ĐHBK TPHCM, đặc biệt là các thầy cô trong khoa Điện-Điện tử, bộ môn Viễn Thông đã hết lòng dạy dỗ, truyền đạt kiến thức và những kinh nghiệm cho em trong khi học đại học cũng như học cao học Những kiến thức nền tảng mà quí thầy cô truyền dạy đã giúp đỡ em rất nhiều trong quá trình hoàn thành luận văn

Con vô cùng biết ơn cha mẹ, những người đã sinh thành, nuôi dưỡng, dạy dỗ con, quên mình giúp đỡ, động viên con trong mỗi bước đi của cuộc đời Con xin mãi nhớ ơn cha mẹ và kính chúc cha mẹ luôn dồi dào sức khỏe và tràn đầy hạnh phúc

Xin gửi lời cảm ơn các anh chị, các bạn đã giúp đỡ tôi trong suốt quá trình học tập và thực hiện luận văn Chúc các anh chị, các bạn nhiều sức khỏe và thành công trong cuộc sống

Tp Hồ Chí Minh tháng 06 năm 2013

Học viên Lê Cao Khoa

TÓM TẮT ĐỀ TÀI

Kĩ thuật siêu phân giải ảnh hướng đến việc trích càng nhiều thông tin từ các ảnh có độ phân giải thấp (ảnh LR) và điền vào một ảnh duy nhất (ảnh HR) để có được kết quả cuối cùng là ảnh HR có độ phân giải cao hơn- nhiều chi tiết hơn Kĩ thuật siêu phân giải ảnh gồm 3 bước chính: dự đoán chuyển động ảnh, hồi phục ảnh và giảm mờ cho ảnh Sự chính xác trong mỗi bước trên điều có ảnh hưởng lớn đến kết quả sau cùng

Luận văn này tập trung vào kĩ thuật phục hồi ảnh (restoration) mà cụ thể hơn đó là giải thuật nội suy ảnh Trong bài này, phương pháp của Keren được dùng cho quá trình dự đoán chuyển động để tạo lưới HR Hiện tại có rất nhiều phương pháp hồi phục ảnh nhưng đề tài chọn biến đổi curvelets cho nhiệm vụ này vì biến đổi curvelets được chứng minh có thể xử lý tốt các cạnh, đường cong và hướng và do vậy việc nội suy dựa trên biến đổi curvelets sẽ cho kết quả tốt hơn do các pixel lân cận nhau được cho là xấp xỉ tốt yếu tố cạnh và đường cong hơn so với yếu tố wavelets Do vậy trong đề tài này, biến đổi curvelets cùng với kĩ thuật nội suy 2 lần được đề xuất để tăng cường chất lượng ảnh sau cùng Giải thuật được hiện thực trên Mablab và trên phần cứng là kit ARM AT91SAM9RL-EK Trên phần cứng chỉ giải thuật nội suy trên miền curvelet là được áp dụng vì vậy matlab được dùng để xử lý các tham số ngõ vào như đọc, xuất ảnh, tính biến đổi curvelets và gởi/nhận dữ liệu từ cổng COM Kết quả có được từ phần cứng và Matlab được so sánh với nhau sau đó là so sánh và đánh giá với các phương pháp khác Bên cạnh đó, phương pháp đề xuất cũng được so sánh với nội suy lý tưởng để đánh giá sai lệch Phương pháp đề xuất đã được nộp cho hội nghị ATC 2013 (The 2013 International Conference on Advanced Technologied for Communications) tại Việt Nam

ABSTRACT

Super resolution technique aims to extract as much information from the LR images as possible These informations are inserted to one image to make the HR image which contains more detail than each LR images The super resolution technique includes 3 main steps: motion estimation, image restoration and deblurring The accuracy in each step has great influence to the final result, the HR image

My thesis focuses on the restoration technique, which in detail is the interporlation In this thesis, Keren estimation algorithm is utilized Currently, there are many methods, proposed for restoring the HR image Nevertheless, the curvelet transform is choosed for this task because it is proved to be well handling lines, edges and curves Thus, the curvelet transform is expected to expose better approximation for lines and curves than wavelets In this thesis, we proposed the double-interpolation algorithm for increasing the HR image’s quality My algorithm is implemented on matlab and on hardware The hardware version is implemented on the AT91SAM9RL evaluation kit for the curvelet interpolation step only Therefore, only the interpolation algorithm on the curvelet domain is implemented Matlab is used for helping the extrafunction such as reading, writing, calculating and sending/receiving image over the Usart interface The result from our algorithm is then compared and evaluated with other methods Moreover, the proposed method is then compared with the ideal interpolation for error evaluating The proposed method is also submitted to the ATC 2013 (The 2013 International Conference on Advanced Technologied for Communications) at Vietnam

LỜI CAM ĐOAN

Tôi xin cam đoan tất cả các kết quả và giải thuật thực hiện trong đề tài này chưa từng được công bố trong các đề tài khoa học trước đây

Người cam đoan

Lê Cao Khoa

GIỚI THIỆU ĐỀ TÀI viii

ẢNH SIÊU PHÂN GIẢI 1

1GIỚI THIỆU ẢNH SIÊU PHÂN GIẢI 1

1.1CƠ SỞ LÝ THUYẾT 2

1.2Đăng kí ảnh 2

1.2.1Dự đoán chuyển động trên mặt phẳng 2

1.2.1.1Dự đoán chuyển động xoay 3

1.2.1.2Dự đoán chuyển động dịch 4

1.2.1.3Ước lượng dịch chyển cho ảnh chồng lấn một phần 4

1.2.1.4Tái tạo ảnh 7

1.2.2Nearest neighbor 7

1.2.2.1Bilinear Interpolation 7

1.2.2.2Bicubic 8

1.2.2.3Tiêu chuẩn đánh giá chất lượng ảnh 10

1.2.3KHẢO SÁT CÁC NGHIÊN CỨU 11

2PHƯƠNG PHÁP CỦA VANDELWALLE 11

2.1Ước lượng xoay 11

2.1.1Giải thuật tổng quát 12

2.1.2PHƯƠNG PHÁP CỦA KAREN 13

2.2Giới thiệu 13

2.2.1Phương pháp ghi các pixels phụ 13

2.2.2CÁC NGHIÊN CỨU KHÁC 15

2.3Cách tiếp cận của 15

2.3.1Cách tiếp cận của 17

2.3.2BIẾN ĐỔI CURVELETS 18

3GIỚI THIỆU 18

3.1TỪ WAVELETS CỔ ĐIỂN TỚI CURVELETS 21

3.2Quá trình phát triển 21 3.2.1

Các hàm curvelets hệ thống 28 3.3.2

Support trong miền tần số 29 3.3.3

Support trong miền thời gian và tính dao động 29 3.3.4

Các moment biến mất 29 3.3.5

ĐỊNH NGHĨA BIẾN ĐỔI CURVELETS LIÊN TỤC 30 3.4

BIẾN ĐỔI CURVELETS NHANH 31 3.5

Tại sao là biến đổi Curvelets rời rạc 31 3.5.1

Một biến đổi curvelets rời rạc mới 34 3.5.2

Các biến đổi curvelets liên tục theo thời gian 35 3.5.3

Các biến đổi curvelets số 38 3.5.4

Số hóa vành (digital coronization) 38 3.5.4.1

Biến đổi curvelets số thông qua UFFTs 41 3.5.4.2

Biến đổi curvelets số thông qua Wrapping 43 3.5.4.3

Kiến trúc FDCT 46 3.5.5

FDCT thông qua USFFTs 46 3.5.6

Nội suy 46 3.5.6.1

Các đại diện Riesz và lưới kép 48 3.5.6.2

Biến đổi liên hợp 50 3.5.6.3

Biến đổi ngược 51 3.5.7

Biến đổi Fourier nhanh không đều 51 3.5.8

Giải thuật 52 3.5.9

Phân tích lỗi 53 3.5.10

Tích chập USFFT 54 3.5.11

Ma trận Gram 54 3.5.12

CÁC ỨNG DỤNG GẦN ĐÂY 55 3.6

Giảm nhiễu ảnh 55 3.6.1

Giảm nhiễu ảnh cho nhiễu cộng 55 3.6.1.1

Giảm nhiễu cho ảnh SAR (Synthetic Aperture Radar) 56 3.6.1.2

Tăng chất lượng ảnh 57 3.6.2

Nén cảm biến (Compressed Sensing) 58 3.6.3

CÁC THÁCH THỨC TRONG TƯƠNG LAI [2][7][8] 60 3.7

Giảm độ phức tạp 60 3.7.1

Hàm lấy ngưỡng tốt hơn 60 3.7.2

GIỚI THIỆU KIT ARM AT91SAM9RL-EK 61 4

BOARD AT91SAM9RL-EK [22] 61 4.1

LAYOUT [22] 62 4.2

VI ĐIỀU KHIỂN AT91SAM9RL64 [22] 63 4.3

Bộ nhớ 66 4.3.1

Mạch clock 66 4.3.2

Mạch reset 66 4.3.3

Truyền thông xa 66 4.3.4

Giao diện người dùng 66 4.3.5

Giao diện Debug 66 4.3.6

Khe cắm mở rộng 66 4.3.7

CÁC JUMPER 66 4.4

SƠ ĐỒ MẠCH 67 4.5

Sơ đồ mạch ở lớp Top 68 4.5.1

Nguồn cung cấp 69 4.5.2

Giao diện nối tiếp 69 4.5.3

Hiển thị TFT LCD 70 4.5.4

Bộ nhớ nối tiếp 70 4.5.5

GIẢI THUẬT ĐỀ XUẤT 71 5

GIAO DIỆN CHƯƠNG TRÌNH 71 5.1

GIẢI THUẬT THỰC HIỆN 73 5.2

Tiền phân giải 73 5.2.1

Nội suy trên miền Curvelets 74 5.2.2

Hậu xử lý 75 5.2.3

Giải thuật hiện thực 75 5.2.4

Kết quả 78 5.2.5

KẾT LUẬN 83 5.3

Ưu điểm 84 5.3.1

Hạn chế 84 5.3.2

HƯỚNG PHÁT TRIỂN TƯƠNG LAI 85 5.4

TÀI LIỆU THAM KHẢO 86 PHỤ LỤC 88

iv

DANH MỤC HÌNH

1-1: Super-resolutio tro g trường hợp lý tưởng 1

1-2: Biê độ của biế đổi Fourier của được xoay góc θl=25o trong không gian 4

1-3: Loại bỏ chồng lấn trong tín hiệu bằng bộ lọc thông thấp 6

2-1: Giải thuật ước lượng xoay của Vandewalle 11

3-1: Các thành tố của wavelets và curvelets trên các thang khác nhau 20

3-2: Phát thảo các cửa sổ V(t) (trái) và W(r) (phải) 26

3-3: Cửa sổ -trái và support của nó-phải 27

3-4: Các support của các cửa sổ U1/2(ε) (xám) U1/8(ε) (xám ạt) 29

3-5: Lát Curvelets của không gian và tần số 36

3-6: Hình minh họa lá cơ bản số 40

3-7: Gói dữ liệu 45

3-8: Hình minh họa lấy mẫu và đặc tính của phiên bản USFFT 47

3-9: Kết quả khử nhiễu cộng bằ g các p ươ g p áp k ác au 55

nh 3-10: Khử nhiễu cho ảnh SAR 56

3-11: Tă g cường chất lượng ả t iê vă bằng wavelets và curvelets 57

3-12: Tă g cường chất lượng ảnh SAR bằ g các p ươ g p áp k ác au 57

3-13: Ứng dụng biế đổi Curvelets trong nén cảm biến 59

4-1: Sơ đồ khối AT91SAM9RL-EK 62

4-2: Giả đồ khối AT91SAM9RL 65

4-3: Sơ đồ mạch ở lớp TOP 68

4-4: Sơ đồ nguồn cung cấp 69

4-5: Giao tiếp nối tiếp 69

4-6: Giao tiếp LCD 70

4-7: Sơ đồ bộ nhớ nối tiếp 70

nh 5-1 Giao diện chương tr nh hiện thực trên Matlab 72

5-2Giao diệ c ươ g tr tạo ảnh LR 73

5-3: Hiệ tượng làm tối ả sau k i đă g kí ảnh 74

5-4 Minh họa cửa sổ quét lấy điểm gần nhất 75

5-5: Giao tiếp USART giữa Matlab và ARM 76

5-6: Giải t uật c o quá tr ội suy 77

5-7: Sơ đồ xử lý kết ợp dù g kết ợp Matlab và AT91SAM9RL 78

5-8: Ả phóng to một p ầ ả Ma drill qua các giải t uật k ác au 80

5-9 So sánh histogram giữa ảnh Mandrill gốc và ảnh của p ươ g p áp đề xuất 81

5-10: Ả phóng to p ầ ả camera ma với các giải t uật k ác au 81

5-11 So sánh histogram giữa ảnh Mandrill gốc và ảnh của p ươ g p áp đề xuất 82

5-12: Ả phóng to một p ầ của ả le a với các giải t uật k ác au 82

5-13 So sánh histogram giữa ảnh Mandrill gốc và ảnh của p ươ g p áp đề xuất 82

DANH MỤC BẢNG

Bả g 3-1: Bảng so sánh tính xấp xỉ giữa biế đổi curvelets và wavelets 24

Bả g 3-2: Bảng so sánh tính liên tục giữa điểm và đường cong 24

Bả g 3-3: Bảng so sánh tốc độ xấp xỉ của các biế đổi khác nhau 25

Bả g 3-4 Các giá trị số cho lỗi tươ g đối 53

Bả g 4-1: Thiết lập JTAG/ICE 66

Bả g 4-2: Thiết lập clock c o vi điều khiển 67

Bả g 4-3: Thiết lập bộ nhớ 67

Bả g 4-4: Thiết lập các Jumper 67

Bả g 5-1: Sự cải thiện PSNR và MSE cho các giải thuật tro g p ươ g p áp đề xuất 79

Bả g 5-2 PSNR và thời gian giữa p ươ g p áp đề nghị và các p ươ g p áp k ác 80

vi

BẢNG TỪ VIẾT TẮT

PSNR MSE JTAG ICI RSR POCS SANC LR HR SR USART SPI TC PWMC MCI WDT RTC I/O PLL CKGR AIC DBGU CS SAR FFT USFFT STFT FDCT MGA

Peak Signal to Noise Ratio Mean Square Error

Join Test Action Group Iterated Curvelets Interpolation Robust Super Resolution

Peak On Convex Set Structured Adaptive Normalize Convolution Low Resolution

High Resolution Super Resolution Universal Synchronous Asynchronous Receiver Transmiter

Serial Peripheral Bus

Timer Counter Pulse Width Modulation Control Media Control Interface

Watch Dog Timer Real Time Clock Input/Output Phase Lock Loop Clock Generator Advanced Interupt Controller Debug Unit

Compress Sensing Synthethic Aperture Radar Fast Fourier Transform Unequispaced FFTs

Short Time Fast Fourier Transform

Fast Discrete Curvelet Transform Multiscale Geometric Analysis

INTRODUCTION

The advance of electronic and material technology helps us to create more infinitesimal sensors Thus, these sensors could now present in a limited area of the camera However, many physical limitations are impeding this trend Some of these obstructions could be named as the sensor resolution, the Rayleigh resolution limits, the increased cost, the data transfer rate and the amount of shot noise due to the micro-sized sensors The demand is increasing the image’s size without decreasing the sensor’s size This dilemma could be overcomed by a technique named super resolution Since this technique based on the computational power of electronic devices, the current development in computer technology stimulates the interest of many reseachers on this subject The process of super resolution is integration as much additional information into an image as possible There are three normal steps of super resolution process which include estimation, restoration, and de-blurring A high performance restoration technique is essentially essential for recovering the missing pixels in an image Wavelets, a highly influent technique in image processing, are an interesting candidate for super resolution technique However, the lacking capability in handling object with high anisotrophic elements like curves, lines or edges in image hinders wavelets to be a well suitable transform for such task In contrast, the curvelets transform, a non-mature technology now trigger the image processing community due to it capability in handling curves The curvelets transform gains much success in image processing community such as in de-noising, deconvolution, and watermarking For its performance, this thesis intends to apply the curvelets transform on super resolution purpose

Traditional algorithms such as nearest neighborhood and bi-cubic expose a limited quality in term of visualization and measurement Other proposed methods like iterated back projection, robust super resolution, POCS (Projection onto Convex Set) have lower quality than expected The structured adaptive normalize convolution algorithm has better quality but it computational burdern is considerable To improve the quality of high resolution image as well as the speed up the reconstruction step, we propose a 2-stages interpolation in combination with an enhancement filter for smoothing the final result The 2D fast discrete curvelets transform via wrapping technique is implemented in this thesis for image reconstruction

viii

GIỚI THIỆU ĐỀ TÀI

Tiến bộ trong kĩ thuật điện tử và vật liệu đã giúp con người thu nhỏ cảm biến ảnh Do vậy, ngày càng nhiều cảm biến ảnh có thể được tích hợp trên một camera cỡ nhỏ Tuy nhiên, các giới hạn vật lý đang cản trở xu hướng này Những giới hạn này có thể bao gồm độ phân giải của cảm biến, giới hạn phân giải Rayleigh, sự gia tăng chi phí, tốc độ truyền dữ liệu và xuất hiện nhiễu shot khi kích thước cảm biến nhỏ Vì vậy nhu cầu tăng độ phân giải ảnh mà không phải giảm kích thước cảm biến xuất hiện Yêu cầu này có thể đạt được bằng giải thuật siêu phân giải ảnh Giải thuật ban đầu khi đề xuất phát triển chậm do hạn chế về sức mạnh tính toán của máy tính khi đó Tuy nhiên, gia tăng sức mạnh tính toán của máy tính đã thu hút các nhà nghiên cứu quay lại vấn đề này Quá trình tạo ảnh siêu phân giải nhằm thêm nhiều thông tin nhất có thể vào một ảnh để tăng độ phân giải ảnh này Tổng quát có 3 bước chính: dự đoán chuyển động ảnh, phục hồi ảnh và giảm mờ ảnh Bộ phục hồi có chất lượng cao là cần thiết để ảnh sau cùng có kết quả mong muốn Wavelets, một biến đổi nổi tiếng có nhiều ứng dụng trong thực tế là một chọn lựa cho việc phục hồi Tuy nhiên, biến đổi wavelets bộc lộ nhiều hạn chế trong quản lý góc, cạnh và những điểm không liên tục Có nhiều phương pháp để khác phục các yếu điểm này tuy nhiên điều này lại làm phức tạp hóa biến đổi wavelets và vì vậy làm giảm tính ứng dụng của biến đổi wavelets Trong khi đó, biến đổi curvelet, một biến đổi đa thang đã gây được nhiều tiếng vang trong cộng đồng xử lý ảnh do tính vượt trội của nó xử lý các đường thẳng, cong và cạnh Biến đổi curvelets cũng đạt được một số thành công trong các ứng dụng xử lý ảnh như giảm nhiễu, giải tích chập và watermarking Do những điểm nổi trội của biến đổi curvelets nên luận văn chọn giải thuật này cho việc hồi phục ảnh siêu phân giải

Các giải thuật nội suy truyền thống như lân cận gần nhất, bi-cubic bộc lộ những khuyết điểm như ảnh sau cùng có chất lượng chưa thấp và các chi tiết bị mất đi khá nhiều Một số phương pháp tái tạo ảnh khác cũng đã được đề xuất như iterated back projection, robust super resolution, và POCS (Projection onto Convex Set) Tuy nhiên chất lượng của chúng vẫn chưa được cao như mong đợi Giải thuật structured adaptive normalize convolution cho kết quả vượt trội so với các phương pháp mới được đề cập tuy nhiên khi xét đến thời gian xử lý, phương pháp này lại chậm hơn rất nhiều so với các phương pháp đã đề cập Nhằm mục đích tăng cường chất lượng ảnh sau cùng cũng như giảm thời gian xử lý, giải thuật nội suy 2 tầng được đề xuất kết hợp cùng với một bộ lọc nhằm tăng cường chất lượng ảnh sau cùng

ẢNH SIÊU PHÂN GIẢI

GIỚI THIỆU ẢNH SIÊU PHÂN GIẢI 1.1

Việc tăng độ phân giải của ảnh dùng kĩ thuật super-resolution nhằm mục đích tăng khả năng phân biệt các chi tiết ở ảnh cuối cùng Việc ghép các ảnh khác nhau của cùng một cảnh với nhau đồng nghĩa với việc chúng ta muốn thêm thông tin này vào ảnh này và các thông tin được thêm thường là các nội dung có tần số cao của cảnh

Có nhiều cách tiếp cận để thêm thông tin vào ảnh như:

về ảnh để thêm thành phần tần số cao Ảnh trong trường hợp này thường có dạng nhất định như khuôn mặt, chữ viết…

 Cách tiếp cận abstract: trong cách tiếp cận này thông tin thêm vào thường đa dạng hơn và không có một mô hình cụ thể nào cả so với mô hình trên và do vậy có tính tổng quát cao, ứng dụng đa dạng hơn

1-1: Super-resolutio tro g trường hợp lý tưởng

Kĩ thuật super-resolution dùng một số các ảnh có độ phân giải thấp ở ngõ vào để tạo nên ảnh có độ phân giải cao Để đạt được điều này, thông

thường các ảnh được giả định là chỉ có khác biệt nhỏ, thường là do sự xê dịch của camera Một cách lý tưởng, người ta thường giả định rằng các ảnh thu được có sự dịch chuyển theo chiều ngang, dọc và quay nửa pixel so với ảnh gốc và vì vậy ảnh có độ phân giải cao hơn có thể đạt được bằng cách ghép đan xen các ảnh có độ phân giải thấp để tạo ảnh có độ phân giải cao hơn như h nh 1.1

Tuy nhiên trong thực tế, sự dịch chuyển này không chính xác là nửa pixel và dạng dịch chuyển tương đối so với ảnh là không biết trước và vì vậy cần phải tính toán sự dịch chuyển này

CƠ SỞ LÝ THUYẾT [4][17][18][19] 1.2

Hầu hết các giải thuật super-resolution có thể chia thành 3 phần: đăng kí ảnh, tái tạo ảnh và giảm mờ ảnh (de-blur) Để có thể tạo ảnh độ phân giải cao một cách chính xác thì việc đăng kí ảnh chính xác là rất cần thiết do việc dữ đoán sai trong đăng kí ảnh khiến cho ảnh thu được tệ hơn nhiều so với dùng phương pháp nội suy

Đăng kí ảnh 1.2.1

Phương pháp trong miền tần số bị giới hạn cho các chuyển động toàn cục trong mặt phẳng song song với mặt phẳng ảnh Chuyển dịch hai chiều có thể được mô tả trong miền tần số như là sự dịch pha tuyến tính, trong khi đó chuyển động quay trong không gian có thể được mô h nh như chuyển động quay trong miền tần số với cùng 1 góc

Các thông số dịch và quay có thể được ước lượng rời rạc do phép dịch chỉ ảnh hưởng lên thành phần pha trong khi phép quay ảnh hưởng lên cả thành phần pha và biên độ Trong trường hợp ảnh bị chồng lấn thì việc đăng kí ảnh có thể rất khó khăn tuy nhiên trong một số trường hợp khi tần số lấy mẫu đủ cao thì 1 phần của tín hiệu vẫn không bị chồng lấn và do vậy thành phần này có thể được dùng làm tham số cho việc đăng kí ảnh

Dự đoán chuyển động trên mặt phẳng 1.2.1.1

Như đã đề cập từ trước, phương pháp đăng kí ảnh dựa trên biến đổi Fourier chỉ áp dụng được cho chuyển động mang tính toàn cục ở mặt phẳng song song với mặt phẳng ảnh Do vậy trong trường hợp này chuyển động giữa 2 ảnh có thể được mô tả như là hàm của 3 thông số: dịch chuyển (ngang và dọc)

và xoay góc θ1

Xét tín hiệu tham khảo f0(x) và phiên bản bị dịch và xoay f1(x) ta có:

f1(x)= f0(R(x+x1))









sincos

sincos

11

R

biến đổi Fourier cho hai vế ta có:

dxe

xfFjux

x

T



210( ( )) 



(1.1)Đặt x'xx1

21()1(')'

x

xujx

uj

dxe

Rxfe

(1.2)Đặt x''Rx' và xét phần biên độ ta có:

trong miền không gian  F1(u) và F0(u) không phụ thuộc vào giá trị dịch x1 do phép

dịch trong miền thời gian chỉ gây dịch pha trong miền tần số Do vậy ta có thể ước lượng dịch và ước lượng xoay riêng biệt

Dự đoán chuyển động xoay 1.2.1.2

Góc xoay giữa F u1( ) và F u0( ) là góc θ1 mà tại đó biến đổi

Fourier của ảnh tham khảo F u0( ) và ảnh bị xoay F u1( ) có tương quan cực đại Do vậy để tính được góc xoay này ta phải tính tương quan tại các góc khác nhau để so sánh mà điều này yêu cầu lượng tính toán rất lớn

1 u

và yêu cầu tính toán cao

Dự đoán chuyển động dịch 1.2.1.3

21()1(')'

x

xjx

j

dxe

xfe

FejTx

Do vậy tham số dịch x1 có thể tính theo độ sai pha:

10

1( )/ ( )) 2(F  F   j Tx

Trước hết ta phân tích tín hiệu tuần hoàn một chiều và có băng thông giới hạn ƒ(t) với tần số cực đại là K và chu kỳ

T=1, hệ số của chuỗi Fourier này là αk (-K kK) Ta lấy mẫu ƒ(t) với hai bộ mẫu N và kết quả là:

)()(

)()(

11

0

Ntnfny

Nnfny



(1.6)

các tín hiệu được lấy mẫu không bị chồng lấn và biến đổi Fourier rời rạc của nó có thể ghi lại như sau:

1

01

N

knk iNkn

Y ky n W

NY ky n Wz

N











1

01

N













còn quan hệ pha tuyến tính Do đó, độ dịch có thể ước lượng từ các thành phần tần số thấp và không bị chồng lấn Một bộ lọc thông thấp cũng được áp dụng cho tín hiệu trong miền không gian giống như là thành phần bị chồng lấn đã được loại bỏ khỏi tín hiệu đã lấy mẫu Độ dịch có thể ước lượng bằng cách dùng toán hạng tương quan

Xét tín hiệu hai chiều: hai tín hiệu lấy mẫu y0(n) và y1(n) trước tiên được lọc thông thấp tại tần số cắt N-K (xét trên cả hai phương ngang – dọc) Ảnh đã lọc được đồng nhất với các hệ số ghi và có thể ghi bằng các phương pháp mô tả ở trên Vì cả hai đều được áp dụng trong miền tần số nên có thể bỏ

qua bước lọc bằng cách áp dụng thuật toán ghi ngay trong vùng tần số thấp Việc ước lượng độ xoay được thực hiện dựa trên các tần số có ερ<ur<ρmax (với ρmax = minh,v(N-K)/N) và ước lượng sự dịch chuyển theo phương ngang và phương dọc

Thành phần tần số cao của tín hiệu cung cấp độ chính xác cao hơn cho việc ghi ảnh hơn các thành phần tần số thấp (tín hiệu thay đổi nhanh hơn), điều này thúc đẩy sự tập trung nhiều hơn vào vùng tần số cao của tín hiệu trong các phương pháp đăng kí ảnh Tuy nhiên, thành phần tần số cao của tín hiệu có hệ số SNR nhỏ và khi tín hiệu bị lấy mẫu thiếu (undersample) thì lại càng tệ hơn do hiện tượng chồng lấn Đó là nguyên nhân ta bỏ qua thành phần cao tần trong thuật toán ghi

(a) Tín hiệu thời gian liên tục ba đầu trong miền thời gian và miền tần số

(b)Tín hiệu đã lấy mẫu trong miền thời gian và miền tần số, có chồng lấn

(c) Tín hiệu lấy mẫu qua bộ lọc thông thấp trong miền thời gian và miền tần số 1-3: Loại bỏ chồng lấn trong tín hiệu bằng bộ lọc thông thấp

Khi có chồng lấn (một phần), sự dịch chuyển giữa tín hiệu lấy mẫu không thể xác định chính xác Tuy nhiên, sau khi qua bộ lọc thông thấp, có thể ước lượng sự dịch dễ dàng

Tái tạo ảnh [6][16] 1.2.2

Sau khi ảnh được đăng kí chính xác, các ảnh nhỏ được kết hợp lại với nhau để xây dựng ảnh super-resolution Tuy nhiên, ảnh sau kết hợp sẽ tồn tại 1 số điểm chưa xác định mức xám Việc này được giải quyết bằng cách dùng giải thuật nội suy để điền vào các chỗ trống này Hàm nội suy là một dạng hàm xấp xỉ đặc biệt có đặc tính cơ bản là giá trị chúng tại các điểm mẫu dùng để nội suy phải trùng với các điểm mẫu ban đầu Nói cách khác, nếu f là hàm được lấy mẫu và g là hàm được được nội suy tương ứng thì g(xk)=f(xk) khi xk là node nội suy (interpolation nodes) Do đặc điểm này, nhiều hàm nội suy có thể được viết lại dưới dạng:

(interpolation kernel), là tham số phụ thuộc vào dữ liệu được lấy mẫu, chúng được chọn sao cho thỏa g(xk)=f(xk)

Nhân nội suy u ở trên chuyển dữ liệu rời rạc sang hàm liên tục bằng toán hạng tương tự như tích chập và việc chọn nhân này có ảnh hưởng rất lớn đến độ chính xác cũng như hiệu quả của giải thuật nội suy

Nearest neighbor 1.2.2.1

Phương pháp nearest neighbor còn được gọi là nội suy bậc 0, giải thuật dịch điểm (point shift algorithm) và thay pixel (pixel replication) Đây là cách nội suy đơn giản nhất, với mỗi pixel trên lưới ta lấy giá trị của pixel gần nhất cho ảnh được nội suy Tuy nhiên kĩ thuật này cho chất lượng ảnh thấp Nhân nội suy của giải thuật này như sau[10]:

( ) { | | | | (1.10)

Bilinear Interpolation 1.2.2.2

Phương pháp này được xem là phép nội suy bậc 1 và được hiện thực bằng cách đặt đượng thẳng đi qua 2 điểm ngõ vào Cách này cho chất lượng ảnh khá tốt hơn phương pháp trên nhưng tốc độ lại tương đối chậm do cho phí tính toán khá cao

Nhân nội suy của phương pháp này là:

( ) { | | | | | | (1.11)

Cách hiện thực trên Matlab của phương pháp này như sau:

1-4 Hình mô tả p ươ g p áp ội suy bicubic

Phép toán này xác định độ sáng của điểm (m+x, n+y) là: f(m+x’, n+y’)=ax’y’+bx’+cy’+d

trong đó các hằng số a, b, c và d phải được xác định theo các điều kiện sau:

V(x,y)=

(1-y’)*[x’*f(m+1,n)+(1-x’)*f(m,n)]+y’*[x’*f(m+1,n+1)+(1-x’)*f(m,n+1)] (1.16)

Bicubic 1.2.2.3

Nội suy bicubic là mở rộng của nội suy cubic cho dữ liệu được nội suy trên lưới 2 chiều mặt nội suy th trơn hơn so với 2 phương pháp ở trên Nội suy bicubic có thể sử dụng nhân nội suy có thuật toán dựa trên đa thức lagrange (Lagrange polynomials), cubic splines, hoặc cubic convolution

Trong xử lý ảnh, nội suy bicubic thường được chọn khi tốc độ tính toán không được đặt nặng Trái với nội suy song tuyến tính (chỉ lấy 4 điểm xung quanh), nội suy bicubic lấy 16 pixel xung quanh nó (4x4) để tính trung bình do vậy kết quả phép nội suy cho ảnh trơn hơn và ít gợn hơn

Giả sử giá trị hàm f và các đạo hàm của nó là fx, fy, fxy đãbiết tại bốn góc (0,0), (0,1), (1,0), (1,1) của hình vuông đơn vị Mặt phẳng được nội suy có thể được viết là:

3300

1 ( ) ( ) 2 ( ) ( ) 3 ( ) ( ) 4 ( ) ( ) ∑ ∑

Tương tự ta có 8 đẳng thức cho đạo hàm theo hướng x và y

1 ( ) ( ) 2 ( ) ( ) 3 ( ) ( ) 4 ( ) ( ) ∑ ∑

5 ( ) ( ) 6 ( ) ( ) 7 ( ) ( ) 8 ( ) ( ) ∑ ∑

Và 4 đẳng thức cho đạo hàm chéo xy:

1 ( ) ( ) 2 ( ) ( ) 3 ( ) ( ) 4 ( ) ( ) ∑ ∑

Trong đó các đạo hàm của p là:

( ) ∑ ∑ ( ) ∑ ∑ (1.18)

( ) ∑∑

Quá trình nội suy này cho ta mặt p(x,y) trên hình vuông đơn vị liên tục trong không gian và liên tục trên đạo hàm của nó Nếu đạo hàm là chưa biết thì chúng có thể được xấp xỉ từ các giá trị hàm tại các điểm lân cận góc của h nh vuông đơn vị như các sai phân hữu hạn

Để đánh giá chất lượng của bức ảnh ở đầu ra người ta thường sử dụng

hai tham số: Sai số trung b nh b nh phương– MSE (mean square error) và tỉ số tín hiệu đỉnh trên nhiễu – PSNR (peak signal- to-

noise ratio) MSE giữa ảnh gốc và ảnh khôi phục được tính như sau:

∑ ∑ ( ( ) ( ))

PSNR thường được sử dụng như là phép đo chất lượng của việc tái tạo (reconstruction) của các bộ nén có tổn hao (như nén ảnh) Tín hiệu trong trường hợp này là dữ liệu gốc và nhiễu là lỗi gây ra bởi việc nén Thông số này chỉ mang tính xấp xỉ khi so sánh giữa các bộ codec do đặc tính của thị giác người Do vậy ảnh có thể có PSNR

thấp hơn dù dễ nh n hơn so với ảnh khác Thông thường, nếu PSNR ≥

40dB thì hệ thống mắt người gần như khôngphân biệt được giữa ảnh

gốc và ảnh khôi phục PSNR được định nghĩa là:

(1.20)

là 8bit thì MAXI=255 Đối với ảnh màu với ba giá trị RGB trên 1 pixel th cách tính toán cũng tương tự với MSE là tổng các bình phương chia cho kích thước ảnh và chia cho 3 hoặc PSNR cũng có thể được tính trên từng không gian màu Khi 2 hình là giống nhau thì MSE bằng 0 vì vậy giá trị của PSNR không xác định

KHẢO SÁT CÁC NGHIÊN CỨU

Chương này giới thiệu một số phương pháp của các nhóm nghiên cứu trên thế giới Hiện tại có rất nhiều phương pháp khác nhau nên việc chỉ một số nghiên cứu có liên quan được đề cập trong chương này nhằm giới thiệu một cái nhìn cụ thể hơn về các phương pháp tái tạo ảnh siêu phân giải

PHƯƠNG PHÁP CỦA VANDELWALLE [5][9] 2.1

Ước lượng xoay 2.1.1

Do việc tính tương quan cho ảnh có chi phí tính toán rất cao nên Vandewalle đề nghị cách tiếp cận như sau:

Bước 1: tính nội dung tần số theo góc θ bởi tích phân sau:

Bước 2: Tính tương quan giữa 2 giá trị (θ) cho F u1( ) và F u0( ) và tìm giá trị mà tại đó chúng đạt cực đại Cách này mặc dù cũng tính tương quan như hai phương pháp trên nhưng do chỉ tính tương quan 1

chiều nên khối lượng tính toán ít hơn

(a) Biê độ trung bình trong miền tần số (b) Tươ g qua giữa H0(θ) và H1(θ)

2-1: Giải thuật ước lượng xoay của Vandewalle

Giải thuật tổng quát 2.1.2

Phương pháp của Vandewalle gồm các bước: xếp ảnh trên hệ tọa của khung tham chiếu, sử dụng phép nội suy bicubic để đưa chúng vào ảnh super-resolution Sau khi các ảnh có độ phân giải thấp được register chính xác thì các ảnh khác nhau có thể được kết hợp để tái tạo

Giải thuật tạo ảnh siêu phân giải trên ảnh chồng lấn một phần (ta chọn ε = 0.1 và ρmax = 0.6 do ta muốn bỏ qua các tần số nhỏ nhất) Độ

và phạm vi xoay là -30o tớ

Giải thuật:

tâm Các ảnh tạo ra từ của sổ được ký hiệu là ƒLR,w,m ii) Tính biến đổi Fourier của FLR,w,m cho mọi ảnh tần số thấp

 Tính các mẫu đã biến đổi Fourier trong hệ tọa độ cực (ur, uθ)  Với mỗi góc θ, tính giá trị trung bình Hm(θ) của các hệ số Fourier với θ-1<uθ<θ+1 và 0.1ρ < ur < ρmax Góc được biểu diễn theo độ (o

) và Hm(θ) được tính cho mỗi 0.1o

Giá trị tiêu biểu của ρmax = 0.6  Tìm giá trị tương quan cực đại giữa H0(θ) và 1(θ) trong phạm vi từ -30o đến 30o Đó chính là góc ước lượng xoay θm.

 Xoay h nh ƒLR,w,m một góc -θm để loại bỏ sự xoay iv) Ước lượng sự dịch ảnh: sự dịch chuyển theo phương dọc và

ƒLR,w,0 được ước lượng

)/

(FLR,w,m FLR,w,0

mô tả một mặt phẳng xuyên qua mặt phẳng tính độ lệch pha với độ dốc xm chưa biết

 Tìm thông số độ dịch xm bằng giải pháp b nh phương cực tiểu của phương tr nh

v) Tái cấu trúc ảnh: một ảnh có độ phân giải cao ƒHR được tái cấu trúc từ các ảnh đã được register ƒLR,w,m (m = 0,…., M – 1)

phương pháp nội suy song lập phương

PHƯƠNG PHÁP CỦA KAREN [6][11] 2.2

Giới thiệu 2.2.1

Phương pháp này mở rộng việc tạo ra một ảnh có độ phân giải cao dựa vào sự dịch chuyển của các pixels phụ nằm trong các ảnh có độ phân giải thấp của cùng bức ảnh đó Vấn đề này thường được giả quyết bằng biến đổi Fourier trong miền tần số nhưng ta sẽ không dùng biến đổi Fourier cho mọi tầng v đã có chứng minh rằng việc này sẽ làm tăng độ nhạy nhiễu với môi trường

Việc cải thiện độ phân giải của ảnh dĩ nhiên không thể trả lại các thành phần tần số cao đã mất đi khi lấy mẫu thô Nhưng có nhiều không gian chức năng như cạnh hay các đường thẳng có thể đặt chính xác hơn, và quá tr nh xử lý sẽ được thực hiện trong miền không gian nhiều hơn trong miền tần số

Vấn đề đặc biệt được đưa ra ở đây là sự gắn kết lại với nhau (interlace), một chức năng được dùng trong hấu hết các hệ thống video, ở đó là sự quét lần lượt hàng lẻ và hàng chẵn Do kỹ thuật “anti-flicking” này mà mỗi ảnh số được tách chính xác thành hai ảnh: ảnh gồm các đường lẽ và ảnh gồm các đường chẵn cách nhau (1/50) giây Với một camera di động, điều này được thể hiện là khoảng cách không gian chính và do đó, những ảnh số không thể xử lý như một ảnh được mà phải xem nó như hai bức ảnh riêng biệt Các ảnh này có mật độ lấy mẫu trên phương x gấp 2 lần trên phương y Phương pháp này thích hợp khi các frame của camera không bị tăng tốc hoặc nếu có chỉ là tăng tốc ít

Phương pháp ghi các pixels phụ 2.2.2

Có rất nhiều phương pháp ghi ảnh nhưng không có phương pháp nào đủ chính xác để áp dụng cho các pixel phụ Phương pháp tr nh bày bên dưới chính xác nhất và đủ mạnh cho mục đích đó

Ta xét 2 ảnh trước và sau chuyển động là 2 hàm f và g, với giá trị dịch theo phương ngang a, giá trị dịch theo phương dọc b và góc xoay θ:

))sin()

cos(,

)sin()

cos((),

2/(

),(xyfxayx2 ybxy2

được biểu thức sau:

yfy

xbxfx

yayxfyxg







),

(2.4)

a và b có thể được tính xấp xỉ theo công thức sau:







)],()2/(

)2/(

),([),,

yfy

xbxfx

yayxfb

















)(

2

gfxfx

fRbyfxfa

x





















)(

2

gfyfy

fRb

yfa

yfx

(2.6)















)(

2

gfRR

byfRa

xf

Do tính theo công thức xấp xỉ trong công thức (2.3) nên các biểu thức trên chỉ đúng khi các đại lượng (a,b,θ) có giá trị nhỏ Do đó, ta thực hiện quá trình lặp sau – để giải hệ phương tr nh, “push” g (dùng công thức (2.4)) với kết quả đạt được – cho tới giá trị chính xác của các pixel phụ (tức là trong quá tr nh “pushing”, ta nội suy các pixel phụ) và tiếp tục với giá trị g mới, cả các điểm cố định của quá trình lặp cho

tới các kết quả đều rất nhỏ Để duy tr độ chính xác, ta luôn luôn “push” giá trị gốc của g bằng giá trị a, b và  đã được tích lũy

Chú ý, ta cần tính 9 trong tổng số 12 biến chỉ 1 lần duy nhất – ta chỉ cần thay đổi thành phần vô hướng nơi g xảy ra, vì f luôn giống nhau Điều này giúp ta tiết kiệm rất nhiều thời gian trong quá trình lặp và hơn nữa nếu ta muốn tính các thông số di chuyển (motion estimation) của nhiều trường hợp g liên quan với một f duy nhất

Thêm vào đó, để tăng tốc độ và sức mạnh, ta dùng một cấu trúc từ thô

tới tinh của ảnh, được gọi là kim tự tháp Gaussian (Gaussian pyramid) Trong sự phối hợp này, ảnh gốc có kích thước NxN được

lọc bằng bộ lọc Gaussian và lấy mẫu thay thế cảu ảnh gốc với kích thước N/2xN/2 Quá tr nh này được lặp lại cho tới khi đạt tới ảnh của một pixel Trước hết ta sẽ tính các thông số di chuyển của ảnh nhỏ nhất (thường là các ảnh kích thước 64x64) Thậm chí các sự dịch chuyển lớn cũng sẽ nhỏ lại ở mức giảm này (mức có kích thước ảnh nhỏ nhất) Sau đó, ta nội suy 4 thông số của ảnh lớn hơn, chỉnh sửa ước lượng này sau một – hai lần lặp, và lại tiếp tục nội suy ảnh có độ phân giải lớn hơn Quá tr nh này cứ vậy lặp lại cho tới khi chạm tới ảnh gốc ban đầu Cái khó của toàn bộ quá trình này là tính hai lần lặp trên ảnh gốc

Việc làm mượt f và g rất hiệu quả nếu áp dụng trước khi dùng tới thuật toán này Điều này làm giảm các vi phân bậc cao và do đó các hàm này sẽ gần với khai triển Taylor hơn

Thực hiện quá trình với các giá trị thực khác nhau và máy tính mô phỏng các frame di chuyển sẽ cho kết quả tốt, vì ta biết chính xác các thông số thực, thuật toán trên có lỗi khi dịch 0.03 pixels trên các trục x và y và xoay góc cỡ 0.0005 rad (0.03o) Phương pháp này được miễn dịch với nhiễu Tuy nhiên nó chỉ tốt với các góc xoay không lớn hơn 0.3rad (~ 6o

)

CÁC NGHIÊN CỨU KHÁC 2.3

Cách tiếp cận của [10] 2.3.1

Ở cách tiếp cận này ảnh LR được dự đoán chuyển động bằng phương pháp của Keren [6][11] Ảnh sau khi được đăng kí trên lưới HR sẽ được tái tạo lại bằng phương pháp nội suy nearest neighborhood Cách tái tạo ảnh bằng phương pháp nearest cụ thể là tính khoảng cách Euclid từ điểm đang xét (điểm trống) đến các điểm lân cận

Lần lượt từng pixel của lưới HR được xét Với mỗi pixel của lưới HR, khoảng cách Eulic của pixel R đến mỗi pixel LR của từng frame được tính theo công thức (2.7) Sau đó các giá trị khoảng cách Eulic này được so sánh để tìm pixel nào của ảnh LR nằm gần pixel HR nhất cần tính nhất và gán giá trị của pixel R đó bằng với giá trị của pixel LR t m được







i

iin

qp

qpqpqdqpd

1

22

222211 ) ( ) ( ) ( )(

),(),

Sau đó, ảnh R được đưa qua bộ lọc unsharp nhằm mục đích làm sắc nét các thành phần chưa rõ ràng (các cạnh của ảnh và các thành phần tần số cao)

Nguyên tắc hoạt động của bộ lọc unsharp của [10]:

thông qua công thức sau: g(x,y)=f(x,y)-fsmooth(x,y) với fsmooth(x,y)là thành phần trơn của ảnh gốc f(x,y) như h nh dưới:

Cách tiếp cận này có ưu điểm là tăng tốc độ xử lý hơn so với các phương pháp nội suy thực hiện trên phần cứng khác do cách tính đơn giản hơn Tuy nhiên, chất lượng ảnh sau tái tạo kém hơn so với hầu hết các phương pháp khác

Cách tiếp cận của [13] 2.3.2

Cách tiếp cận của các tác giả [13] được đưa ra nhằm mục đích cải thiện tốc độ tính toán của giải thuật thực hiện Trong giải thuật của mình tác giả đề xuất 3 cách để cải thiện tính toán trên phần cứng và kết hợp cả 3 cách này cho giải thuật của mình Cụ thể 3 cách này là:

 Làm tròn giá trị ngay lập tức sau khi đăng kí ảnh nhằm biến các tham số sau khi đăng kí thành giá trị tại chính pixel lân cận của nó

giả dùng cửa sổ để quét t m điểm gần nhất Cửa số này được quét theo thứ tự ưu tiên Ví dụ cho của sổ 3x3 như h nh các pixel ở vị trí 2,4,6,8 sẽ được quét trước để tìm giá trị gần nhất, sau đó các điểm 1,3,7,9 mới được quét Cửa sổ lớn hơn được làm tương tự

2-4 Thứ tự quét trên cửa sổ 3x3

Kết quả sau khi xấp xỉ được lọc tương tự như của [13] bằng bộ lọc median hoặc bộ lọc Gaussian

Để làm ảnh trơn hơn, tác giả dùng bộ lọc thông thấp Gaussian có dạng sau:

Trong đó D(u,v) là khoảng cách từ tọa độ gốc biến đổi Fourier Bộ lọc Gaussian 5x5 trong miền tần số được cho bởi:

(

)

Cách tính này do không tính khoảng cách Euclid bằng các phép toán trên số thực như cách tiếp cận [13] mà thực hiện trực tiếp bằng phép gán và làm tròn nên việc tính toán chủ yếu sử dụng trên số nguyên và vì vậy giảm đáng kể thời gian tính toán

Cách tiếp cận này có tốc độ xử lý nhanh hơn so với phương pháp của [13]: 5 phút so với 17 phút trên phần cứng [10] Tuy nhiên việc xấp xỉ từ số thực về số nguyên để làm giảm thời gian tính toán đã phần nào làm giảm chất lượng ảnh: 23.15dB so với 26.257dB [10]

BIẾN ĐỔI CURVELETS

Các phương pháp đa phân giải có liên quan mật thiết đến xử lý ảnh, thị giác máy tính, tính toán khoa học… Biến đổi Curvelets là một biến đổi đa thang có hướng cho phép biểu diễn rời rạc không thích nghi hầu như tối ưu cho các đối tượng với cạnh Nó đã tạo ra mối quan tâm lớn đến cộng đồng toán học ứng dụng và xử lý tín hiệu trong những năm gần đây

GIỚI THIỆU [1][8] 3.1

Ảnh số là ma trận hai chiều trong xử lý ảnh.Một trong những nhiệm vụ quan trọng là điều chỉnh các giá trị của những ma trận này để làm nổi bật các chi tiết trong ảnh.Việc điều chỉnh các giá trị tuân theo một mô hình toán học nhất định.Thách thức chính là làm thế nào để xây dựng các mô hình toán học cho phù hợp với yêu cầu thực tế.Ví dụ giảm nhiễu ảnh là một ví dụ, rất nhiểu các mô hình toán học dựa trên phân vùng tần số của ảnh, nơi mà các thành phần với tần số cao được xem như nhiễu và phải được loại bỏ trong khi những thành phần có tần số thấp được xem là đặc điểm cần được duy trì Curvelets, phương pháp được đề cập sau đây có thể được xem là một mô hình hiệu quả, nó không chỉ xem xét một phân vùng không thời gian đa thang cục bộ mà còn sử dụng hướng của các đặc điểm

Rất nhiều ảnh/tín hiệu trong tự nhiên thể hiện đặc tính giống cạnh, nghĩa là sự không liên tục dọc theo các đường cong (được gọi là đường thẳng hày đường cong đặc biệt) Mặc dù các ứng dụng của wavelets đang ngày càng trở nên phổ biến trong lĩnh vực kĩ thuật và khoa học, các wavelets truyền thống chỉ tốt khi biểu diễn các điểm đặc biệt do chúng bỏ qua các đặc điểm hình học của cấu trúc và không khai thác tính cân đối của các cạnh Do vậy, nén, giảm nhiễu hoặc trích cấu trúc dựa trên wavelets trở nên không hiệu quả về mặt tính toán đối với các đặc điểm hình học có đường thẳng và mặt đặc biệt Ví dụ như khi ta tải các ảnh hoặc video nén, chúng ta thường

thấy hiện tượng giật (hiện hượng các khối xuất hiện dọc theo các cạnh của ảnh) Hiện tượng giật này chủ yếu là do chất lượng kém của các biến đổi wavelets trong việc xử lý các đường thẳng đặc biệt Trong cơ chất lỏng, ngưỡng wavelets rời rạc thường dẫn tới việc dao động dọc theo các cạnh của xoáy liên tục Kết quả là làm giảm giá trị của các cấu trúc dạng ống xoáy Điều này dẫn đến hiện tượng rò rỉ phi vật lý của năng lượng vào bên trong các thang lân cận và tạo ra các tầng năng lượng giả

Phương pháp đa thang cũng liên quan mật thiết đến sinh học và thị giác máy tính Olshausen và Field, hai nhà nghiên cứu trong thị giác sinh vật đã lặp lại sự giống nhau giữa thị giác và xử lý ảnh đa phân giải Người ta nhận ra rằng các khu vực dễ tiếp thu của các tế bào đơn giản trong vỏ não của động vật có vú có thể được đặc trưng như là địa phương hóa không gian, hướng và thông giải (tùy thuộc vào cấu trúc tại các thang không gian khác nhau) Do vậy, chúng có thể được trình bày bằng biến đổi wavelets Một tiếp cận để hiểu các đáp ứng của hệ thống nơron thị giác phải xem xét mối quan hệ của chúng với cấu trúc thống kê của các ảnh tự nhiên để mã hóa hiệu quả Một chiến lượng mã hóa mà cực đại sự rải rác sẽ thích hợp khi tính đến các đặc tính tương tự của các trường đơn bào dễ tiếp nhận Biến đổi wavelets cho phép biểu diễn ảnh rải rác và vì vậy cung cấp một các hiệu quả để hiểu tính địa phương, định hướng và các bộ lọc dải tương tự như những cái có được trong hệ thống vỏ não thị giác chính Tuy nhiên, wavelets không cung cấp tính chọn lựa định hướng tốt, một đặc tính đáp ứng quan trọng của các tế bào đơn và nơron ở các tần thị giác Vì vậy, mã hóa không gian đa thang có hướng là cần thiết trong lĩnh vực này

Một trong các nhiệm vụ chính trong thị giác máy tính là trích các đặc tính từ một ảnh hoặc một chuỗi các ảnh Các đặc tính có thể là điểm, đường thẳng, cạnh hoặc kết cấu Một tính năng cho trước được mô tả bằng vị trí, hướng, thang và các tham số đặc điểm khác Kĩ thuật thông thường nhất được sử dụng sớm trong thị giác cho việc trích các đặc tính như vậy là bộ lọc tuyến tính Các bộ lọc này cũng được phản ánh trong các mô hình sử dụng trong các hệ thống sinh vật Các đối tượng tại các thang có thể xuất hiện từ các quá trình vật lý riêng biệt Điều này dẫn đến việc sử dụng các thang bộ lọc không gian và các biển đổi wavelets đa phân giải trong lĩnh vực này Một động lực quan trong cho thị giác máy tính là đạt được việc biểu diễn tính định hướng để thấy được các đường và các cạnh không đẳng hướng trong khi vẫn cung cấp tính phân tách rải rác

Một phân tích hình học đa phân giải (MGA) được đặt tên là biến đổi curvelets được đề xuất để vượt qua các hạn chế của biến đổi wavelets rời

rạc hai chiều Trong trường hợp hai chiều (2D), biến đổi curvelets cho phép biểu diễn tối ưu các đối tượng rời rạc với C2-rời rạc Cho một đối tượng

-liên tục, thành phần xấp xỉ tốt nhất thứ m: ̃ bởi ngưỡng curvelets thỏa ‖ ̃‖ ( )

trong khi đó với wavelets tốc độ suy giảm chỉ là Kết hợp với các phương pháp khác, chất lượng tuyệt vời của biến đổi curvelets đã được thể hiện trong xử lý ảnh Không giống các yếu tố đẳng hướng của các wavelets, các thành phần dạng kim của biến đổi này có độ nhạy hướng cũng như tính không đẳng hướng rất cao (ví dụ h nh 3.1 cho trường hợp 2D) Các yếu tố như vậy rất hiệu quả trong việc biểu diễn các cạnh giống đường thằng Gần đây, biến đổi curvelets đã được mở rộng vào không gian ba chiều bởi Ying và đồng sự

Khi so sánh hệ thống curvelets với phân tích Fourier và wavelets truyền thống Biến đổi Fourier thời gian ngắn (short-time Fourier) sử dụng một cửa sổ hình chữ nhật có hình dạng cố định trong miền Fourier và wavelets truyền thống sử dụng các cửa sổ có hình dạng thay đổi nhưng diện tích giới hạn Trái lại, biến đổi curvelets sử dụng các cửa sổ hình nêm hoặc hình thang trong miền tần số để giải quyết các đặc điểm định hướng

3-1: Các thành tố của wavelets và curvelets trên các thang khác nhau

Lưu ý rằng các wavelets tích tensor 2 chiều không đẳng hướng nghiêm ngặc mà có tính chọn lựa hướng

Khái niệm lý thuyết của curvelets tuy dễ hiểu nhưng làm thế nào để có các thuật toán rời rạc cho các ứng dụng thực tế là một thách thức Trong phần tiếp theo, đầu tiên chúng ta sẽ trình bày quá trình phát triển của curvelets từ wavelets cổ điển, sau đó chúng ta sẽ giới thiệu các cấu trúc wavelets khác đã được phát triển để cải thiện việc thể hiện các đặc điểm hướng tính cho

tới xử lý ảnh Sau đó chúng ta sẽ tiếp cận định nghĩa và các đặc tính của biến đổi curvelets Chúng ta trích các khung curvelets rời rạc và thuật toán xử lý nhanh tương ứng cho biến đổi curvelets rời rạc trong trường hợp hai hoặc 3 chiều Cụ thể hơn, chúng ta sẽ trình bày việc xây dựng một hệ thống curvelets và các đặc tính của biến đổi curvelets thế hệ thứ hai Cuối cùng, chúng ta trình bày một vài ứng dụng gần đây của biến đổi curvelets trong xử lý ảnh, địa chất, cơ học chất lỏng, phương pháp số cho các phương tr nh sai phân từng phần và nén cảm ứng

TỪ WAVELETS CỔ ĐIỂN TỚI CURVELETS [2][8] 3.2

Quá trình phát triển 3.2.1

Như được trình bày trong phần giới thiệu, mặc dù biến đổi wavelets rời rạc DWT đã đạt được những biểu hiện tốt như là một công cụ cho phân tích toán học và xử lý tín hiệu, nó có bất lợi là tính định hướng nghèo nàn và vì vậy bị giới hạn trong rất ứng dụng khả dĩ Một quá tr nh đáng nhớ trong sự phát triển của wavelets có hướng đã xuất hiện trong những năm gần đây Biến đổi wavelets phức là một cách để cải thiện tính lựa chọn hướng tính và chỉ yêu cầu chi phí tính toán O(N) Tuy nhiên, biến đổi wavelets phức không được xử dụng rộng rãi trong quá khứ do tính khó khăn khi thiết kế các wavelets phức với các đặc tính tái cấu trúc hoàn hảo và các đặc tính lọc tốt Một kĩ thuật nổi tiếng khác là biến đổi wavelets phức cây kép (dual-tree) DTCWT được đề xuất bởi Kingsbury Bằng cách thêm tái cấu trúc hoàn hảo vào các đặc tính thú vị khác của biến đổi wavelets phức bao gồm dịch xấp xỉ không đổi, chọn lựa 6 hướng, giới hạn thừa mà hiệu quả tính toán vẫn là O(N)

Các wavelets 2D phức được xây dựng chủ yếu sử dụng tích tensor wavelets 1D Tính lựa chọn có hướng được cung cấp bởi wavelets phức (6 hướng) thì cho kết quả tốt hơn so với DWT cổ điển (3 hướng) nhưng vẫn còn giới hạn

Năm 1999, một biến đổi wavelets hình học không định hướng được đặt tên là biến đổi ridgelets được đề xuất bởi Candès và Donoho Biến đổi ridgelets tối ưu trong việc tr nh bày các đường thẳng đặc biệt Biến đổi này với tính chọn lựa có hướng tùy ý cung cấp một chìa khóa quan trong cho việc phân tích các khu biệt bề mặt cao hơn Tuy nhiên, biến đổi Ridgelets chỉ ứng dụng được cho các đối tượng với các đường thẳng khu biệt toàn cục mà điều này hiếm khi xuất hiện

trong các ừng dụng thực tế Để phân tích các đường thẳng hoặc đường cong cục bộ đặc biệt, một ý tưởng tự nhiên được xem xét đó là phân vùng ảnh, sau đó áp dụng biến đổi Ridgelets cho các ảnh con thu được Biến đổi dựa trên các khối Ridgelets này được đặt tên là biến đổi curvelets, được đề cập lần đầu tiên bởi Candès và Donoho trong năm 2000 Ngoài các hiệu ứng khối, ứng dụng của biến đổi curvelets thế hệ đầu tiên này bị giới hạn do bản thân các ridgelets hình học là không rõ ràng vì chúng không phải là các hàm ridge thực trong ảnh số Sau đó, biến đổi curvelets thế hệ thứ hai đơn giản hơn dựa trên kĩ thuật phân vùng tần số đã được đề xuất bởi cùng tác giả Gần đây, một biến thể của biến đổi curvelets đã được đề xuất để xử lý các biên ảnh bằng cách mở rộng nhỏ ME (minor extension) Các phiên bản trước của biến đổi xem ảnh bằng các phân chia Tại đây, cách chỉnh sửa chính là trải trên miền cosin rời rạc thay vì trên miền Fourier rời rạc, và để tái sắp xếp dữ liệu một cách thích hợp thuật toán đạt được có cùng độ phức tạp tính toán như biến đổi curvelets chuẩn

Biến đổi curvelets thế hệ thứ hai được xem là một công cụ hữu ích cho các ứng dụng khác nhau trong xử lý ảnh, khai thác dữ liệu địa chấn, cơ lưu chất và giải quyết các PDE Trong khảo sát này, chúng ta sẽ tập trung vào các tiếp cận thành công này và trình bày các khía cạnh lý thuyết và số cũng như là các ứng dụng khác nhau của của curvelets Từ quan điểm toán học, sức mạnh của cách tiếp cận curvelets là khả năng tính toán lý thuyết mạnh mẽ trong xấp xĩ và lý thuyết toán hạng của chúng Biến đổi curvelets rời rạc thì rất hiệu quả trong việc trình bày các cạnh dạng đường cong Nhưng các hệ thống curvelets hiện tại vẫn còn có hai hạn chế chính đó là: chúng không tối ưu cho xấp xỉ rời rạc các đặc tính cong ngoài C2

- rời rạc, biến đổi curvelets rời rạc có độ dư thừa lớn Các hiện thực hiện tại của biến đổi curvelets rời rạc hướng tới mục tiêu là giảm độ dư thừa một cách thông minh Tuy nhiên, một cách độc lập khỏi các kết quả tốt từ lý thuyết ở thành phần xấp xỉ thứ N bởi curvelets, biến đổi curvelets rời rạc không thích hợp cho nén ảnh Việc làm thế nào để xây dựng biến đổi dạng curvelets trực giao vẫn còn để mở

Tại sao cần curvelets 3.2.2

Trên thực tế, phân tích tần số thời gian tách một tín hiệu sang một vài cơ sở trực giao Chúng ta có thể lượng tử hóa tín hiệu bằng tổng trên các cơ sở khác nhau với các hệ số khác nhau:

∑ (3.1) Với ak, bk lần lượt là hệ số và hệ trục (basis)

Với phương pháp này, việc phân tích các tín hiệu rất dễ dàng Và có một số lợi ích:

tín hiệu Lượng tử những hệ số chi phối này có thể giúp nén dữ liệu

Kiểm tra những cơ sở này sẽ hữu ích trong việc nhận dạng mẫu

phục lại ảnh mà không có tác động kèm theo Mỗi biến đổi có các cơ sở khác nhau trong miền tần số thời gian với các khoảng (tilings) khác nhau

Mặc dù đa thang có thể xử lý các điểm không liên tục tốt hơn STFT, nhưng nó không tối ưu theo đường cong Bởi v cơ sở wavelets là đẳng hướng, và đường cong có hướng do đó, nó cần rất nhiều hệ số để xác định cạnh Có một ví dụ dưới đây:

Bả g 3-1: Bảng so sánh tính xấp xỉ giữa biế đổi curvelets và wavelets

để xấp xỉ đường cong

để xử lý các cạnh

Bả g 3-2: Bảng so sánh tính liên tục giữa điểm và đường cong

Sự không liên tục của điểm và đường cong FT

 Một điểm gián đoạn ảnh hưởng đến tất cả các hệ số Fourier trong miền Do đó FT không thể xử lý tốt các điểm không liên tục

Curvelets

 Curvelets được thiết kế để xử lý các đường cong sử dụng chỉ một số ít các hệ số Do đó Curvelets xử lý tốt các đường cong không liên tục

Một yếu tố quan trọng khác để xác định một biến đổi là tốt hay không là "tốc độ xấp xỉ" (Approximation Rates) Định nghĩa của "tốc độ xấp xỉ ": Nếu có một đối tượng trong miền [0,1]x[0,1], chúng ta có thể gần đúng nó bằng cách sử dụng hệ thống các chức năng nhất định nhanh đến mức nào?

Từ bảng so sánh tốc độ xấp xỉ của các phương pháp biến đổi Ta thấy là biến đổi curvelets là tốt nhất:

Bả g 3-3: Bảng so sánh tốc độ xấp xỉ của các biế đổi khác nhau

Tốc độ xấp xỉ

1/22()

m

f  f O m

12()

Các hàm cửa sổ 3.3.1

Để xây dựng các hàm curvelets chúng ta trước hết phải xác định các cửa sổ đặc biệt thỏa mãn các điều kiện nhất định Chúng ta trình bày một ví dụ rõ ràng để minh họa cho tất cả các lựa chọn có thể của hàm cửa sổ, phần cơ bản trong việc xây dụng biến đổi curvelets

Cho mục đích này, chúng ta chọn cửa sổ Meyer:

(𝑡) {

|𝑡| [𝜋 ( |𝑡| )] |𝑡|

(𝑡)

{ [𝜋 ( )]

[𝜋 ( )]

Với v là hàm trơn thỏa mãn

(𝑡) { ( ) ( ) (3.7) Cho trường hợp đơn giản ( ) trong đoạn [0,1], các hàm cửa sổ V(t) và W(r) được vẽ trong h nh 3.2 Để đạt các hàm trơn hơn W và