Khôi phục ảnh và ứng dụng (LV thạc sĩ)

Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)Khôi phục ảnh và ứng dụng (LV thạc sĩ)

LUẬN VĂN THẠC SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC

TS NGUYỄN THỊ BÍCH THỦY

Thái Nguyên - 2017

Mục lục

1 Giới thiệu và phát biểu bài toán khôi phục ảnh 9

1.1 Các khái niệm cơ bản của xử lý ảnh số (Xem [1, [2], [7]) 9

1.1.1 Ảnh số là gì 9

1.1.2 Tổng quan về các giai đoạn xử lý ảnh số 9

1.1.3 Các loại ảnh trong matlab 10

1.2 Biểu diễn ảnh và các tác nhân làm biến dạng ảnh 15

1.2.1 Biểu diễn trong miền không gian 15

1.2.2 Biểu diễn ảnh trong miền tần số 16

1.2.3 Các tác nhân làm biến đổi ảnh 16

1.3 Bài toán khôi phục ảnh số 19

2 Các kĩ thuật khôi phục ảnh 21 2.1 Các bộ lọc trong miền không gian 21

2.1.1 Bộ lọc trung bình số học 21

2.1.2 Bộ lọc trung bình hình học 21

2.1.3 Bộ lọc trị số trung bình 22

2.1.4 Bộ lọc Min và Max 22

2.1.5 Bộ lọc trung bình điều hòa (Hamonic mean filter) 22

2.1.6 Bộ lọc điểm giữa 22

2.2 Các bộ lọc trong miền tần số 23

2.2.1 Bộ lọc chắn dải 23

2.2.2 Bộ lọc thông dải 23

2.2.3 Bộ lọc Notch 24

2.2.4 Bộ lọc ngược 24

2.2.5 Bộ lọc Wiener 25

2.3 Sử dụng biểu diễn thưa trong khử mờ, nhiễu 26

3 Thực nghiệm 29 3.1 Kịch bản test 29

3.2 Kết quả 30

3.3 Nhận xét 38

Danh sách hình vẽ

1.1 Hình 1.1 Các giai đoạn chính trong xử lý ảnh 10

1.2 Hình 1.2 Ảnh Index đen trắng 11

1.3 Hình 1.3 Ảnh Index màu 11

1.4 Hình 1.4 Ảnh grayscale 12

1.5 Hình 1.5 Ảnh nhị phân 12

1.6 Hình 1.6 Ảnh RGB biểu diễn dưới các điểm ảnh 13

1.7 Hình 1.7 Ảnh RGB màu 14

1.8 Hình 1.8 Ảnh trên miền không gian 15

1.9 Hình 1.9 Lọc tuyến tính 17

1.10 Hình 1.10 Sơ đồ khôi phục ảnh 20

Danh sách bảng

3.1 Bảng kết quả khử nhiễu PSNR (dB) 373.2 Bảng đo kết quả thời gian chạy các thuật toán(đơn vị tính

giây) 37

xã hội Chính vì vậy, việc nâng cao hình ảnh kỹ thuật số là cần thiết trongnhiều lĩnh vực ứng dụng của hình ảnh Nó làm cho con người có thể dễdàng quan sát và máy móc có thể thực thi tốt hơn các nhiệm vụ, biên dịch

và thực hiện các bài toán xử lý thông tin khác trên hình ảnh

Trên thực tế, rất nhiều tài liệu hình ảnh được chụp từ điện thoại, máyảnh, camera để phục vụ cho các nhiệm vụ lưu trữ có chất lượng không tốt

do nhiều nguyên nhân khác nhau như: kỹ năng của người chụp ảnh, giớihạn của thiết bị chụp ảnh, ánh sáng .làm cho ảnh bị nhiễu,mờ Xuấtphát từ thực tế này, đã có rất nhiều công trình công bố tập trung vào pháttriển các thuật toán xử lý ảnh số mà đặc biệt là nâng cao chất lượng ảnh

Và trong luận văn này cũng sẽ đi sâu và nghiên cứu tổng quan các phươngpháp khôi phục ảnh và đánh giá một số phương pháp tiêu biểu trong nângcao chất lượng ảnh số

Sử dụng công cụ Matlab cài đặt thử nghiệm mô phỏng một số thuật toánnâng cao chất lượng ảnh số Đánh giá khả năng ứng dụng của các thuậttoán trên thực tế

Chính vì vậy, đối tượng của luận văn là: Các phương pháp khôi phục ảnh,bao gồm khử nhiễu khử mờ ảnh Luận văn sẽ khảo sát và đánh giá một sốphương pháp thường dùng trong nâng cao chất lượng ảnh số, lựa chọn cácphương pháp được cho là phù hợp nhất đối với việc nâng cao chất lượngảnh Tập trung vào cài đặt thử nghiệm một số phương pháp nhằm chứngminh tính đúng đắn và khả năng ứng dụng trong thực tế của thuật toán.Luận văn gồm 3 chương:

Chương I: Trình bày tổng quan về các khái niệm cơ bản trong xử lý ảnh

Và cuối cùng là kết luận, đưa ra đánh giá cho từng phương pháp

Để hoàn thành được luận văn này em xin bày tỏ lòng biết ơn sâu sắc tới

TS Nguyễn Thị Bích Thủy đã tận tình hướng dẫn và giúp đỡ em trongsuốt quá tình học tập và nghiên cứu để em có thể hoàn thiện luận văn này

Em cũng xin bày tỏ lòng biết ơn chân thành tới các Giáo sư, Phó giáo sư,Tiến sĩ, quý thầy cô giáo giảng dạy tại Đại học Khoa học, Đại học TháiNguyên và tại Viện Toán học, Viện Hàn lâm Khoa học và Công nghệ ViệtNam đã mang đến cho em nhiều kiến thức bổ ích trong nghiên cứu khoahọc

Đồng thời, tôi xin gửi lời cảm ơn tới gia đình và các bạn đồng môn đãluôn giúp đỡ và động viên tôi trong thời gian học tập tại Đại học Khoahọc, Đại học Thái Nguyên và trong quá trình hoàn thành luận văn này.Luận văn được hoàn thành tại trường Đại học Khoa học, Đại học TháiNguyên dưới sự hướng dẫn trực tiếp của TS Nguyễn Thị Bích Thủy Mặc

dù, em đã hết sức cố gắng nhưng do vấn đề thời gian có hạn và kinhnghiệm nghiên cứu còn hạn chế nên khó tránh khỏi thiếu sót Em mongnhận được sự góp ý của quý thầy cô và các bạn

Thái Nguyên, tháng 05 năm 2017

Tác giả

Nguyễn Thị Phượng

mà hàm f (x, y) của nó đã được rời rạc hoá theo cả toạ độ không gian (haygọi là các điểm ảnh) và cường độ sáng của nó Giá trị cường độ sáng đãđược số hoá được gọi là giá trị mức xám Số điểm ảnh xác định độ phângiải của ảnh Ảnh có độ phân giải càng cao thì càng thể hiện rõ nét cácđăc điểm của tấm hình càng làm cho tấm ảnh trở lên thực và sắc nét hơn.1.1.2 Tổng quan về các giai đoạn xử lý ảnh số

Xử lý ảnh là quá trình biến đổi từ một ảnh ban đầu sang một ảnh mớivới các đặc tính và tuân theo ý muốn của người sử dụng Xử lý ảnh cóthể gồm quá trình phân tích, phân lớp các đối tượng, làm tăng chất lượng,phân đoạn và tách cạnh, gán nhãn cho vùng hay quá trình biên dịch cácthông tin hình ảnh của ảnh

Xử lý ảnh số là một lĩnh vực của tin học ứng dụng Xử lý dữ liệu bằng

đồ hoạ đề cập đến những ảnh nhân tạo, các ảnh này được xem xét như làmột cấu trúc dữ liệu và được tạo ra bởi các chương trình Xử lý ảnh sốbao gồm các phương pháp và kĩ thuật để biến đổi, để truyền tải hoặc mã

hoá các ảnh tự nhiên Mục đích của xử lý ảnh gồm:

- Biến đổi ảnh, làm tăng chất lượng ảnh

- Tự động nhận dạng, đoán nhận, đánh giá các nội dung của ảnh

Các bước cần thiết trong xử lý ảnh được mô tả chi tiết trong Hình 1.1 baogồm các bước sau:

Hình 1.1: Các giai đoạn chính trong xử lý ảnh

Trong luận văn trình bày các thuật toán khôi phục ảnh trong môi trườngMatlab nên chúng ta sẽ xét một số loại ảnh sau trong Matlab

1.1.3 Các loại ảnh trong matlab

* Ảnh Index:

Ảnh được biểu diễn bởi hai ma trận, một ma trận dữ liệu ảnh X và một

ma trận màu (còn gọi là bản đồ màu) map Ma trận dữ liệu có thể thuộckiểu uint8, uint16 hoặc double Ma trận màu là một ma trận kich thước

m × 3 gồm các thành phần thuộc kiểu double có giá trị trong khoảng [0, 1].Mỗi hàng của ma trận xác định thành phần red, green, blue của một màutrong tổng số m màu được sử dụng trong ảnh Giá trị của một phần tửtrong ma trận dữ liệu ảnh cho biết màu của điểm ảnh đó nằm ở hàng nàotrong ma trận màu

* Ảnh RGB:

Còn gọi là ảnh “truecolor” do tính trung thực của nó Ảnh này được biểudiễn bởi một ma trận ba chiều kích thước m × n × 3, với m × n là kíchthước ảnh theo pixels Ma trận này định nghĩa các thành phần màu red,green, blue cho mỗi điểm ảnh, các phần tử của nó có thể thuộc kiểu uint8,uint16 hoặc double

Hình 1.6: Ảnh RGB biểu diễn dưới các điểm ảnh

Hình 1.7: Ảnh RGB màu

1.2 Biểu diễn ảnh và các tác nhân làm biến dạng ảnh

1.2.1 Biểu diễn trong miền không gian

Khái niệm: Miền không gian là tập hợp các pixels trong một bức ảnh.Chúng ta sẽ tiến hành xử lý trực tiếp trên các pixels này Quá trình xử lýnày có thể được mô tả thông qua biểu thức sau:

g(x, y) = T [f (x, y)]

Với f (x, y) là ảnh gốc, g(x, y) là ảnh sau xử lý, và T là phép toán biến đổi,dựa trên các điểm ảnh xung quanh (x, y)

Hình 1.8: Ảnh trên miền không gian

Các điểm ảnh xung quanh có thể có các kích cỡ khác nhau, có thể là dạngvuông hoặc chữ nhật, trong đó điểm ảnh cần xử lý ở vị trí trung tâm Trênhình là một khung có kích thước 3 × 3 Tùy mục đích cụ thể mà ta dùngcác phép biến đổi khác nhau

Ưu điểm: Biện pháp xử lý ảnh trên miền không gian là biện pháp rấttrực quan Phù hợp với cảm giác tự nhiên của chúng ta

Nhược điểm: Biện pháp này không tinh tế, và lâu do nó quá đơn giản

1.2.2 Biểu diễn ảnh trong miền tần số

Khái niệm: Chuyển đổi ảnh từ dạng ma trận sang dạng hàm thôngqua các phép biến đổi Điển hình nhất là biến đổi Fourier, Cosin, .Biến đổi Fourrier cho một tín hiệu có thể hình dung như sau: Miền thời

gian Miền tần số Biến đổi Fourrier cho một tín hiệu một chiều gồm mộtcặp biến đổi:

- Biến đổi thuận: chuyển sự biểu di n từ không gian thực sang khônggian tần số (phổ và pha)

- Biến đổi ngược: chuyển đổi sự biểu diễn của đối tượng từ khônggian Fourrier sang không gian thực

Ưu điểm: Khai thác được các tính chất của tín hiệu và nhanh

Nhược điểm: không trực quan, khó hiểu

1.2.3 Các tác nhân làm biến đổi ảnh

* Tác nhân gây mờ: Lọc tuyến tính là phương pháp lọc trong đó mứcxám mỗi pixel của ảnh mới là tổ hợp tuyến tính của các mức xám của cácpixels lân cận,tức là mỗi pixel lân cận sẽ được nhân với một hệ số tươngứng rồi được cộng lại để được đáp ứng tại điểm ảnh trung tâm Nếu vùnglân cận có kích thước m×n thì ta có m×n hệ số tương ứng Trong Matlab,các hệ số này được sắp xếp trong một ma trận kích thước m × n,gọi là bộlọc Cơ chế lọc được thực hiện bằng cách di chuyển tâm của mặt nạ qualần lượt từng điểm ảnh và thực hiện tính tổng các tích của mức xám cácđiểm ảnh xung quanh với hệ số bộ lọc Kích thước bộ lọc là lẻ Kích thướcnhỏ nhất có ý nghĩa là 3 × 3

Giả thiết rằng m = 2a + 1, n = 2b + 1, với a, b ≥ 1 Ta có biểu thức tính

Có hai khái niệm khi chúng ta thực hiện phương pháp lọc tuyến tính, đó

là tương quan (correlation) và tích chập (convolution) Tương quan là quátrình dịch bộ lọc qua từng điểm ảnh như ta đã đề cập Tích chập cũng sửdụng quá trình tương tự, ngoại trừ bộ lọc w quay 180◦ trước khi tiến hànhdịch bộ lọc

Một vấn đề khác ta cũng cần quan tâm là tiến hành lọc tại các điểm

nằm gần biên ảnh Với một bộ lọc vuông n × n, tại vị trí cách biên mộtkhoảng cách n − 1

2 bộ lọc sẽ có biên trùng khít với biên ảnh, nhưng đốivới các điểm ảnh nằm gần biên thì một hoặc một số hàng hoặc cột của

ma trận lọc sẽ nằm bên ngoài ảnh Có nhiều giải pháp để giải quyết vấn

đề này Một giải pháp đơn giản là ta chỉ tiến hành xử lý tại các điểm cókhoảng cách không nhỏ hơn n − 1

2 so với biên ảnh.

Kết quả là ảnh sau lọc có kích thước nhỏ hơn so với ảnh gốc nhưng toàn

bộ điểm ảnh đều được xử lý Trong trường hợp cần ảnh sau xử lý có cùngkích thước với ảnh gốc, một giải pháp là tiến hành xử lý các điểm ảnh ởgần biên với các hệ số bộ lọc phủ trong ảnh và bỏ qua các hệ số nằm bênngoài ảnh Một giải pháp khác là thêm một số mức xám vào ảnh gốc, gọi

là đệm (padding) để mặt nạ phủ toàn bộ ảnh Miếng đệm có thể là một sốhàng và cột có giá trị 0 (hoặc một hằng số nào đó), hoặc thêm các hàng vàcột lặp lại các giá trị mức xám trên biên ảnh, hoặc đối xứng với các điểmảnh bên trong qua biên ảnh Điều dễ thấy là kích thước mặt nạ càng lớn,ảnh sau lọc sẽ có độ sai lệch càng lớn so với ảnh gốc, do đó để ảnh không

bị biến dạng thì cách duy nhất là thực hiện lọc đối với các điểm ảnh cókích thước không nhỏ hơn n − 1

2 .

* Tác nhân gây nhiễu: Do các loại nhiễu: Nhiễu có nhiều loại nhưng ta

có thể chia thành 3 loại nhiễu sau:

+ Nhiễu xung và nhiễu nhị phân:

Nếu ta có ảnh I, nhiễu Gaussian là N ta sẽ có ảnh nhiễu là = I+N

giá trị mặc định của kỳ vọng và phương sai của nhiễu là 0 và 0,001.+ Nhiễu Speckle:

Nó được xây dựng bằng cách nhận các giá trị ngẫu nhiên với giá trị củacác điểm ảnh Nó là vấn đề quan trọng trong ứng dụng radar

Nhiễu N có phân phối chuẩn với giá trị trung bình bằng 0 Cung cấpthêm thông số để xác định giá trị kì vọng của N, giá trị mặc định là 0,04.Nếu ảnh là tín hiệu tuần hoàn thì ta có thể bị ảnh hưởng bởi nhiễu tuầnhoàn Dạng nhiễu tuần hoàn được tạo ra bằng cách cộng vào ảnh một matrận tuần hoàn

1.3 Bài toán khôi phục ảnh số

Khôi phục ảnh là việc bỏ hay giảm thiểu sự biến dạng xảy ra trong quátrình thu nhận ảnh Sự biến dạng ảnh có thể bao gồm: Nhiễu - là nhữngsai khác trong giá trị của điểm ảnh, ảnh hưởng quang học: sự mờ do việcchuyển động của cameran Ta có dạng tổng quát của ảnh bị biến dạng:

g(x, y) = f (x, y) ∗ h(x, y) + n(x, y),

tương ứng trong miền tần số ta có:

G(i, j) = F (i, j).H(i, j) + N (i, j)

Trong đó: G/g là ảnh cần được khôi phục

Hình 1.10: Sơ đồ khôi phục ảnh

Chương 2

Các kĩ thuật khôi phục ảnh

Trong chương này chúng tôi sẽ giới thiệu một số các thuật toán khửnhiễu, khử mờ điển hình cũng như một phương pháp mới được áp dụngtrong thời gian gần đây là sử dụng biểu diễn thưa của ảnh Các thuật toánnày được chia thành 3 nhóm: nhóm các thuật toán trên miền không giancủa ảnh, nhóm các thuật toán trên miền tần số của ảnh và nhóm các thuậttoán trên dạng biểu diễn thưa của ảnh

2.1 Các bộ lọc trong miền không gian

2.1.1 Bộ lọc trung bình số học

Được cho bởi hàm

b

f = 1mn

Mỗi giá trị điểm ảnh của ảnh phục hồi: là tích của những điểm ảnh trongmiền Sxy, sau đó lấy lũy thừa 1/mn

• Bộ lọc Min:

Bộ lọc này áp dụng trong việc xác định điểm tối nhất trong ảnh Do đó nó

sẽ loại trừ nhiễu Salt như là kết quả của quá trình lựa chọn mức tối trongmiền xác định bởi Sxy

2.1.5 Bộ lọc trung bình điều hòa (Hamonic mean filter)

hD2(u, v) − D02D(u, v)W

i2

Bộ lọc chắn dải loại bỏ nhiễu trong những ứng dụng mà ta đã biết trướckhoảng tần số của những thành phần nhiễu Ví dụ như một ảnh bị ảnhhưởng của nhiễu tuần hoàn - xem tương đương như hàm sine của hàm 2biến

hD1(u, v)D2(u, v)

D02

i2

• Bộ lọc Notch thông dải

Có hoạt động ngược lại với hoạt động của bộ lộc North chắn dải Ta dễdàng suy ra hàm truyền của bộ lọc Notch thông dải:

Hnp(u, v) = 1 − Hnr(u, v)2.2.4 Bộ lọc ngược

Ta có: Y (i, j) = X(i, j) ∗ F (i, j)

Từ đó ta có thể khôi phục DFT của ảnh ban đầu: X(i, j) = Y (i, j)/F (i, j)Tuy nhiên một số thành phần của bộ lọc rất nhỏ, nên phép chia sẽ tạo ragiá trị rất lớn - lấn át, quyết định giá trị ngõ ra Nên ta sẽ khó thu đượckết quả ảnh gốc chấp nhận được

Có thể giải quyết vấn đề trên như sau:

• Áp một bộ lọc thông thấp vào phép chia:

X(i, j) = Y (i, j)

F (i, j)L(i, j).

sẽ loại bỏ những giá trị rất nhỏ của bộ lọc F (i, j)

• Chọn một ngưỡng giá trị d, nếu |F (i, j)| < d chúng ta sẽ không thựchiện phép chia mà giữ giá trị ban đầu

F (i, j) nếu |F (i, j)| ≥ d,

Y (i, j) nếu |F (i, j)| < d

Gọi M: ảnh ban đầu, R: ảnh khôi phục

Điều mong muốn là R càng gần với M càng tốt Để xét sự chênh lệch gầnnhất giữa R, M ta xét hàm:

X(mi,j − ri,j)2

Nếu ta có thể tối thiểu hóa giá trị của tổng trên, ta có thể chắc chắn rằng

ta sẽ thu được kết quả tốt nhất có thể

bộ lọc có đặc điểm của hàm tính "bình phương tối thiểu" gọi là bộ lọc

2.3 Sử dụng biểu diễn thưa trong khử mờ, nhiễu

Biểu diễn thưa (sparse representation) của ảnh là một hướng nghiêncứu mới trong những năm gần đây Phương pháp này đã được đề xuất lầnđầu tiên năm 1997 trong bài báo số [3] và đã được áp dụng rất thành côngtrong nhiều ứng dụng của xử lý ảnh như trong thu nhận ảnh, khử nhiễu,trích chọn thông tin trên ảnh, nhận dạng, Ý tưởng chính của phươngpháp là sử dụng một hệ vec-tơ cơ sở dư thừa (overcomplete basis) để biểudiễn lại tín hiệu/ảnh sao cho số thành phần khác không là rất ít (dạngbiểu diễn thưa) Thông qua cách biểu diễn này, chỉ những thông tin quantrọng của ảnh/tín hiệu được giữ lại, những thông tin ít quan trọng hơn sẽđược lược bỏ và khôi phục lại khi cần thiết Với tính chất trên của biểudiễn thưa, ta thấy nhiễu là những thông tin không quan trọng trong ảnh

và do đó nó sẽ được loại bỏ dễ dàng trong quá trình xử lý Hệ vector cơ

sở dùng để biểu diễn ảnh được gọi là “từ điển” (dictionary) Các từ điểnnày có thể được tính toán trước thông qua các hàm toán học như sử dụngwavelete, các phép biến đổi Cosin rời rạc (DCT), Fourier (FFT), Tuynhiên, các từ điển được định nghĩa trước sẽ không phù hợp với các loạiảnh khác nhau và những mục đích sử dụng khác nhau Ý tưởng về phươngpháp học từ điển (dictionary learning) thông qua chính những phần củabức ảnh cần xử lý được đề xuất vào khoảng năm 2000 trong một số bàibáo [4], [6] và được áp dụng vào bài toán khử nhiễu ảnh năm 2006 trongbài báo [5] Trong phần này chúng tôi sẽ trình bày lại ý tưởng của phươngpháp học từ điển và tìm biểu diễn thưa của ảnh để đưa vào khử nhiễuthông qua thuật toán KSVD được đề xuất trong bài báo [5] Bài toán tìmbiểu diễn thưa của một tập các mẫu ảnh x có kích thước √

n × √

n códạng:

b

α = arg min

α kαk0 sao cho Dα ≈ x (2.1)