Mục đích chính của việc dung hợp ảnh chính là tăng cƣờng sự quan sát của ảnh. Trong một số ứng dụng thì việc dung hợp ảnh rất có ý nghĩa, chẳng hạn nhƣ trong an ninh thì việc dung hợp giữa ảnh hồng ngoại và ảnh thƣờng, trong việc nâng cao chất lƣợng ảnh thì có dung hợp giữa các ảnh của cùng một cảnh để kết hợp các chi tiết rõ nét của ảnh này mà các ảnh còn lại không có đồng thời cũng làm tăng cƣờng độ phân giải của ảnh. Trọng tâm là dung hợp giữa ảnh hồng ngoại và ảnh thƣờng ứng dụng trong an ninh. Đầu tiên ảnh hồng ngoại đƣợc chụp, sau đó là ảnh thƣờng của cùng một cảnh, ảnh thƣờng cung cấp các thông tin bề ngoài của đối tƣợng quan sát (nghi vấn) còn ảnh hồng ngoại sẽ phát hiện ra vũ khí giấu bên trong lớp quần áo nếu có, nhƣ vậy ảnh dung hợp sẽ cho ta cái nhìn toàn diện về đối tƣợng tình nghi, về hình dạng của vũ khí, vị trí và diện mạo của kẻ tình nghi. Một ứng dụng khác của ảnh hồng ngoại gần và phƣơng pháp dung hợp là nhận dạng khuôn mặt.
Ở hình (5.1), ảnh dung hợp cho ta cái nhìn tổng quan về việc phát hiện vũ khí đƣợc giấu bên trong lớp áo của kẻ tình nghi.
Hình 5.1: a-Ảnh quan sát; b-Ảnh hồng ngoại; c-Ảnh dung hợp
Việc dung hợp ảnh dựa trên các giải thuật phân tích ảnh nhƣ DWT, EMD,… và phƣơng pháp dung hợp các thành phần phân rã của ảnh nhƣ phƣơng pháp trung bình
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
mean, phƣơng pháp cực đại max hay cực tiểu min để làm tăng cƣờng hay giảm bớt các thành phần mong muốn.
5.2 Dung hợp ảnh dựa trên phƣơng pháp biến đổi wavelet rời rạc (Discrete wavelet transform-DWT)
DWT phân tích ảnh ra thành các thành phần bao gồm thành phần xấp xỉ (thành phần tập trung năng lƣợng và tần số thấp) và các thành phần chi tiết. Nhƣ vậy, việc dung hợp các thành phần chi tiết khác nhau giữa hai ảnh sẽ cho ra ảnh dung hợp với đầy đủ thông tin hơn, thêm vào đó việc cân bằng giữa các thành phần xấp xỉ sẽ cho độ tƣơng phản của ảnh tốt hơn làm tăng độ quan sát của ảnh đáng kể.
Trong MATLAB, việc phân rã một ảnh dựa trên hàm dwt2,
[cA, cH, cV, cD]=dwt2(X,’wname’) (5.1) [cA, cH, cV, cD]=dwt2(X, Lo_D, Hi_D) (5.2) Trong đó ‘wname’ là tên của dạng biến đổi wavelet tƣơng ứng với hàm cơ bản sử dụng trong các bộ lọc, ở đây ta sử dụng ‘haar’ hay ‘db2’, Lo_D và Hi_D là các bộ lọc phân giải thông thấp và thông cao. Việc biến đổi wavelet có thể thực hiện theo nhiều mức, tùy theo cấu trúc và kích thƣớc của ảnh để có thể tách đƣợc các thành phần chi tiết một cách riêng rẽ. Sau đó, tại mỗi mức phân giải, các thành phần tƣơng ứng sẽ đƣợc dung hợp với nhau theo phƣơng thức: cực đại tuyệt đối tại mỗi pixel của cả hai ảnh để đạt đƣợc các hệ số xấp xỉ (cA), và cực tiểu tuyệt đối tại mỗi pixel của cả hai ảnh cho ba thành phần phân rã (cH, cV, cD). Với T là ảnh hồng ngoại (thermal image) và V là ảnh màu quan sát (visual), và C là hệ số của ảnh dung hợp,
‘max’: D = abs(T) ≥ abs(V); C = T(D) + V(~D) (5.3) ‘min’: D = abs(T) ≤ abs(V); C = T(D) + V(~D) (5.4)
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
IDWT sử dụng wavelet ‘wname’ để tính toán cấu trúc của ảnh ở từng mức phân giải dựa trên các ngõ vào là các thành phần phân rã của ảnh ở các mức tƣơng ứng, ma trận xấp xỉ cA, và các ma trận chi tiết cH, cV, cD (lần lƣợt dọc, ngang, chéo). Lo_R và Ho_R là các bộ lọc tái tạo thông thấp và thông cao, cũng sử dụng các hàm cơ bản nhƣ ‘haar’ và ‘db2’ có mối liên hệ tƣơng quan với các bộ lọc phân giải ở trên.
Tổng quát quá trình dung hợp dựa trên biến đổi wavelet : với hai ảnh ngõ vào và , dung hợp theo quy tắc , sau đó áp dụng biến đổi ngƣợc của wavelet , ảnh dung hợp là I(x,y),
( ( ( ) ( )))
Hình 5.2: Mô tả quá trình dung hợp dựa trên biến đổi wavelet
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
Hình 5.3: Dung hợp ảnh dựa trên biến đổi wavelet a-ảnh 1; b-ảnh 2; c-wavelet của ảnh 1; d-wavelet của ảnh 2; e-các wavelet sau khi dung hợp; f-ảnh dung hợp a c d e f b
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
5.3 Dung hợp ảnh dựa trên phƣơng pháp thực nghiệm phân hủy EMD
Đây là một kỹ thuật dung hợp khác trong đó sự phân giải ảnh dựa trên biến đổi EMD (empirical mode decomposition),
Hình 5.4: Sơ đồ phân giải ảnh sử dụng EMD
Việc dung hợp đƣợc thực hiện ở một mức phân giải nào đó và các IMFs tƣơng ứng của hai ảnh sau khi dung hợp sẽ đƣợc tái cấu trúc để thu đƣợc ảnh dung hợp. Quá trình dung hợp đƣợc thực hiện dựa trên phƣơng pháp trọng số nhằm làm nổi bật các cạnh, nét đặc trƣng từ cả hai phƣơng thức bằng cách làm giảm đi các thông tin giống nhau và do đó làm tăng thông tin và nội dung hiển thị của ảnh dung hợp. Nói cách khác, phƣơng pháp trọng số làm nổi bật những chi tiết mong muốn và tối thiểu hóa các chi
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
tiết không mong muốn trong ảnh dung hợp. Các bƣớc thực hiện dung hợp giữa ảnh hồng ngoại và ảnh thƣờng nhƣ sau,
Phân giải các ảnh thành các IMFs sử dụng giải thuật EMD
Dung hợp các IMFs tƣơng ứng của hai ảnh dựa trên quy tắc trung bình có trọng số. Số IMFs dung hợp sẽ bằng với số IMFs của từng ảnh, và số lƣợng IMFs tùy thuộc vào đặc trƣng của ảnh sẽ đƣợc phân giải thành các IMFs cho tới khi IMFs cuối cùng không còn phân giải đƣợc nữa. Tuy nhiên, thông thƣờng chỉ phân giải tới IMF thứ 8, vì các IMFs sau đó không có ý nghĩa nhiều về mặt vật lý.
Khôi phục cấu trúc của các IMFs dung hợp và thành phần còn dƣ để thu đƣợc ảnh dung hợp của ảnh hồng ngoại và ảnh thƣờng với các nét đặc trƣng nổi bật mong muốn của cả hai ảnh.
Hình 5.5: Giản đồ quá trình dung hợp các IMFs sử dụng phương pháp trọng số (weighted average) với các hệ số khác nhau cho mỗi IMFs tương ứng
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
Việc lựa chọn các hệ số dung hợp tùy theo thành phần mà ta muốn làm nổi bật hay giảm bớt, các lựa chọn thông thƣờng là,
‘mean’ với
‘max’ hay ‘min’ với
Phƣơng pháp dung hợp các thành phần sau khi phân giải đƣợc ứng dụng cho mọi phƣơng pháp phân giải tùy thuộc vào đặc tính của ành và các thành phần phân rã. Sau đây là kết quả dung hợp của hai ảnh ngõ vào với các vùng nhòe và vùng nổi khác nhau, bằng cách dung hợp ta sẽ đƣợc ảnh rõ nét cho toàn bộ cảnh. Các phƣơng pháp phân giải đƣợc lần lƣợt thực hiện để so sánh kết quả, EMD, BEMD, EEMD, EBEMD.
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
5.3.1 Két quả cho Phƣơng pháp phân giải EMD
Hình 5.6: a-Ảnh ngõ vào 1 và các IMFs; b- Ảnh ngõ vào 2 với các IMFs
a
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
Hình 5.7: Ảnh dung hợp
5.3.2 Kết quả cho phân giải theo BEMD
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
Hình 5.9: Phân rã theo chiều ngang và theo chiều dọc ảnh 1, sau đó dung hợp các IMFs của cả hai chiều
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
Hình 5.10: Phân rã theo chiều ngang và theo chiều dọc ảnh 2, sau đó dung hợp các IMFs của cả hai chiều
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
5.4 Dung hợp ảnh dựa trên phƣơng pháp tập hợp EMD (EEMD) với sự trợ giúp của nhiễu
Quá trình thực hiện với độ lệch chuẩn của nhiễu so với tín hiệu là 0.2, số lần thử là 50. Hai ảnh ngõ vào nhƣ hình (5.7),
5.4.1 Kết quả các IMF của ảnh 1
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
5.5 Dung hợp ảnh dựa trên phƣơng pháp tập hợp EMD theo hai chiều
Các ảnh ngõ vào sẽ đƣợc phân giải theo từng hàng bằng EEMD, sau đó sẽ sắp xếp lại theo chiến lƣợc thành các ma trận với thành phần là các IMF tƣơng ứng. Ma trận thu đƣợc sẽ đƣợc tiếp tục biến đổi theo cột bằng EEMD, và cuối cùng là sắp xếp lại theo chiến lƣợc thành các ma trận IMF của ảnh.
5.5.1 Kết quả các IMF cho ảnh 1
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
5.6 Nhận xét kết quả và đánh giá
Đối với phƣơng pháp DWT, thì đây là phƣơng pháp ra đời từ rất sớm và đƣợc ứng dụng rất hiệu quả đối với việc xử lý ảnh nhƣ nén ảnh, dung hợp ảnh,… Và do phƣơng pháp này có thể ứng dụng trên dữ liệu hai chiều dựa trên các bộ lọc phân giải và bộ lọc tái tạo của các hàm cơ bản, nên nó hoạt động rất hiệu quả đối với ảnh. Tuy nhiên, phƣơng pháp này thực sự không hiệu quả đối với dữ liệu không tuyến tính và không ổn định. Các bộ lọc trƣợt trên từng pixel theo hàng và theo cột, nhƣng về tổng quan thì không hình thành đƣợc mối liên hệ với toàn bộ pixel hay ít nhất là các khối 8x8 hay 16x16 của ảnh.
EMD có ƣu điểm hơn so với DWT, nó là một phƣơng pháp thích nghi, rất hiệu quả trên các dữ kiệu không tuyến tính và không ổn định. Kết quả phân giải và dung hợp của DWT và EMD một cách trực quan thì không khác nhau nhiều, tuy nhiên, thời gian chạy mô phỏng của DWT nhanh hơn nhiều so với EMD, và EMD là phƣơng pháp một chiều, nên việc phân giải thành các IMF sẽ không hoàn toàn chứa hết các thành phần cạnh nét của ảnh.
BEMD vừa đáp ứng đƣợc tính thích nghi, vừa ứng dụng đƣợc trên dữ liệu hai chiều, nó đƣợc xây trên nền tảng EMD, áp dụng EMD cho từng hàng hay cột theo thứ tự (không cần có sự ƣu tiên về hƣớng), do đó, nó có sự liên kết giữa các pixel lân cận tốt hơn EMD (vector hóa ảnh). Kết quả phân giải của BEMD cho thấy rõ các cạnh nét của ảnh theo cả hai hƣớng một cách rõ ràng.
Sự phát triển của EEMD và EBEMD là đồng thời để khắc phục những khó khăn mà EMD và BEMD tồn tại, đó là hiện tƣợng mode mixing xảy ra khi dữ liệu có sự gián đoạn giữa các scale. Với sự trợ giúp của nhiễu với biên độ hữu hạn (nhƣng không phải vi phân), nó tạo ra các scale tham khảo trong suốt quá trình phân giải dữ liệu thành các IMF. Nhiễu thêm vào sẽ làm cho tỷ số tín hiệu trên nhiễu giảm, nhƣng không ảnh hƣởng nhiều đến kết quả, đồng thời các nhiễu thêm vào mỗi lần thử là ngẫu nhiên và không có mối liên hệ, nên sẽ khử lẫn nhau nếu số lần thử đủ lớn. Do đó, kết quả của EEMD và trên hết là kết quả của EBEMD tốt hơn, nhƣng thời gian chạy mô phỏng rất lâu, khối lƣợng tính toán lớn.
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 5 DUNG HỢP ẢNH, SO SÁNH CÁC PHƢƠNG PHÁP…
Bảng 5.1: So sánh thời gian xử lý giữa các phương pháp EMD, BEMD, EEMD và EBEMD, trong đó là độ lêch chuẩn giữa nhiễu và dữ liệu, N là số lần thử.
Phƣơng pháp Thời gian mô phỏng (s) Tỷ số tín hiệu trên nhiễu PSNR
EMD 12.4489
EEMD với , N=1 56.8936 11.6158 EEMD với , N=5 170.7431 157.1870 EEMD với , N=10 276.1218 162.7116 EEMD với , N=50 1.2751e+003 169.0290
BEMD 29.7338 EBEMD với , N=1 154.6750 45.8916 EBEMD với , N=5 746.7924 139.0026 EBEMD với , N=10 1.4900e+003 192.0493 EBEMD với , N=50 7.8744e+003 254.0527
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 6 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ĐỀ TÀI
CHƯƠNG 6
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI
6.1 Kết luận
Sau khi nghiên cứu đề tài, có thể rút ra một số kết luận sau đây:
Hồng ngoại là một lĩnh vực có nhiều ứng dụng rất hay trong nhiều lĩnh vực. Tuy nhiên, đây là một lĩnh vực còn khá mới mẻ và đƣợc ứng dụng hạn chế ở nƣớc ta. Vì vậy, ngƣời viết mong rằng, lĩnh vực này sẽ đƣơc xem xét, nghiên cứu một cách hệ thống trong tƣơng lai gần.
Phƣơng pháp phân rã thực nghiệm EMD là một phƣơng pháp xử lí tín hiệu khá mới. Nó có những đặc tính sau:
o Ƣu điểm
Thuật toán đơn giản.
Là phƣơng pháp thích nghi dựa trên những đặc tính nội tại của tín hiệu nên nó thực sự hiệu quả với những dao động không tuyến tính và không ổn định.
Trở thành cặp bộ lọc khi dữ liệu đƣợc thêm vào nhiễu trắng.
o Nhƣợc điểm
Thời gian xử lí lâu.
Tín hiệu ngõ vào phải là một chiều.
Thời gian xử lí ảnh bằng phƣơng pháp EMD có thể đƣợc cải thiện bằng kỹ thuật Pre-allocation. Hoặc hơn nữa, vì thời gian xử lí phụ thuộc chủ yếu vào số điểm ảnh nên ta có thể dùng phép biến đổi ảnh xám (đối với ảnh màu) để xử lí. Ảnh sau xử lí sẽ đƣợc biến đổi lại ảnh màu. Thời gian tiết kiệm đƣợc sẽ tỉ lệ với số điểm ảnh.
6.2 Hướng phát triển 6.2.1 Hướng phát triển 1
Máy chụp hồng ngoại có khả năng cảm nhận nhiệt rất tốt. Vì vậy, có thể áp dụng những đặc tính này của hồng ngoại với xử lí ảnh để tạo hệ thống báo cháy hiện đại.
LUẬN VĂN TỐT NGHIỆP CHƢƠNG 6 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ĐỀ TÀI
6.2.2 Hướng phát triển 2
Mỗi loại thực vật hấp thụ và phản xạ ánh sáng hồng ngoại với cƣờng độ rất khác nhau. Vì vậy, chế tạo ra thiết bị chụp hình hồng ngoại gần có khả năng chẩn đoán tình trạng sức khỏe của thực vật sẽ rất có lợi đối với một quốc gia có nền nông nghiệp làm chủ đạo nhƣ nƣớc ta.
6.2.3 Hướng phát triển 3
Ảnh hồng ngoại gần còn một tên nữa là ảnh sai màu. Vì nó hiển thị màu sắc hoàn toàn không giống thực tế. Những thiết bị chụp hình ngày nay đều có một bộ lọc chặn hồng ngoại. Nhƣng thực tế không thể lọc hết đƣợc (Có thể chứng minh điều này khi dùng máy chụp hình quan sát đèn remote Tivi). Vì vậy, ảnh chụp sẽ không đúng hoàn toàn
(true color). Do vậy, một sự dung hợp giữa ảnh thƣờng và ảnh hồng ngoại gần có thể giải quyết vấn đề này.
6.2.4 Hướng phát triển 4
Vấn đề lớn nhất của phƣơng pháp EMD là thời gian xử lí. Vì vậy tối ƣu hóa code, dùng những chƣơng trình hỗ trợ xử lí song song hoặc chuyển code từ Matlab sang