7.3.6.1 Phương pháp Wavelet
Trong thực nghiệm sử dụng nhiều họ wavelet mô phỏng nhằm giúp cho việc nghiên cứu phương pháp được chính xác và hiệu quả hơn. Các bước sẽ được thực hiện trong quá trình mô phỏng:
- Bước 1: Chọn các tỷ lệđể phân tích, mặc định là 4.
- Bước 2: Chọn các họ Wavelet được áp dụng trong thực nghiệm bao gồm: Biorthogonal (bi97), Daubechies (dau4, dau6, dau20), Haar (haar, haar2, haar4, haar7), Meyer (meyer), Symlets (s8, s10).
- Bước 3: Thực hiện Wavelet và nhận xét thông qua RMSE, thời gian t và histogram.
Thực hiện mô phỏng chương trình image fusion diễn ra trên tất cả các họ wavelet với mức tỷ lệ là 4. Kết quả thu được như trong bảng 7.2.
Bảng 7.2: Kết quả fusion cấu trúc thứ bậc và cấu trúc tổng hợp của họ wavelet Họ wavelet Fusion cấu trúc thứ bậc RMSE Fusion cấu trúc tổng hợp RMSE bi97 0.59523 (t=3.99724) 0.45877 (t=2.57085) dau4 0.57126 (t=2.46198) 0.59607 (t=1.50298) dau6 0.44380 (t=3.23237) 0.55048 (t=1.97264) dau20 0.57908 (t=8.45310) 1.28730 (t=5.15423) haar 1.10450 (t=1.71096) 1.00160 (t=1.05192) haar 2 0.68346 (t=3.22515) 0.46396 (t=1.90601) haar 4 0.61861 (t=5.07691) 0.46542 (t=2.86632) haar 7 0.59589 (t=4.93035) 0.60483 (t=3.04400) meyer 0.56705 (t=4.80500) 0.60072 (t=2.93689) s8 0.72077 (t=4.35075) 0.66765 (t=2.45749) s10 0.56855 (t=4.79742) 0.70921 (t=2.96021) với RMSE là tỷ số giữa ảnh fusion và ảnh gốc, t là thời gian xử lý fusion. Trong quá trình mô phỏng, kết quả thu được từ RMSE là quan trọng nhất. Thời gian kèm theo là nhằm đánh giá tốc độ xử lý của các phương pháp và cấu trúc fusion. Trong fusion cấu trúc thứ bậc, kết quả mô phỏng các họ Daubechies (dau6) xử lý fusion tốt hơn so với các họ khác. Trong fusion cấu trúc tổng hợp, họ Biorthogonal (bi97) xử lý
fusion tốt nhất. Điều này chứng tỏ rằng, với mỗi cấu trúc fusion thì mỗi họ wavelet sẽ cho kết quả khác nhau.
Sau khi mô phỏng các họ wavelet, tiếp tục xét đến tỷ lệ wavelet. Bảng 7.3 thống kê hiệu quả của các mức tỷ lệ của họ Daubechies (dau6) trong fusion cấu trúc thứ bậc. Bảng 7.4 thống kê hiệu quả của các mức tỷ lệ của họ Biorthogonal (bi97) trong fusion cấu trúc tổng hợp.
Bảng 7.3: Kết quả fusion cấu trúc thứ bậc sử dụng họ wavelet dau6 Mức tỷ lệ Wavelet họ Daubechies (dau6) Fusion cấu trúc thứ bậc RMSE
2 1.85180 (t=3.12611) 3 0.81364 (t=3.3279) 4 0.44380 (t=3.3972) 5 0.40915 (t=4.21125) 6 0.37129 (t=5.69583) 7 0.41139 (t=5.68925)
Bảng 7.4: Kết quả fusion cấu trúc tổng hợp sử dụng họ wavelet bi97 Mức tỷ lệ Wavelet họ Biorthogonal (bi97) Fusion cấu trúc tổng hợp RMSE
2 1.43460 (t=2.62559) 3 0.75675(t=2.44717) 4 0.45877 (t=2.57085) 5 0.37607 (t=2.95741) 6 0.37591 (t=4.27731) 7 0.37578 (t=4.25439)
Tóm lại, qua các kết quả từ các bảng 7.2, 7.3 và 7.4, phương pháp Wavelet thu được kết quả tốt. Chúng là một phương pháp thuận lợi cho cả hai cấu trúc fusion thứ bậc và tổng hợp. Kết quả RMSE trung bình của phương pháp Wavelet thu được của fusion cấu trúc thứ bậc là khoảng 0.64075 và của fusion cấu trúc tổng hợp là
khoảng 0.67327. Quan sát các ảnh fusion, chúng ta thấy các ảnh thu được từ các họ wavelet đều gần giống với ảnh gốc.
7.3.6.2 Phương pháp CEMIF
Các bước thực hiện mô phỏng bằng phương pháp CEMIF đối với ba ảnh vào được làm mờ như trong bảng 7.1.
- Bước 1: Chọn ảnh để lấy background làm chuẩn, đối với trường hợp chọn hết tất cả các ảnh chỉ thực hiện được trong trường hợp cấu trúc fusion tổng hợp, vì lúc đó sẽ trộn lại tất cả ba ảnh và lấy trung bình background của ba ảnh đó. Đối với trường hợp cấu trúc fusion thứ bậc, chỉ chọn một trong hai ảnh làm background để thực hiện theo thứ tự từng cặp một.
- Bước 2: Chọn kích thước mặt nạ để thực hiện việc tích chập mặt nạ đó với foreground của ảnh có foreground lớn hơn nhằm xác định thông tin foreground.
- Bước 3: Thực hiện fusion và thu kết quả.
Quá trình thực hiện fusion diễn ra trên ảnh vào mặc định là ảnh thứ 1 và các kích thước mặt nạ là 3, 5, 7, 9, 11 13 và 15. Kết quả thực hiện thống kê trong bảng 7.5.
Bảng 7.5: Thống kê kết quả fusion của phương pháp CEMIF Kích thước mặt nạ trung bình của phương pháp CEMIF Fusion cấu trúc thứ bậc RMSE Fusion cấu trúc tổng hợp RMSE 3 1.8869 (t=1.32724) 2.2401 (t=0.820370) 5 1.1575 (t=1.22739) 1.4841 (t=0.836205) 7 0.76768 (t=1.29573) 1.0346 (t=0.889887) 9 0.6285 (t=1.39553) 0.7970 (t=0.959582) 11 0.56959 (t=1.49685) 0.69236 (t=1.03999) 13 0.6419 (t=1.62816) 0.66788 (t=1.11901) 15 0.65681 (t=1.82289) 0.67723 (t=1.26369)
Bảng 7.5 thống kê kết quả fusion áp dụng phương pháp CEMIF cho thấy rõ ở kích thước mặt nạ 11 là cho kết quả tốt hơn các phương pháp khác. Tuy nhiên, việc chọn kích thước mặt nạ này còn phụ thuộc vào yếu tố khác của ảnh, chẳng hạn như nhiễu, vị trí bị che khuất, v.v. Vì tùy vào mật độ nhiễu trên hình ảnh, việc tích chập kích thước mặt nạ vào trong ảnh sẽ thay đổi do việc ảnh hưởng của các pixel lân cận. Bảng 7.6 mô tả thống kê vềảnh bị nhiễu gaussian và được làm mờ ở các vị trí như sau:
Bảng 7.6: Các thông tin vị trí làm mờ ảnh vào Trục x (1-720) Trục y (1-480) Ảnh mờ x1 x2 y1 y2 Ảnh 1 180 360 120 240 Ảnh 2 400 550 120 240 Ảnh 3 250 450 300 400
Kết quả thu được của fusion cấu trúc thứ bậc từ phương pháp CEMIF được thống kê trong bảng 7.7.
Bảng 7.7: Thống kê kết quả fusion cấu trúc thứ bậc của phương pháp CEMIF đối với ảnh nhiễu gaussian đã được lọc trong chương trình mô phỏng
Kích thước mặt nạ trung bình Fusion cấu trúc thứ bậc RMSE
3 11.9248 5 11.2992 7 11.2455 9 11.2936 11 11.3958 13 11.4537 15 11.5131
Qua hai kết quảđược thống kê từ bảng 7.5 và bảng 7.7, vị trí kích thước mặt nạ trung bình 11 ở bảng 7.5 và kích thước mặt nạ trung bình là 7 ở bảng 7.7 là hai kích thước cho kết quả fusion hiệu quả hơn so với các trường hợp trong hai thử nghiệm tương ứng. Do vậy, chứng tỏ kích thước mặt nạ trung bình đóng vai trò quan trọng trong việc ảnh hưởng đến kết quả fusion trong phương pháp CEMIF.
Tóm lại, kết quả trung bình RMSE thu được trong bảng thống kê đầu tiên của fusion cấu trúc thứ bậc là xấp xỉ khoảng 0.78861 và của cấu trúc tổng hợp là xấp xỉ khoảng 1.08475. Như vậy, kết quả thể hiện ảnh fusion được tạo ra trong phương pháp CEMIF là gần đúng so với ảnh gốc. Trong hai cấu trúc fusion thì cấu trúc thứ bậc thực hiện tốt hơn so với cấu trúc tổng hợp. Nguyên nhân là do tính chất đặc thù của phương pháp này là dựa vào hai mức của một phạm vi, đó là background và foreground. Điều đó dẫn đến phải xử lý ngưỡng thích nghi của foreground trong khi số pixel của background được thu trực tiếp từảnh sau khi lọc. Cấu trúc tổng hợp sẽ so sánh một lúc từ ba giá trị trở lên của foreground với ngưỡng nhằm trích lọc pixel phù hợp. Để xác định các giá trị này, phải xử lý bằng giải pháp xác định ngưỡng thích nghi. Trong khi đối với cấu trúc fusion thứ bậc, mỗi lần xác định chỉ thông qua hai giá trị, do vậy việc xác định ngưỡng thích nghi sẽ dễ dàng hơn.
7.3.6.3 Phương pháp Spatial frequency
Đối với phương pháp Spatial frequency, quá trình thực nghiệm gồm các bước:
- Bước 1: Chọn kích thước khối. - Bước 2: Chọn ngưỡng.
- Bước 3: Thực hiện fusion và đánh giá kết quả.
Sau đây, chúng ta xem qua bảng thống kê kết quả mô phỏng từ thực nghiệm để có sự đánh giá đúng của phương pháp. Trước hết, chọn ngưỡng bằng 1 và lựa chọn lần lượt kích thước khối của phương pháp này và kết quả thu được như bảng 7.8.
Bảng 7.8: Thống kê kết quả fusion của phương pháp Spatial frequency lựa chọn kích thước khối với ngưỡng bằng 1. Kích thước khối của phương pháp Spatial frequency Fusion cấu trúc thứ bậc RMSE Fusion cấu trúc tổng hợp RMSE 2 0.36068 (t=9.08231) 2.0193 (t=6.67975) 3 0.33459 (t=4.36476) 2.0193 (t=3.21513) 4 0.21767 (t=2.59519) 2.0193 (t=1.89951) 5 0.23179 (t=1.80685) 2.0193 (t=1.29487) 6 0.26709 (t=1.26709) 2.0193 (t=0.968326) 7 0.24685 (t=2.36236) 2.0193 (t=1.71724) 8 0.15871 (t=0.902235) 2.0193 (t=0.644914) 9 0.20885 (t=1.42059) 2.0193 (t=1.02432) 16 0.33928 (t=0.451717) 2.0193 (t=0.305851) Qua bảng thống kê trên ta thấy ở kích thước khối bằng 8 với ngưỡng là 1 cho kết quả tốt nhất đối với fusion cấu trúc thứ bậc. Trong fusion cấu trúc tổng hợp thì kích thước khối không ảnh hưởng đến quá trình thực hiện image fusion. Như đã trình bày trong phần giới thiệu phương pháp Spatial frequency, phương pháp này là sự kết hợp việc trộn lẫn mức pixel và mức đặc trưng. Vấn đề cơ bản là chia các ảnh nguồn thành từng khối, và sau đó lựa chọn các khối tương quan với giá trị Spatial frequency cao hơn để tạo ra ảnh trộn tổng hợp. Nếu ta trộn lẫn theo từng cặp ảnh một thì việc lựa chọn khối tương quan của hai ảnh sẽ dễ hơn và chính xác hơn so với trộn lẫn ba ảnh.
Bên cạnh đó, chúng ta xét tiếp đến việc lựa chọn ngưỡng. Quá trình thực nghiệm chọn các ngưỡng tùy ý với kích thước khối là 8 cho kết quả trong bảng 7.9.
Bảng 7.9: Thống kê kết quả fusion của phương pháp Spatial frequency lựa chọn ngưỡng với kích thước khối là 8.
Chọn ngưỡng cho phương pháp Spatial frequency Fusion cấu trúc thứ bậc RMSE Fusion cấu trúc tổng hợp RMSE Ngưỡng 1 0.15871 (t=0.902235) 2.0193 (t=0.644914) Ngưỡng 2 0.21018 (t=0.909233) 2.0193 (t=0.637056) Ngưỡng 3 0.26596 (t=0.900629) 2.0193 (t=0.646304) Ngưỡng 4 0.32722 (t=0.896726) 2.0193 (t=0.635573)
Với kết quả trong bảng 7.9 sẽ cho nhận định fusion cấu trúc tổng hợp không bịảnh hưởng của ngưỡng và kích thước khối. Và với mức ngưỡng càng thấp thì kết quả cho càng chính xác hơn, vì sự so sánh giữa hai tần số của giá trị pixel sẽ gần đúng hơn so với ngưỡng cao theo công thức xác định tần số của phương pháp này.
Tóm lại, kết quả fusion cấu trúc thứ bậc sẽ cho kết quả tốt hơn so với fusion cấu trúc tổng hợp. Ngoài ra vì cấu trúc tổng hợp là trộn tất cả các ảnh lại, do vậy với đặc tính của phương pháp này thì các khối được lựa chọn để tách nguồn sẽ không ảnh hưởng đến kết quả fusion. Thực nghiệm trên là đúng với lý thuyết đã trình bày về phương pháp Spatial frequency trong luận văn.
7.3.6.4 Phương pháp Laplacian pyramid
Trong phương pháp này, quá trình mô phỏng được thực hiện với nhiều mức tỷ lệ và chọn giá trị mức xám của pixel để fusion là giá trị pixel mặc định 6/16. Kết quả thu được thể hiện trong bảng 7.10.
Bảng 7.10: Thống kê kết quả fusion của phương pháp Laplacian pyramid thực hiện nhiều mức tỷ lệ Tỷ lệ Giá trị Fusion cấu trúc thứ bậc RMSE Fusion cấu trúc tổng hợp RMSE 2 6/16 0.35080 (t=3.44727) 0.38840 (t=2.30623) 3 6/16 0.29368 (t=3.76574) 0.27814 (t=2.56864) 4 6/16 0.30541 (t=4.01213) 0.27697 (t=2.68902) 5 6/16 0.31063 (t=4.72893) 0.27813 (t=3.26155) 6 6/16 0.31045 (t=5.81506) 0.27807 (t=4.01606) 7 6/16 0.31033 (t=5.81961) 0.27809 (t=4.01037) Kết quả của bảng 7.10 thể hiện rằng, với nhiều mức tỷ lệ thì kết quả của mỗi cấu trúc thay đổi không theo một trật tự nhất định. Các mức tỷ lệảnh hưởng không đáng kể đến kết quả fusion. Tuy nhiên, mức tỷ lệ ảnh hưởng đến thời gian xử lý fusion. Với nhiều mức tỷ lệ thì quá trình phân ly sẽ lâu hơn. Trong cấu trúc tổng hợp, kết quả thu được tốt hơn trong cấu trúc thứ bậc. Tỷ lệ là 3 trong cấu trúc thứ bậc thu được kết quả tốt hơn so với các tỷ lệ khác. Tiếp theo, lấy tỷ lệ 3 và chọn các giá trị đã liệt kê trong chương trình để mô phỏng, kết quả thực hiện được thống kê trong bảng 7.11.
Bảng 7.11: Kết quả fusion phương pháp Laplacian pyramid chọn nhiều giá trị
Tỷ lệ Giá trị Fusion cấu trúc thứ bậc RMSE Fusion cấu trúc tổng hợp RMSE 3 4/16 0.28131 (t=3.7717) 0.29073 (t=2.55609) 3 5/16 0.26832 (t=3.8943) 0.2758 (t=2.52973) 3 6/16 0.29368 (t=3.76574) 0.27814 (t=2.56864) 3 7/16 0.28387 (t=3.76341) 0.25331 (t=2.55858) 3 8/16 0.29848 (t=3.82853) 0.26508 (t=2.5397) 3 9/16 0.33573 (t=3.77195) 0.30438 (t=2.55279)
Với kết quả thu được ở bảng 7.11, các thông số RMSE của các giá trị cũng thay đổi không theo một trật tự nhất định. Hơn nữa, hai fusion cấu trúc thứ bậc và cấu trúc tổng hợp cũng không có sự phân biệt theo trật tự rõ ràng. Chẳng hạn, ở giá trị 4/16 và 5/16 thì cấu trúc tổng hợp có RMSE lớn hơn cấu trúc thứ bậc. Tuy nhiên, ở giá trị 6/16, 7/16, 8/16 và 9/16 thì cấu trúc tổng hợp có RMSE nhỏ hơn cấu trúc thứ bậc.
Tóm lại, trong phương pháp Laplacian pyramid, fusion cấu trúc thứ bậc và cấu trúc tổng hợp cho kết quả tương đối tốt. Mức tỷ lệ ảnh hưởng đến thời gian xử lý (mức tỷ lệ càng lớn thời gian xử lý càng lớn hơn) và cấu trúc fusion, còn việc chọn các giá trị pixel thì ảnh hưởng không đáng kểđến quá trình fusion.
7.3.6.5 Phương pháp PCA
Cũng như các phương pháp khác, phương pháp PCA đã được mô phỏng và kết quả cho bởi bảng 7.12.
Bảng 7.12: Thống kê kết quả fusion của phương pháp PCA
Fusion cấu trúc thứ bậc RMSE Fusion cấu trúc tổng hợp RMSE 1.9871 (t=1.56982) 2.0179 (t=0.35925)
Kết quả thống kê cho thấy fusion cấu trúc thứ bậc xử lý tốt hơn cấu trúc tổng hợp, tuy nhiên thời gian xử lý lại lâu hơn.