Trong việc thu nhận ảnh viễn thám, các nhà nghiên cứu thường áp dụng phương thức đa bộ cảm ứng để thu được nhiều thông tin từ cảnh quan cần quan sát. Bên cạnh đó, tính chất thô trong một phạm vi của ứng dụng ảnh được tăng cường cải thiện. Tuy nhiên, việc tăng cường cải thiện cũng chỉ đến một mức nào đó trong dữ liệu thô mà chúng ta cần được xử lý. Do vậy, vấn đềđặt ra ở đây là cần phải kết hợp một cách hiệu quả thông tin từ một số ảnh thu được qua các bộ cảm ứng. Để giải quyết vấn đề này, công nghệ Image fusion kết hợp thông tin từ một số ảnh đa bộ cảm ứng vào trong một ảnh được trộn. Chúng xử lý các hệ số và hiển thị thông tin xác thực hơn. Chẳng hạn, fusion số hạng tức là một trọng số kết hợp các ngõ vào là phương pháp đơn giản nhất. Đối với phương pháp này, nếu điều kiện trọng số là đúng thì có khả năng phương pháp này thu được kết quả tốt. Các phương pháp phân tích đa tỷ lệ là phương pháp phổ biến hiện nay đề cập đến các hệ số. Phương pháp này mục đích làm tăng việc xử lý bởi thông tin phân ly trong các tín hiệu rời rạc theo tỷ lệ và sựđịnh hướng, chúng được gọi là ảnh hình chóp. Các chi tiết ảnh được
mô tả sao cho các đặc trưng nổi bật được nhận dạng, bảo quản trong không gian của ảnh trộn, đồng thời chúng ta lựa chọn các biện pháp fusion phù hợp.
2.5.2 Đánh giá kết quả fusion
Cùng với sự phát triển của các hệ thống fusion, gần đây các nhà khoa học còn đang tìm các định hướng đáng tin cậy cho việc đánh giá, so sánh hiệu suất của chúng. Việc dư thừa các thuật toán đánh giá fusion đã được đề cập đến nhiều và được xem là một vấn đề chính cần phải tìm ra giải pháp. Chúng ta có thể không tìm ra được ảnh fusion lý tưởng, tức là ảnh hoàn toàn giống ảnh gốc bằng cách xác định kết quả thực tế thông qua biện pháp đơn giản là xác định thông số RMSE. Tuy nhiên, đối với các ảnh có nhiều tiêu điểm, trong một sốứng dụng đặc biệt chúng ta cũng có thể xác định được ảnh fusion lý tưởng. Một cách tiếp cận khác để đánh giá kết quả fusion là sử dụng ý kiến chủ quan. Điều này có nghĩa là chúng ta sử dụng nhiều phương pháp tổng quát để xử lý quá trình fusion, sau đó thu được nhiều hình ảnh cần thiết. Với khả năng quan sát hình ảnh bằng mắt thường, chúng ta sàn lọc và chọn ra ảnh được xem là gần giống với ảnh gốc nhất. Với cách tiếp cận này, việc nhận định kết quả fusion chỉ mang tính chất cảm tính của mỗi người, do vậy kết quả đem lại sẽ không có tính thuyết phục cao.
Trong thời gian gần đây, việc đo đạc fusion một cách khách quan được các nhà nghiên cứu quan tâm đến nhiều nhằm cung cấp một số thuật toán. Các thuật toán này có khả năng yêu cầu không hiển thị dụng cụ đo hoặc cấu trúc phức tạp. Chẳng hạn, sự đo đạc kích thước được tựđộng hoàn toàn, sựước lượng mô tả dựa hoàn toàn vào các ảnh ngõ vào và ảnh đã trộn. Chúng không cần một nền tảng thật sự, và sản sinh ra một điểm sốđơn giản để ánh xạ tốt kết quả fusion.
Hầu hết các thuật toán fusion đều hợp nhất thông tin ngõ vào bất chấp việc sử dụng các quy luật phức tạp. Tuy nhiên, chúng ta phải tin tưởng vào các thuộc tính cốđịnh của các ngõ vào và xác định lại các thông số phù hợp. Các thuật toán có thểđược kết hợp lại để thu được hiệu suất tối ưu cho các ứng dụng đa dạng, nhưng trường hợp này được sử dụng trong một số hoàn cảnh và yêu cầu phải có một tập
ảnh huấn luyện. Nếu các điều kiện thật không giống như những gì đề cập thì việc lựa chọn các thông số, hiệu suất cũng không thể dựđoán được.
Từ ý tưởng trong thuật toán fusion về việc chuyển thông tin ngõ vào vào trong một ảnh trộn nhằm giúp cho thông tin được chính xác hơn, các nhà nghiên cứu đã mô tả biên dựa vào việc đo đạc toàn bộ hiệu suất fusion QAB/F. Việc fusion các ảnh vào A và B là kết quả của ảnh trộn F, cường độ pixel g, sự định hướng α (Є[0,π]) được trích lọc ở mỗi phạm vi (n,m) từ mỗi ảnh dùng thuật toán Sobel và thường liên quan đến cường độ và sự định hướng thay đổi các hệ số G và A. Giữa mỗi ngõ vào và ảnh đã trộn ta có công thức (2.23). ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ − − = ,2 − || | /2| ) , ( 1 , , , , , , π α αF π m n A m n M A m n F m n AF m n AF m n g g A G (2.23)
với M bằng 1 khi gF > gA và bằng -1 với trường hợp khác. Để duy trì thông tin biên, đo thông tin mô hình QAF bị mất giữa A và F với sự thay đổi các thông số hàm Σ được định nghĩa bởi các hằng sốΓ, kg, σg, kα, và σα bằng công thức (2.24). ) ( ) ( , , , )(1 1 ( −σ α −σα + + Γ = AF m n g AF m n g G k A k AF m n e e Q (2.24)
Toàn bộ hiệu suất fusion QAB/F được đánh giá như tổng phạm vi thông tin duy trì ước lượng giữa mỗi ngõ vào và trộn lẫn. QAF và QBF là trọng số bởi các hệ số quan trọng wA và wB thường định nghĩa như trọng số gradient cục bộ, tức là trọng số chỉ hướng biến thiên tăng cực đại của hàm ảnh: ∑ ∑ ∀ ∀ + + = m n B m n A m n B m n AF m n m n A m n AF m n AF m n w w w Q w Q Q , , , , , , , , , (2.25)
QAB/F nằm trong dãy [0,1], tương ứng với 0 biểu hiện ảnh hoàn toàn mất thông tin ngõ vào, với QAB/F = 1 biểu thị fusion lý tưởng. Sự tăng lên của QAB/F được ước lượng thông qua thị giác khác nhau, đồng thời được biểu hiện thông qua sự tăng độ sáng trên các pixel của ảnh.
Các đo đạc lý thuyết thông tin như entropy và thông tin kết hợp lẫn nhau chỉ thành công khi dùng trong sự đánh giá fusion. Việc đo đạc chúng là để so sánh các thông tin toàn bộ hình ảnh giữa các ngõ vào và ảnh trộn, phạm vi cấu trúc và thông tin không gian. Khi cân nhắc lý do sử dụng các thuật toán fusion (nhằm giữ cấu trúc không gian của các ảnh vào), thông tin kết hợp lẫn nhau dựa vào cường độ thống kê, chúng ta phải dựa vào sự ước lượng chính xác để có thể thu được các kết quả cao. Phương pháp cơ bản của việc đo đạc là tổng thông tin kết hợp lẫn nhau ước lượng giữa những cường độ trong mỗi ảnh ngõ vào và kết quả đã trộn (IF{A,B}). Chúng được thể hiện theo công thức (2.26) [6, tr.453 - 457].
) , ( ) , (F A I F B I MAB FA FB F = + (2.26)
2.5.3 Đánh giá khách quan sự thích nghi của fusion
Đểđánh giá mang tính khách quan về hiệu suất fusion, người ta sử dụng các phương pháp khác nhau trong thông tin để thích ứng với các thông tin cần đánh giá kết quả. Hai phương pháp thường dùng là:
- Hướng tới sự thích nghi hoặc mô tả fusion dựa trên sựđánh giá mục tiêu của thông tin ngõ vào.
- Phản hồi thích nghi hoặc đánh giá fusion dựa trên sự đánh giá toàn bộ mục tiêu của kết quả tạm thời thu được.
Hình 2.15 mô tả tóm tắt quá trình thực hiện của hai phương pháp trên.
Để xác định tầm quan trọng liên quan đến các ngõ vào thông qua quang cảnh, trong hầu hết các thuật toán fusion ước lượng sự nổi bật ảnh như sự tương phản cục bộ hoặc sự bức xạ. Sau đó, thông tin này được dùng chọn lựa nguồn liên quan nhất cho ảnh trộn ở một vài điểm cục bộ bởi việc thích nghi các thông số gần đúng fusion, như chọn lựa bản đồ. Fusion hướng tới thích nghi được thể hiện trong hình 2.15a. Chúng dựa trên sự đánh giá thông tin thông qua đo đạc khách quan fusion, từ đó thông tin được xác thực hơn và xác định được mối liên quan đến các vấn đềđã trình bày. Đểđánh giá và so sánh dung lượng thông tin đối lập với các kết quảđánh giá fusion chủ quan, các đo đạc khách quan phải kết hợp với những cơ chế
linh hoạt. Một sự so sánh chính xác hơn các ảnh ngõ vào sẽ dẫn đến kết quả tốt hơn các ảnh fusion, đồng thời có sự linh hoạt lớn hơn của toàn bộ hệ thống fusion. Cách tiếp cận này là để thực hiện chức năng fusion, tuy nhiên, sựđo đạc ước lượng không cân đối M phải yêu cầu thỏa mãn điều kiện M(A,B) ≠ M(B,A).
Ảnh đa bộ cảm ứng được tìm thấy dựa trên ý tưởng một bộ cảm ứng có thể cho thấy thông tin mà thông tin đó lại bị mất ở bộ cảm ứng khác. Khi so sánh fusion các ảnh vào được đo đạc đối xứng trực tiếp, chẳng hạn thông tin trộn lẫn nhau, không thể xác định được thông tin và trạng thái cân bằng. Do vậy, chúng ta không phân biệt tính hữu dụng của các ảnh ngõ vào fusion. Trong trường hợp này, có thể xác định ngõ vào nào có liên quan nhiều đến phạm vi chọn lọc trong quang cảnh, từ đó dẫn tới việc lựa chọn bản đồ đặc trưng. Như vậy thực hiện fusion sẽ được linh hoạt hơn.
Phương pháp phản hồi sự thích nghi fusion hình 2.15b chỉ rõ các thông số fusion tối ưu sử dụng đo hiệu suất như các hàm mục tiêu. Chúng bắt đầu với một tập các thông số fusion, đồng thời tạo một ảnh trộn cho phép ước lượng sử dụng một phép đo mục tiêu. Các thông số fusion sau đó được chỉnh sửa theo hoàn cảnh thực tế sử dụng thuật toán tối ưu, xử lý lặp lại cho đến khi thực hiện xong việc hội tụ. Để làm được điều này, cần đảm bảo rằng giải pháp tối ưu sẽđược tìm thấy bên trong những giới hạn của việc chọn mục tiêu đo đạc và thuật toán tối ưu. Đểđối phó với các điều kiện ngõ vào, sự linh hoạt cao trong quá trình chỉnh sửa các thông số fusion là một lợi thế của phản hồi fusion thích nghi [6, tr.455 - 456].
Hình 2.15: Cấu trúc của hai phương pháp đánh giá thích nghi fusion: (a) hướng tới thích nghi, (b) phản hồi thích nghi
Tóm lại, phương pháp làm tăng sự thích nghi của công nghệ Image fusion có thể làm tăng hiệu suất và tính linh hoạt của fusion. Do việc thực hiện các phương pháp dùng trong đánh giá khách quan fusion, các thông số có thể được sửa lại để phù hợp với điều kiện ngõ vào hiện tại nhằm lưu trữ hiệu suất fusion tối ưu. Cả hai phương pháp mô tảđều hướng tới sự thích nghi sao cho linh hoạt hơn. Các kết quả tối ưu được lưu trữ khi phương pháp hướng tới thích nghi được áp dụng. Điều đó dẫn tới fusion chi tiết các tỷ lệ thông tin nhỏ hơn, trong khi dư thừa các thông số kết hợp được tối ưu trong vòng lặp phản hồi thích nghi. Vấn đề này chứng tỏ rằng, việc ước lượng chính xác thông tin chi tiết chứa trong các ngõ vào là quyết định đến sự linh hoạt image fusion.
Việc thể hiện sự tối ưu phản hồi của các thông số fusion bị ảnh hưởng trên fusion của các chuỗi ảnh, nơi mà những chức năng cao hơn được dùng để xử lý các hệ số được tạo bởi các thông số tối ưu chỉ mọi khung N. Tất cả các phép đo được thể hiện nhằm tăng cường hiệu suất fusion, chỉnh sửa các thông sốđể thay đổi thành công những điều kiện trong các ngõ vào. Để hướng tới sự mô tả thuận lợi fusion thích nghi, mặc dù chúng không rõ ràng về mặt ứng dụng lý thuyết thời gian thực, chúng ta vẫn có thể sử dụng phép đo QAB/Fđểước lượng các ngõ vào.
Cuối cùng, khuyết điểm trong việc ước lượng fusion khách quan được nhận biết trong ví dụ về nhiễu tập dữ liệu. Các kỹ thuật linh hoạt nhằm đảm bảo việc tránh tình huống nhiễu ảnh hưởng tới ảnh đã fusion đang là một chủ đề cần nghiên cứu trong tương lai.
Mặc dù trong phần này chỉ đề cập đến khái niệm đơn giản và hiệu quảđược tìm ra để cung cấp cho sự phát triển linh hoạt fusion. Tuy nhiên, các hệ thống đơn thuần chỉ là việc tiếp cận phương pháp rộng hơn của fusion thích nghi. Mặt khác, khả năng linh hoạt hơn, sự tối ưu và các kế hoạch thích nghi chắc chắn tồn tại. Chúng có thểđược áp dụng trong sự kết hợp với các phép đo mục tiêu khác và các thuật toán fusion.
2.5.4 Các công nghệ Image fusion
Nhiều bài báo cáo đã đề cập đến nhiều phương pháp, công nghệ xử lý image fusion. Một số phương pháp thích hợp hàng đầu như: dựa vào khoa học thống kê, dựa vào biến đổi Wavelet, nội dung hình ảnh quan sát hay ảnh che phủ.
Mục đích của image fusion là để kết hợp thông tin từ nhiều hình ảnh có cùng cảnh quan vào trong 1 ảnh đơn mà ảnh đơn này chứa đựng tất cả những đặc tính quan trọng từ mỗi ảnh gốc. Kết quả ảnh fusion sẽ thích hợp hơn cho con người và sự nhận biết của máy hoặc các quá trình xử lý ảnh về sau. Nhiều phương pháp image fusion đã được phát triển trong quá khứ. Nhìn chung, những phương pháp này có thể là đơn giản dựa vào các phương pháp nền tảng pixel và vùng.
Phương pháp xấp xỉ so sánh các thuật toán image fusion khác nhau thông thường phụ thuộc vào ứng dụng. Ví dụ, trong ứng dụng image fusion cho y học, kết quả sau cùng là để kết hợp các chi tiết ảnh quan trọng nhất như là các đường biên và các vùng tương phản cao. Sự đánh giá các công nghệ fusion trong một số tình huống có thể chỉ ảnh hưởng dựa trên sự đánh giá định tính. Đây chỉ là những ứng dụng tính toán có thểđược tận dụng, các biện pháp định tính khác nhau đã được đưa ra cho mục đích này. Chẳng hạn, chúng ta sử dụng một tiêu chuẩn thông tin lẫn nhau, xác định RMSE cũng như một phép đo mô tả lại phần trăm của các quyết định đúng. Tất cả biện pháp này bao gồm sự tồn tại của một ảnh tham khảo cho sự tính toán của họ, mà tính toán này trong thực tế lại không có. Hơn nữa, vấn đề các biện pháp thông tin lẫn nhau, hay với mọi phép đo khác, là sự kết nối của chúng tới sự giải thích trực quan bằng quan sát của con người. Trong phân tích ảnh, một người quan sát bằng trực quan không thể tính toán được bằng bất kỳ biện pháp nào. Do đó, nhằm tìm ra phương pháp đề xuất tốt nhất cho phương pháp fusion, chọn nhiều ảnh khác nhau, áp dụng các thuật toán khác nhau và đánh giá bên ngoài các ảnh đã trộn. Ngoài ra, chúng ta còn phải chú trọng thực hiện những thử nghiệm trên những ảnh với nhiều nội dung khác nhau nhằm thu được các kết quả, có thểđòi hỏi đủ mọi thứ có liên quan.
2.6 Một sốứng dụng của Image Fusion 2.6.1. Công dụng của image fusion 2.6.1. Công dụng của image fusion
Với những đặc tính của image fusion, các hình ảnh bị che phủ sẽ được thể hiện rõ những điểm bị che phủ thông qua sự bổ sung từ các tập dữ liệu ảnh. Các tập dữ liệu này sẽ chứa thông tin của những điểm bị che phủ, do đó khi trộn ảnh lại và trích lọc ra những điểm bị che phủ đó. Đối với các hình ảnh bị mờ, từ tập dữ liệu ảnh, cũng dùng phương pháp image fusion bằng cách so sánh cường độ pixel của các giá trị tập ảnh tương đương, sau đó trích lọc lấy pixel có cường độ cao hơn. Do vậy, chúng ta có thể điều chỉnh được sự sắc nét cho hình ảnh. Không những thế,