Trong phạm vi của luận văn đã tìm hiểu và phân tích các phương pháp biến đổi hình ảnh để hiểu rõ cách chúng có thể cải thiện và tối ưu hóa quá trình hợp nhất giúp tạo ra một cơ sở lý thu
NGHIÊN CỨU TỔNG QUAN
Tổng quan về công nghệ hợp nhất hình ảnh
Trong những năm gần đây, lý thuyết về hợp nhất hình ảnh đã phát triển nhanh chóng Hiện nay, các phương pháp hợp nhất hình ảnh với độ phức tạp đáng kể đã được đề xuất Hình ảnh hợp nhất thường chứa nhiều thông tin về mục tiêu hoặc phông nền cảnh vật hơn bất kỳ hình ảnh riêng lẻ nào được sử dụng trong quá trình hợp nhất Các hình ảnh được sử dụng để hợp nhất có thể được lấy từ các cảm biến hình ảnh hoặc từ cùng một cảm biến hình ảnh ở các thời điểm khác nhau Mục tiêu hoặc cảnh trong ảnh có thể giống hệt hoặc giống một phần
Các thuật toán hợp nhất hình ảnh có thể được phân loại thành các cấp độ khác nhau: thấp, trung bình và cao; hoặc mức độ pixel, tính năng và đặc trưng hình ảnh Phương pháp cấp pixel hoạt động trong miền không gian hoặc trong miền biến đổi Điều kiện tiên quyết cho thuật toán là các hình ảnh phải được thu bởi các cảm biến đồng nhất, sao cho hình ảnh hợp nhất phải thể hiện các đặc tính vật lý tương tự hoặc các thuộc tính đặc trưng của ảnh thành phần Các phương pháp hợp nhất, chẳng hạn như lấy trung bình, phương pháp Brovey, phân tích thành phần nguyên tắc (PCA) và các phương pháp dựa trên IHS thuộc các phương pháp tiếp cận miền không gian Các thuật toán cấp tính năng thường phân chia hình ảnh thành các vùng liền kề và hợp nhất các vùng lại với nhau bằng các thuộc tính của chúng Các tính năng được sử dụng có thể được tính toán riêng biệt từ mỗi hình ảnh hoặc chúng có thể thu được bằng cách xử lý đồng thời tất cả các hình ảnh Piella đề xuất một số thước đo mức độ hoạt động bao gồm giá trị tuyệt đối, giá trị trung bình hoặc độ tương phản với các thước đo lân cận Cuối cùng, tác giả đề xuất một sơ đồ dựa trên vùng sử dụng phép đo tương quan cục bộ để thực hiện việc hợp nhất từng vùng[16] Các thuật toán hợp nhất mức quyết định kết hợp các mô tả hình ảnh với hình ảnh hợp nhất, chẳng hạn như ở dạng biểu đồ quan hệ [8], [9] Đây là mô tả về sự hợp nhất theo quyết định, chẳng hạn như khi kết quả phân loại thu được từ các hình ảnh đơn lẻ Trong phương pháp hợp nhất này, các cảm biến không đồng nhất có thể được sử dụng, cho phép tạo ra các quyết định tương thích ở cấp độ quyết định [22]
Hình 1-1 Sơ đồ khối hợp nhất hình ảnh với các mức độ khác nhau
Công nghệ hợp nhất hình ảnh, đã được nhiều nhóm trên thế giới và trong nước nghiên cứu và một số thuật toán đã được phát triển trước đó Mặc dù mỗi thuật toán đều cho thấy những ưu nhược điểm nhưng dường như vẫn thiếu các tiêu chí chung để đo lường chất lượng của các thuật toán hợp nhất hình ảnh Trong nhiều trường hợp vẫn có sự định tính để đánh giá các hình ảnh hợp nhất thu được
Hình 1-2 Các phương pháp hợp nhất hình ảnh và kỹ thuật của từng phương pháp
Trong những năm qua, nhiều nghiên cứu đã được thực hiện để phát triển các kỹ thuật hợp nhất hình ảnh mới Ngoài ra, những nghiên cứu đã được thực hiện để xem xét và đánh giá chất lượng hợp nhất hình ảnh Tuy nhiên, vẫn còn một số lượng lớn các vấn đề mở cần được giải quyết trong lĩnh vực này Tùy thuộc vào ứng dụng cụ thể và phạm vi sử dụng của nó, các vấn đề nghiên cứu và mục tiêu có thể khác nhau Ví dụ: khi ứng dụng quan sát các mục tiêu cảnh quan ngoài trời không bị giới hạn như địa hình, khu vực miền núi, đường và tòa nhà khác nhau, nhìn chung sẽ nhiều nhiễu nền hơn do các yếu tố môi trường và thời tiết gây ra Khoảng cách đến mục tiêu cũng xa hơn so với mục tiêu trong nhà, do đó mục tiêu sẽ nhỏ hơn và kém rõ ràng hơn Như vậy, những yếu tố này sẽ khiến việc hợp nhất hình ảnh trở nên khó khăn hơn.
Các phương pháp hợp nhất hình ảnh
Trong mục này sẽ giới thiệu ngắn gọn về nhiều loại công nghệ hợp nhất hình ảnh tiên tiến nhất Nguyên tắc chính, ưu nhược điểm điển hình của từng phương pháp được giới thiệu
+ Sự kết hợp sử dụng Phân tích thành phần nguyên tắc (PCA): Phương pháp hợp nhất hình ảnh PCA chỉ đơn giản sử dụng các giá trị pixel của tất cả các hình ảnh nguồn tại mỗi vị trí pixel, thêm hệ số trọng số cho từng giá trị pixel và lấy trung bình các giá trị pixel có trọng số để tạo ra kết quả cho hình ảnh được hợp nhất ở cùng một vị trí pixel Các hệ số có trọng số tối ưu được xác định bằng kỹ thuật PCA Kỹ thuật PCA rất hữu ích cho việc mã hóa hình ảnh, nén dữ liệu hình ảnh, nâng cao hình ảnh, nhận dạng mẫu (đặc biệt là phát hiện đối tượng) và hợp nhất hình ảnh Đây là một kỹ thuật thống kê biến đổi một tập dữ liệu đa biến của các biến tương quan với nhau thành tập dữ liệu gồm các kết hợp tuyến tính mới không tương quan của các biến ban đầu Bằng cách sử dụng phương pháp này, có thể giảm bớt sự dư thừa của dữ liệu hình ảnh [10]
+ Hợp nhất bằng phương pháp kim tự tháp Laplacian: Sự kết hợp IHS chuyển đổi hình ảnh MS màu từ không gian RGB sang không gian màu IHS Do dải cường độ (I) giống với hình ảnh có màu (PAN), nên nó được thay thế bằng hình ảnh PAN có độ phân giải cao sau khi hợp nhất Sau đó, một phép biến đổi IHS ngược được thực hiện trên PAN, cùng với các dải màu (H) và độ bão hòa (S), tạo ra hình ảnh hợp nhất IHS [18]
+ Hợp nhất bằng phương pháp kim tự tháp Laplacian: Hợp nhất kim tự tháp Laplacian bao gồm một quá trình lặp đi lặp lại tính toán các kim tự tháp Gaussian và Laplacian của mỗi ảnh nguồn, hợp nhất các hình ảnh Laplacian ở mỗi cấp độ kim tự tháp bằng cách chọn pixel có giá trị tuyệt đối lớn hơn, kết hợp kim tự tháp Laplacian hợp nhất với kim tự tháp kết hợp được mở rộng từ cấp độ thấp hơn, sau đó mở rộng các kim tự tháp kết hợp lên cấp độ cao hơn Bước kết hợp ở trên cũng có thể được thực hiện bằng cách sử dụng kỹ thuật lấy trung bình có trọng số dựa trên PCA [21]
+ Hợp nhất sử dụng phương pháp kim tự tháp Gradient: Kim tự tháp Gradient có được bằng cách áp dụng bộ 4 bộ lọc Gradient định hướng (ngang, dọc và 2 đường chéo) cho kim tự tháp Gaussian ở mỗi cấp độ Ở mỗi cấp độ, 4 kim tự tháp Gradient hướng này được kết hợp với nhau để thu được một kim tự tháp Gradient kết hợp tương tự như kim tự tháp Laplacian Do đó, phản ứng hợp nhất kim tự tháp Gradient cũng giống như phản ứng hợp nhất sử dụng phương pháp kim tự tháp Laplacian ngoại trừ việc thay thế kim tự tháp Laplacian bằng kim tự tháp gradient kết hợp [6], [21]
+ Kết hợp bằng phương pháp kim tự tháp lọc-trừ-giảm kích thước (FSD):Phương pháp hợp nhất kim tự tháp FSD về mặt khái niệm giống với phương pháp hợp nhất kim tự tháp Laplacian Sự khác biệt duy nhất là ở bước thu được những hình ảnh khác biệt khi tạo hình kim tự tháp Trong kim tự tháp Laplacian, hình ảnh sai phân Lk ở cấp độ k thu được bằng cách trừ đi một hình ảnh được lấy mẫu lên và sau đó được lọc thông thấp từ cấp độ k+1 từ hình ảnh Gaussian Gk ở cấp độ k Trong khi ở kim tự tháp FSD, hình ảnh khác biệt này được lấy trực tiếp từ ảnh Gaussian Gk ở mức k trừ đi ảnh được lọc thông thấp của
Gk Do đó, rõ ràng là phương pháp hợp nhất kim tự tháp FSD hiệu quả hơn về mặt tính toán so với phương pháp kim tự tháp Laplacian bằng cách bỏ qua bước lấy mẫu lên.[21]
+ Hợp nhất sử dụng phương pháp biến đổi wavelet rời rạc (DWT): Trong phương pháp hợp nhất dựa trên DWT, ảnh nguồn trước tiên được DWT chuyển đổi thành ảnh hệ số sóng con tương ứng của chúng ở mỗi cấp tỷ lệ Các hệ số xấp xỉ và hệ số chi tiết tương ứng của nguồn hình ảnh ở mỗi cấp độ sau đó được hợp nhất tương ứng dựa trên một quy tắc hợp nhất nhất định Quy tắc này có thể là một phép cộng hoặc tính trung bình đơn giản hoặc tính trung bình có trọng số dựa trên PCA Các hệ số gần đúng và chi tiết hợp nhất ở mỗi cấp độ được sử dụng trong quá trình tái tạo cuối cùng của một hình ảnh hợp nhất đầu ra duy nhất bằng DWT nghịch đảo [7],[21]
+ Xu hướng tái tạo hình ảnh siêu phân giải: Tái tạo siêu phân giải (SR) là một nhánh của phản ứng hợp nhất hình ảnh để ngoại suy băng thông vượt quá giới hạn của hệ thống hình ảnh điện tử truyền thống [3] Phương pháp mô tả các nguyên tắc chính của việc tái thiết SR và cung cấp cái nhìn tổng quan về các phương pháp tiêu biểu nhất trong lĩnh vực này Chiến lược chung đặc trưng cho độ phân giải siêu cao bao gồm ba bước xử lý chính là thu nhận hình ảnh LR (độ phân giải thấp), đăng ký hình ảnh/bù chuyển động và tái tạo hình ảnh (độ phân giải cao) Phương pháp cũng phân tích những ưu điểm và hạn chế của từng kỹ thuật, bao gồm các phương pháp miền tần số, phép chiếu lên các tập lồi (POCS), phương pháp Bayesian/biến thể và các phương pháp tiếp cận dựa trên nội suy Sau đó, họ trình bày một cách tiếp cận mới đầy hứa hẹn dựa trên Phép chập chuẩn hóa và ước tính Bayes, đồng thời thực hiện so sánh định lượng và định tính bằng cách sử dụng các chuỗi video thực
+ Hợp nhất hình ảnh thông qua phân tách lấy mẫu quá mức đa phân giải: nhóm tác giả đã mô tả chi tiết các phương pháp phân tích đa độ phân giải và triển khai các phân tách lấy mẫu đa phân giải cho các ứng dụng hợp nhất hình ảnh [24] Công việc của họ bao gồm thay thế thành phần (CS), các nguyên tắc cơ bản của phân tích đa phân giải và phương pháp sóng con trực giao Ngoài ra, chúng cũng đề cập đến các phương pháp hợp nhất dữ liệu đa phân giải theo ngữ cảnh chẳng hạn như sơ đồ hợp nhất dữ liệu dựa trên sóng con chưa xác định, sơ đồ hợp nhất dựa trên kim tự tháp, sơ đồ hợp nhất dữ liệu sóng con “A trous”, mô hình giảm thiểu biến dạng quang phổ nâng cao và dựa trên ngữ cảnh nâng cao Các phương pháp khác bao gồm các wavelet trực giao, phân rã đa cấp của các phép biến đổi wavelet và phân rã wavelet bất biến dịch mã của hình ảnh 2-D Hiệu suất của từng phương pháp được đánh giá định tính và định lượng
+ Kết hợp hình ảnh đa cảm biến và đa phân giải bằng mô hình hợp nhất tuyến tính: Sự kết hợp hình ảnh của độ phân giải không gian cao và hình ảnh có độ phân giải quang phổ cao dựa trên mô hình hợp nhất tuyến tính được trình bày trong tác phẩm này[12] Điều này còn được gọi là hợp nhất dữ liệu dựa trên không gian hợp nhất lẫn Giá trị của một pixel bao gồm các tín hiệu đến từ các thành phần riêng lẻ và còn được gọi là pixel hỗn hợp Trình bày tối ưu hóa số lượng lớp được sử dụng để phân loại hình ảnh có độ phân giải cao và kích thước của vùng lân cận để giải các phương trình không hợp nhất lẫn Ưu điểm của kỹ thuật được trình bày là các hình ảnh hợp nhất không bao gồm thông tin quang phổ của hình ảnh có độ phân giải không gian cao trong kết quả cuối cùng theo bất kỳ cách nào Phương pháp hợp nhất dữ liệu dựa trên việc không hợp nhất lẫn đặc biệt phù hợp để kết hợp chuỗi thời gian MERIS FR với một hoặc nhiều hình ảnh TM do thông tin quang phổ của hình ảnh TM không được đưa vào hình ảnh hợp nhất theo bất kỳ cách nào
Hình 1-3 Hệ thống hợp nhất hình ảnh sử dụng cơ sở ICA/Topographical ICA
+ Sơ đồ hợp nhất hình ảnh sử dụng cơ sở ICA: Mitianoudis và Stathaki chứng minh hiệu quả của một phép biến đổi được xây dựng bằng cách sử dụng Phân tích thành phần độc lập (ICA) và Phân tích thành phần độc lập địa hình dựa trên phản ứng hợp nhất hình ảnh trong nghiên cứu này [15] Các căn cứ được huấn luyện ngoại tuyến bằng cách sử dụng hình ảnh có bối cảnh tương tự với cảnh được quan sát Các hình ảnh được hợp nhất trong miền biến đổi bằng cách sử dụng các quy tắc dựa trên pixel hoặc dựa trên vùng mới Một sơ đồ hợp nhất dựa trên ICA thích ứng không giám sát cũng được giới thiệu Các sơ đồ được đề xuất có đặc điểm được cải thiện hiệu suất khi so sánh với các phương pháp tiếp cận dựa trên biến đổi wavelet và độ phức tạp tính toán tăng lên một chút Các tác giả đã giới thiệu việc sử dụng ICA dựa trên các ứng dụng hợp nhất hình ảnh Những cơ sở này dường như xây dựng các công cụ rất hiệu quả, có thể hỗ trợ các kỹ thuật phổ biến được sử dụng trong phản ứng hợp nhất hình ảnh, chẳng hạn như Biến đổi Wavelet Phương pháp đề xuất có thể hoạt động tốt hơn các phương pháp wavelet Phương pháp dựa trên ICA cung cấp khả năng chọn lọc hướng chính xác hơn, do đó ghi lại các đặc điểm nổi bật của hình ảnh một cách chính xác hơn
+ Phương pháp Bayesian để hợp nhất hình ảnh: Trong bài báo của mình, các tác giả mô tả phương pháp hợp nhất Bayes dựa trên lý thuyết toán học vững chắc và cung cấp một tập hợp các phương pháp phong phú cho phép diễn giải trực quan quá trình hợp nhất [22] Bài báo giới thiệu các phương pháp như giải Bayesian cho các bài toán nghịch đảo trong ảnh, hợp nhất ảnh Bayesian minh họa cho phân bố Gaussian và các ước lượng Bayes Sau đó, các thông số kỹ thuật tổng thể của nhiệm vụ hợp nhất có được bằng cách tính trọng số và kết hợp các thuật ngữ năng lượng, dữ liệu, chất lượng và ràng buộc Một số kỹ thuật để giảm thiểu năng lượng tổng thể một cách chính xác và gần đúng được xem xét: giảm thiểu trực tiếp, tối ưu hóa liên tiếp, cắt đồ thị và lập trình động Nhược điểm chính của phương pháp Bayes là rất phức tạp và chi phí cao
+ Cải thiện nhiều hình ảnh cảm biến bằng cách sử dụng kỹ thuật hợp nhất hình ảnh chung và phục hồi điểm mù: Các tác giả đề xuất phương pháp kết hợp và phục hồi trên miền không gian để xác định các khu vực bị suy giảm chất lượng của tất cả các hình ảnh đầu vào trong tất cả các hình ảnh cảm biến đầu vào và sử dụng phương pháp khôi phục để nâng cao chất lượng hình ảnh [14] Giả định chung cho hầu hết các phương pháp hợp nhất là sự tồn tại của tín hiệu hình ảnh tham chiếu chất lượng cao cho tất cả các phần hình ảnh trong tất cả các hình ảnh cảm biến đầu vào Trong trường hợp có các vùng có chất lượng kém ở ít nhất một trong các hình ảnh đầu vào, thuật toán hợp nhất không thể cải thiện thông tin được cung cấp mà chỉ truyền tải sự kết hợp của thông tin bị suy giảm này đến hình ảnh đầu ra Trong nghiên cứu này, các tác giả đề xuất một phương pháp kết hợp hình ảnh hợp nhất trong miền không gian và sử dụng phương pháp khôi phục chính quy để nâng cao chất lượng trong các khu vực này Cách tiếp cận này được thử nghiệm bằng các bộ hình ảnh đa tiêu điểm và đa phương thức Cụ thể hơn, một phương pháp kết hợp giữa hợp nhất hình ảnh và phục hồi đã được đề xuất như là bước tiến tiếp theo của các hệ thống hợp nhất hiện tại Theo định nghĩa, hợp nhất hình ảnh chỉ nhằm mục đích hiển thị thông tin từ các hình ảnh của cảm biến đầu vào sang hình ảnh hợp nhất, giả sử có tín hiệu hình ảnh tham chiếu thích hợp cho tất cả các phần của hình ảnh Phương pháp được đề xuất cũng cho thấy kết quả thú vị trong trường hợp bộ ảnh đa phương thức, tạo ra kết quả đầu ra có các cạnh được phác thảo rõ ràng khi so sánh với các phương pháp trên miền biến đổi
+ Số liệu hợp nhất hình ảnh ở cấp độ pixel: Chủ đề của nghiên cứu này là về các số liệu được thiết kế để định lượng hiệu suất của các hệ thống hợp nhất hình ảnh ở cấp độ pixel [23] Các thử nghiệm sử dụng mẫu đại diện chủ quan là một phương pháp đáng tin cậy và đơn giản để đánh giá hiệu suất Tuy nhiên, cách thực hiện này khá tốn kém về thời gian và công sức Hình 1.4 dưới đây thể hiện quá trình này được tiến hành bằng cách so sánh các mẫu với nhau hoặc bằng cách thực hiện các nhiệm vụ có định hướng cụ thể Một cách tiếp cận khác là sử dụng đánh giá hợp nhất khách quan dưới dạng mã máy tính và sử dụng các số liệu đánh giá khách quan trong việc phát triển hệ thống hợp nhất hình ảnh Thông tin hình ảnh quan trọng được coi là có liên quan đến thông tin dựa trên biên và các vùng hình ảnh liên quan Sau đó, khái niệm này được mở rộng với sự tham gia của mô hình hóa Hệ thống thị giác của con người trong quá trình xây dựng, các thử nghiệm mở rộng được tiến hành để đo lường, đánh giá hiệu suất Do đó, một số biện pháp hợp nhất hình ảnh như vậy được phát triển và các đặc điểm của chúng được kiểm tra để dự đoán chính xác hiệu suất của hệ thống hợp nhất so với kết quả thu được từ các thử nghiệm chủ quan Thử nghiệm mở rộng cho phép phân tích chi tiết, tối ưu hóa và hiểu rõ hành vi so sánh của các biện pháp hiệu suất hợp nhất hình ảnh này Cách tiếp cận thứ hai xem xét đầy đủ các thuộc tính HSV dựa trên việc đo lường sự khác biệt về hình ảnh trên cơ sở từng pixel Người ta nhận thấy rằng các số liệu VC thuần túy đạt được hiệu suất đáng nể nhưng không cải thiện các thuật toán dựa trên bảo toàn biên
Đăng ký hình ảnh
Đăng ký hình ảnh là quá trình thiết lập sự tương ứng từng điểm giữa nhiều hình ảnh mô tả cùng một cảnh Hình ảnh từ cùng một cảnh vật được thu từ các cảm biến khác nhau Những hình ảnh này có thể có sự không trùng khớp về trường nhìn, độ phóng đại, độ phân giải cảm biến và độ lệch cố hữu của các thành phần cảm biến … Trước khi áp dụng thuật toán hợp nhất hình ảnh, việc đăng ký hình ảnh được sử dụng để đảm bảo sự tương ứng giữa các pixel trong hình ảnh đầu vào Đó là về sự căn chỉnh hình học thích hợp của hình ảnh sao cho các pixel hoặc vùng tương ứng của cả hai hình ảnh ánh xạ tới cùng một vùng được quan sát Việc đăng ký hình ảnh là cần thiết để có thể so sánh hoặc tích hợp dữ liệu thu được từ các cảm biến khác nhau
Có hai loại khác biệt chung giữa các hình ảnh Một là do sự thay đổi điều kiện trong quá trình thu ảnh, khiến hình ảnh bị sai lệch về mặt không gian Thứ hai, những khác biệt không phải do sai lệch không gian có thể là do các yếu tố như thay đổi ánh sáng, độ tương phản, độ phóng đại Mặc dù có thể hiệu chỉnh các thông số cảm biến và vị trí không gian để trùng khớp tuy nhiên trong một số trường hợp nhất định vẫn chưa thể xử lý được
Một lượng nghiên cứu đáng kể đã được thực hiện trong việc phát triển các thuật toán đăng ký khác nhau[1] Ví dụ: Thuật toán đối sánh khối (BMA) được áp dụng để tìm sự tương ứng cục bộ làm phát sinh trường vectơ chuyển động và các tham số chuyển động và dịch chuyển ngang và dọc thu được bằng ước tính chuyển động tổng thể dựa trên các vectơ này Một ví dụ khác là, nếu thông số và vị trí của máy ảnh không thay đổi và chỉ thay đổi môi trường thì hình ảnh thu được sẽ được ghi lại theo không gian Các kỹ thuật đăng ký hình ảnh nói chung có thể được phân thành hai loại: phương pháp dựa trên cường độ và phương pháp dựa trên đặc điểm Đối với các phương pháp dựa trên cường độ, hình ảnh về cơ bản được đăng ký bằng cách chọn một số cửa sổ trong vùng có phương sai cao của một hình ảnh, định vị các cửa sổ tương ứng trong hình ảnh kia và sử dụng tâm hình học hoặc tâm khối của cửa sổ làm điểm kiểm soát để xác định các thông số đăng ký Các phương pháp dựa trên đặc điểm trích xuất và so khớp các đặc điểm chung từ ảnh nguồn Các tính năng thường được sử dụng bao gồm các cạnh, góc và đường viền
Mặc dù có nhiều nhóm hình ảnh khác nhau cần được đăng ký và do có nhiều loại suy giảm khác nhau nên không thể thiết kế một phương pháp phổ quát phù hợp cho tất cả các ứng dụng Tuy nhiên, phần lớn các phương pháp đăng ký bao gồm bốn bước sau:
+ Bước 1: Phát hiện tính năng: Các đối tượng nổi bật và đặc biệt (các vùng ranh giới khép kín, các cạnh, đường viền, giao điểm đường và góc) được phát hiện thủ công hoặc tốt nhất là tự động Để xử lý thêm, các tính năng này có thể được biểu diễn bằng các đại diện điểm của chúng (trọng tâm, điểm cuối đường và các điểm đặc biệt)
+ Bước 2: So khớp đặc điểm: Trong bước này, sự tương ứng giữa các đặc điểm được phát hiện trong ảnh được cảm nhận và các đặc điểm được phát hiện trong ảnh tham chiếu được thiết lập Các mô tả đặc điểm khác nhau và các thước đo tương tự cùng với mối quan hệ không gian giữa các đặc điểm được sử dụng cho mục đích đó
+ Bước 3: Ước tính mô hình chuyển đổi: Các tham số của các hàm ánh xạ được tính toán bằng sự tương ứng của hình ảnh tham chiếu Từ đó xác định các thông số sai lệch và đưa ra mô hình chuyển đổi
+ Bước 4: Lấy mẫu lại và chuyển đổi hình ảnh: Hình ảnh sẽ được chuyển đổi bằng các chức năng ánh xạ Các giá trị hình ảnh trong tọa độ không đồng nhất được tính bằng kỹ thuật nội suy thích hợp
Trong hình 1.7 dưới đây, để thực hiện đăng ký hình ảnh, việc lựa chọn các điểm đặc trưng trong ảnh cần được cân nhắc trước tiên Các đặc điểm có thể được phát hiện và phân biệt với đối tượng Các đặc điểm được phát hiện đặt tham chiếu và hình ảnh quan sát được phải có các yếu tố chung để thể hiện nội dung bức ảnh Đôi khi có những trường hợp hình ảnh không bao phủ chính xác cùng một cảnh hoặc bị vật thể che khuất Trong bước tiếp theo, bước khớp đặc điểm, các vấn đề có thể xảy ra khi đặc điểm vật lý tương ứng không giống nhau do các điều kiện không gian hình ảnh khác nhau, độ tương phản, độ phóng đại hoặc độ nhạy của cảm biến Trong trường hợp đó, việc lựa chọn mô tả đặc điểm và độ đo tương tự phải được xem xét Các bộ mô tả tính năng phải bất biến đối với các mức xuống cấp giả định Trong các hình, các cặp tương ứng được đánh dấu bằng các số từ 1 đến 6 Sau bước so khớp đối tượng, hàm ánh xạ phải được chọn theo độ tin cậy của ước lượng tương ứng đối tượng và ước lượng lỗi Cuối cùng, loại kỹ thuật lấy mẫu lại thích hợp phụ thuộc vào sự cân bằng giữa độ chính xác nội suy và chi phí tính toán
Mặc dù có nhiều phương pháp được đề xuất, nhưng trong bài viết này, chúng tôi cố gắng sử dụng phương pháp hợp nhất hình ảnh dựa trên phân đoạn đơn giản để thể hiện thông tin toàn diện từ 2 hoặc 3 nguồn Các phương pháp hợp nhất phân đoạn cho phép người dùng xây dựng các tham số theo cách thủ công để hợp nhất các hình ảnh ở các cấp độ khác nhau Tính năng này cung cấp tính linh hoạt và khả năng sửa đổi để kết hợp thông tin với các tính năng khác nhau Đánh giá hiệu suất dựa trên các kích thước hình ảnh thử nghiệm của các cảm biến đầu vào Đồng thời, phương pháp hợp nhất trung bình có trọng số cũng được cung cấp để so sánh Tương tự như những gì ứng dụng hợp nhất hình ảnh hiện tại sử dụng, hợp nhất trung bình có trọng số là phương pháp dựa trên pixel Ưu điểm rõ ràng của việc hợp nhất hình ảnh dựa trên pixel là hình ảnh được sử dụng chứa thông tin gốc Ngoài ra, thuật toán này thực hiện dễ dàng và nhanh chóng và không yêu cầu nhiều kích thước hình ảnh khác nhau Tuy nhiên, nhược điểm là phản ứng hợp nhất trung bình có trọng số rất nhạy cảm với nhiễu và đăng ký sai điểm trọng tâm.
Hình 1-7 Các bước thực hiện việc đăng ký hình ảnh
KỸ THUẬT HỢP NHẤT VÀ BIẾN ĐỔI HÌNH ẢNH
Giới thiệu chung
Trong chương trước, chúng ta đã nêu rằng thách thức của thuật toán hợp nhất hình ảnh là làm thế nào để thể hiện tốt nhất tất cả thông tin một cách hiệu quả trong ảnh hợp nhất Dựa trên các ứng dụng khác nhau, tương ứng sẽ có các yêu cầu khác nhau về thời gian tính toán, độ phức tạp, hạn chế về môi trường và chất lượng thông tin Vì đã biết rằng hiệu suất của thuật toán hợp nhất hình ảnh phụ thuộc vào ứng dụng nên luận văn sẽ tập trung vào tiếp cận trên các ứng dụng đa cảm biến, sau đó so sánh hiệu suất của chúng Trong phần này, luận văn đề xuất kết hợp tuyến tính các hình ảnh đầu vào với trọng số phù hợp được ước tính bằng cách sử dụng các tiêu chí hiệu suất toán học cụ thể Hai phương pháp tương tác này giúp người dùng xác định trọng lượng và kiểu mẫu cho hình ảnh hợp nhất.
Phương pháp hợp nhất hình ảnh dựa trên phân đoạn
Trong các ứng dụng hợp nhất hình ảnh chẳng hạn như hệ thống hợp nhất hình ảnh đa cảm biến để nhận dạng đối tượng và quan sát cảnh vật, luôn có các điều kiện có thể khiến các hình ảnh khác nhau được tạo ra từ các trường nhìn hoặc cảm biến khác nhau Luận văn giới thiệu phương pháp này để tạo ra hình ảnh hợp nhất với chi phí tính toán thấp
Trong thuật toán hợp nhất hình ảnh dựa trên phân đoạn, nhiệm vụ cần giải quyết là hợp nhất các hình ảnh từ cả hình ảnh kỹ thuật số đã đăng ký và hình ảnh tương quan Hình ảnh nguồn được phân tách thành nhiều lát cắt, hiển thị thông tin nguồn tương ứng bằng pixel Sau đó, các lát cắt này được căn chỉnh theo thứ tự của hình ảnh nguồn để cung cấp chế độ xem thông tin kết hợp ảo Với các chiều rộng khác nhau của các lát cắt này, sự kết hợp của các hình ảnh nguồn có thể cung cấp các trọng số và định nghĩa khác nhau Vì các thành phần RGB hoặc mức xám (đối với camera nhiệt) của mỗi ảnh đầu vào được gán riêng nên tất cả các ảnh nguồn phải được căn chỉnh hoặc đăng ký trước khi hợp nhất
Xem xét một hệ thống cảm biến N chung (N>2) với một số cảm biến và mỗi cảm biến tạo ra một khung hình ảnh fi(x,y) (i = 1,…,N) Giả sử rằng f1(x,y), f2(x,y), f3(x,y), , fN(x,y) biểu thị N ảnh với chiều cao (xs) và chiều rộng (ys) thu được cùng một cảnh vật để hợp nhất hình ảnh và g(x,y) đại diện cho hình ảnh đầu ra đã được hợp nhất Một vectơ thuộc tính M(x, y) là danh sách các nguyên hàm mô tả “trạng thái” của một phần thuộc tính tại tọa độ (x, y)
Bước đầu tiên của quá trình hợp nhất phân đoạn là phân đoạn hình ảnh đầu vào thành từng phần và ánh xạ chúng tới hình ảnh đầu ra:
( , ) , ( 1) f x y if n NL NL k g m n f x y if n NL k N L k f x y if n NL k k N L
Khi L = k1 + k2 + k3 và k1, k2, k3 = 1, 2, 3,… Các số k1, k2, k3 đại diện cho lát cắt ngang chiều rộng cho mỗi ảnh trong số 3 hình ảnh nguồn và là các tham số được người dùng cuối xác định trước Nó được sử dụng để kiểm soát “độ rộng cắt” hoặc độ rộng hiển thị cho từng đầu vào nguồn trong phân đoạn và mẫu kết hợp Quá trình cắt lát này được sử dụng để ghép từng lát cắt từ mỗi hình ảnh đầu vào lại với nhau để hiển thị thông tin tích hợp
Hình 2-1 Phân đoạn dựa trên quá trình hợp nhất hình ảnh Trên hình 2.1 là thuật toán hợp nhất hình ảnh với mục tiêu là một hệ thống hợp nhất đa cảm biến (N > 2) Trong thuật toán này quá trình phân đoạn và kết hợp được tích hợp với quá trình nội suy
Hình 2-2 Phân đoạn dựa trên quá trình hợp nhất hình ảnh (Phân đoạn - kết hợp) Trên hình 2.2 là bước phân đoạn và kết hợp, một ma trận 3x3 pixel đại diện cho hình ảnh nguồn đầu vào Mỗi hình ảnh được phân thành các lát và kết hợp với nhau theo thứ tự, với mỗi chiều rộng được điều khiển bởi các tham số Các pixel có cường độ khác nhau biểu thị hình ảnh nguồn tương ứng nơi các pixel bắt nguồn Kết quả từ bước này được phát triển theo chiều ngang Đối với trường hợp N hình ảnh nguồn, độ phức tạp của phương pháp hợp nhất này cũng không tăng đáng kể và vẫn đảm bảo thông tin hiển thị trên ảnh đầu ra Trong thực tế, thời gian tính toán có mối quan hệ tuyến tính với kích thước ảnh đầu ra nên thời gian tính toán sẽ có quan hệ bậc hai với N (O(N 2 )) Phương pháp dựa trên phân đoạn có thể được áp dụng như sau:
( , ) ( 1) , ( 1) n n f x y if j NL NL k f x y if j NL k NL k k g i j f x y if j N L k N L
là các tham số nguyên được xác định trước
Sau quá trình phân đoạn và kết hợp sẽ sử dụng phép nội suy để xử lý thêm hình ảnh Mục tiêu của nội suy hình ảnh là tạo ra hình ảnh có thể chấp nhận được ở các độ phân giải khác nhau từ một hình ảnh có độ phân giải thấp Nó có thể được mô tả như việc lấp đầy các pixel giữa các hình ảnh Bài toán nội suy còn được gọi bằng nhiều tên, tùy thuộc vào ứng dụng cụ thể như thay đổi kích thước ảnh, giảm kích thước ảnh, tăng cường độ phân giải và siêu phân giải Thuật ngữ siêu phân giải thường đề cập đến việc tạo ra hình ảnh có độ phân giải cao từ nhiều hình ảnh, chẳng hạn như từ một chuỗi video
Bước phân đoạn và kết hợp luôn phát triển hình ảnh theo chiều ngang vì luôn có nhiều hình ảnh nguồn Sự biến dạng do kéo dãn là điều không mong muốn trong hầu hết các ứng dụng Để giữ nguyên tỷ lệ khung hình mà không làm biến dạng hình ảnh, đối với mỗi pixel trống, thuật toán hợp nhất hình ảnh sẽ xử lý nội suy tuyến tính theo hướng dọc, được tạo từ các pixel trên và dưới Các giá trị RGB thực tế trong một giá trị số nguyên dao động trong khoảng từ 0 đến 255 Trong trường hợp đó, giá trị tính toán của từng pixel sẽ được chuyển thành giá trị số nguyên Ngoài ra, người ta có thể sử dụng các phương pháp như nội suy lân cận gần nhất, nội suy bậc ba, nội suy B-spline, nội suy đa thức và nội suy Lagrange để xác định giá trị pixel giữa các mẫu Nói chung, phép nội suy tuyến tính, cùng với phép nội suy lân cận gần nhất thường được sử dụng Các bộ lọc nội suy tuyến tính khác như thu phóng bậc hai, phương pháp B-spline khác nhau ở cách lựa chọn cách xác định mức trung bình trọng số của các pixel lân cận Tuy nhiên, do chưa đảm bảo về độ chính xác hoặc hiệu quả tính toán trong các phương pháp kể trên nên triển khai nội suy tuyến tính được lựa chọn thực hiện trong bước này
Hình 2-3 Phân đoạn dựa trên quá trình hợp nhất hình ảnh (Bước nội suy)
Bước này được xử lý theo hướng dọc, nội suy dựa trên pixel ở trên và dưới Bước nội suy được sử dụng để giữ cho hình ảnh đầu ra có cùng tỷ lệ khung hình với hình ảnh đầu vào Nội suy tuyến tính là một trong những phương pháp khớp đường cong sử dụng đa thức tuyến tính Đây là phương pháp cấp một đi một đường thẳng qua mỗi hai pixel liên tiếp Đối với mỗi pixel trong khoảng (xi, xi+1), giá trị của g(m, n) có thể suy ra về mặt hình học từ đường thẳng nối các điểm lân cận f(xi+1, n) và f(xi, n):
Nếu x i m x i 1 và i = 1, 2, 3, m là một dải giá trị số nguyên trong khoảng [1,m]
1 i i x x L Ưu điểm của quá trình nội suy tuyến tính này là đơn giản, thực hiện nhanh, chi phí rẻ, hình ảnh đầu ra tạo ra các điểm nội suy không bị biến dạng về tỷ lệ khung hình và không hao tốn về thời gian tính toán Nhược điểm là phương pháp này không chính xác lắm, hiệu suất thấp và điểm nội suy không khả vi tại điểm (m,n) Vì vậy, để có hiệu suất tốt hơn nữa, cần sử dụng các phương pháp phức tạp hơn như nội suy spline hoặc nội suy đa thức bậc cao hơn Sau quá trình nội suy, kích thước ảnh thu được sẽ tăng từ xs × ys đến
so với ảnh gốc Nên lựa chọn giá trị k thích hợp để tránh tiêu tốn dung lượng của máy tính
Mặc dù việc phân đoạn và kết hợp hình ảnh có thể gây ra sự gián đoạn hoặc làm mờ các cạnh và cấu trúc của hình ảnh, tuy nhiên, khi nhìn từ góc độ tổng thể, những hiệu ứng này chỉ gây ra một chút ảnh hưởng đến chất lượng hình ảnh và vẫn hợp nhất hình ảnh lớn với mức độ tính toán thấp.
Phương pháp hợp nhất hình ảnh trung bình có trọng số
Một thuật toán phổ biến khác được sử dụng là phương pháp hợp nhất hình ảnh trung bình có trọng số (WA) Đây là một phương pháp cơ bản và dễ hiểu Phương pháp này đơn giản là nhân mỗi giá trị pixel bằng một trọng số tùy ý và sau đó chia cho tổng của các trọng số Nói cách khác, nó tính trung bình có trọng số của các giá trị pixel Đặc biệt, mỗi trọng số phải nằm trong khoảng từ 0 đến 1 Mặc dù đã được đề xuất từ nhiều năm trước, phương pháp trung bình có trọng số vẫn là một trong những phương pháp hiệu quả và dễ thực hiện nhất trong việc hợp nhất hình ảnh Nó dựa trên việc kết hợp giá trị pixel và tạo ra một hình ảnh đầu ra có cùng kích thước pixel với hình ảnh đầu vào
Trong quá trình triển khai, chúng tôi sẽ sử dụng phương pháp trung bình có trọng số để hợp nhất thông tin từ từng cảm biến riêng lẻ một cách tối ưu mà không làm mất thông tin Các tham số này sẽ được thiết lập ban đầu Đối với các giá trị thành phần R, G và B, các công thức tương ứng sẽ được tính toán Với N hình ảnh nguồn, quá trình hợp nhất có thể được biểu thị như sau:
Với 0 < x < xs, 0< y