Thuật toỏn đan đa phõn giải cú thể đƣợc định nghĩa đơn giản hơn dƣới dạng cỏc toỏn tử hỡnh chúp cơ bản đó đƣợc giới thiệu ở trờn. Thuật toỏn cú thể thay đổi để đan cỏc ảnh cú một phần chung (gối lờn nhau - overlap), khụng cú phần chung (khụng gối lờn nhau - nonoverlap) và đan cỏc ảnh cú hỡnh dạng tuỳ ý. Để bắt đầu, giả sử chỳng ta muốn đan nửa trỏi ảnh A với nửa phải ảnh B. Giả sử cỏc ảnh này đều là hỡnh vuụng, mỗi cạnh 2N +1 pixel mỗi chiều và giả sử chỳng hoàn toàn chồng lắp. Quỏ trỡnh đan thực hiện sau 3 bƣớc:
Bước 1: Dựng cỏc hỡnh chúp Laplace LA và LB tƣơng ứng cho ảnh A và ảnh B.
Bước 2: Dựng một chúp Laplace LS bằng cỏch sao chộp cỏc cạnh từ bờn trỏi của
LA vào cỏc node tƣơng ứng của LS và cỏc node bờn phải LB vào bờn phải LS. Cỏc node thuộc đƣờng chớnh giữa của LS đƣợc gỏn bằng giỏ trị trung bỡnh của cỏc node LA và LB tƣơng ứng.
Đƣờng chớnh giữa tại mức l của chúp Laplace tại i=2N-1. Vỡ vậy, với mọi i, j, l:
Bước 3: Ảnh đan S đƣợc tạo bằng cỏch mở rộng và cộng cỏc mức của LS. Kết quả của việc ỏp dụng thủ tục này cho ảnh ngụi sao trờn đƣợc trỡnh bày trong hỡnh 2.3f.
Hỡnh 2.6: Ảnh ghộp từ hai ảnh vệ tinh của San Francisco.
Vớ dụ thứ 2 đƣợc thể hiện trong hỡnh 2.6. Ở đõy, chỳng ta muốn đan hai ảnh vệ tinh của San Francisco, hỡnh 2.6a và hỡnh 2.6b. Cỏc ảnh này giống hệt nhau trừ độ nhiễu nền khuyếch tỏn do khỏc nhau do điều kiện khớ quyển hoặc quỏ trỡnh xử lý ảnh. Một lần nữa, chỳng ta muốn tạo nờn một bức ảnh ghộp mà trong đú, nửa bờn trỏi là của một ảnh và nửa bờn phải là của ảnh khỏc. Nếu chỉ ghộp mà khụng đan ảnh thỡ đƣờng biờn sẽ lộ rừ nhƣ hỡnh 2.6c. Tuy nhiờn, nếu sử dụng kĩ thuật đan đa phõn giải, cạnh hầu nhƣ bị xoỏ bỏ, điều này đƣợc thể hiện ở hỡnh 2.6d.
2.1.4.2 Đan cỏc ảnh với cỏc miền tựy ý
Cỏc bƣớc ở trờn cú thể đƣợc tổng quỏt hoỏ lờn để tạo ra một ảnh khảm từ cỏc miền ảnh cú hỡnh dạng tuỳ ý. Một lần nữa, chỳng ta giả thiết rằng miền đƣợc đan chứa trong ảnh A và B. Nhƣ trờn, cỏc node của cỏc chúp Laplace LA và LB cho cỏc ảnh thành phần sẽ đƣợc kết nối để tạo thành chúp Laplace LS của ảnh kết quả S. Chỳng ta giới thiệu thờm một cấu trỳc thỏp để xỏc định cỏc node nào của LS đƣợc lấy từ LA, node nào từ LB và node nào là trung bỡnh của hai. Đặt R là ảnh nhị phõn kớch thƣớc bằng A và B, trong đú, tất cả cỏc điểm ảnh trong miền của ảnh A đƣợc đan với B cú giỏ trị là 1 và tất cả cỏc điểm ngoài miền này là 0. Cỏc bƣớc của kĩ thuật đan đa phõn giải đƣợc chỉnh sửa nhƣ sau:
Bước 1:
- Dựng cỏc chúp Laplace LA và LB tƣơng ứng cho ảnh A và B. - Dựng chúp Gaussian GR cho miền ảnh R
Bước 2:
- Tạo một chúp liờn kết LS từ LA và LB sử dụng cỏc node của GR nhƣ là cỏc trọng số. Nghĩa là, với mỗi l, i, j:
LSl(i, j) = GRl(i, j)LAl(i, j) + (1 - GRl(i, j))LBl(i, j) (2.16)
Bước 3:
- Thu đƣợc ảnh đan S bằng cỏch mở rộng và cộng cỏc mức của LS.
Hỡnh chúp Gaussian phục vụ hai mục đớch: nú là một phƣơng thức tiện lợi để xỏc định cỏc node tại mỗi mức nằm trong vựng mặt nạ của ảnh R và nú ―làm mềm‖ cỏc cạnh của mặt nạ trong suốt quỏ trỡnh lọc. Cỏc node rơi đỳng vào biờn mặt nạ sẽ nhận trọng số 50%.
Hỡnh 2.7: Đan hỡnh ảnh con mắt vào trong lũng bàn tay.
Trong hỡnh 2.7, hỡnh 2.7a và hỡnh 2.7b là 2 ảnh gốc: một con mắt và một bàn tay. Hỡnh 2.7c là miền của bức ảnh đầu tiờn đƣợc đan vào bức ảnh thứ hai. Hỡnh 2.7d là kết quả cuối cựng của kĩ thuật đan: Con mắt đó đƣợc đan vào trong lũng bàn tay
2.1.4.3 Đan cỏc ảnh khụng chồng lờn nhau
Kĩ thuật trung bỡnh trọng số chỉ đƣợc ỏp dụng cho cỏc bức ảnh chồng lờn nhau. Tuy nhiờn, một ảnh đan phự hợp cú thể đƣợc tạo bởi cỏc bức ảnh tiếp giỏp với nhau nhƣng khụng chồng lờn nhau nếu mỗi ảnh đƣợc ngoại suy qua biờn của nú để tạo thành một miền chuyển tiếp chồng lờn nhau. Vỡ độ rộng của miền chuyển tiếp cú thể là một phần của độ rộng của bản thõn bức ảnh, nờn việc ngoại suy dƣờng nhƣ là một nhiệm vụ khú khăn. Tuy nhiờn, trong kĩ thuật đan đa phõn giải ngoại suy cú thể thực hiện độc lập trong mỗi dải tần. Hơn nữa, khi thuật toỏn hỡnh chúp đƣợc sử dụng, chỉ cú hai ảnh mẫu cần đƣợc ngoại suy bờn ngoài biờn của mỗi mức. Trong thực tế nú chỉ là loại ngoại suy của đƣờng biờn đó đƣợc xử lý trong khi xõy dựng cả hỡnh chúp Gaussian và Laplace. Khụng cú cỏc bƣớc tiếp theo cần đƣợc thực hiện trong đan ghộp.
Hỡnh 2.8: Ứng dụng của việc đan cỏc ảnh khụng chồng nhau
Chỳng ta bắt đầu với một ảnh duy nhất mà chớnh nú là một ảnh khảm của khối 16x16 pixel (chỉ cú mảng trung tõm 8x8 của khối đƣợc biểu diễn trong hỡnh minh họa). Mỗi khối đƣợc xõy dựng lại từ một sự biến đổi mó rất cao. Trong trƣờng hợp này, đại diện cho hỡnh ảnh ở tỉ lệ chỉ 0.5bit/pixel. Khối chuyển đổi mó ở mức rất thấp của khối biờn nổi bật tạo ra trong phộp cộng để suy biến mạnh cỏc hỡnh ảnh khỏc. Nhiệm vụ của chỳng ta là loại vỏ đƣờng biờn bằng phƣơng phỏp đan đa phõn giải.
Ảnh gốc cú kớch thƣớc 16x16 của khối. Trƣớc khi thử nghiệm đan, chỳng ta sử dụng phộp ngoại suy để thờm một hàng bờn phải và bờn dƣới của mỗi khối. Kết quả cỏc khối 17x17 phự hợp với cấu trỳc hỡnh chúp và sự ghộp chồng vào ảnh bởi 1 pixel mỗi chiều. Đõy là bƣớc đầu tiờn của đan ghộp. Phƣơng phỏp là xõy dựng một hỡnh chúp Laplace cho mỗi khối của 256 khối. Những hỡnh chúp này đƣợc nối lại thành một hỡnh chúp duy nhất với với cỏc nỳt trong cạnh chồng lờn nhau và đƣợc lấy trung bỡnh của cỏc mức.
Đặt Llmn là mức lth của hỡnh chúp laplace đó đƣợc xõy dựng, với khối nth trong hàng thứ mth của khối. Sau đú, với i và j khụng trong khối đƣờng biờn (vớ dụ: i và j khụng bằng bội số của 24-l
) và 0 < l <3
LSl(i, j) = Llmn( ) (2.17)
Trong đú m là phần nguyờn của i/24 – l, n là phần nguyờn của
Nếu i hoặc j là một khối ranh giới trờn mức 0, 0 < l <3, sau đú nỳt LS sẽ đƣợc lấy trung bỡnh.
LSl(i, j) = (2.19)
Giỏ trị trung bỡnh này khụng đƣợc tớnh cho cỏc nỳt đƣờng biờn ở mức dƣới cựng bởi nỳt Ll,m-1,n(16, j) đại diện cho một giỏ trị ngoại suy. Thay vào đú, chỳng ta chỉ núi đơn giản:
LS0(i, j) = L0,m,n(0, ) (2.20) Khụi phục lại thụng qua quỏ trỡnh mở rộng và tổng hợp đƣợc thấy trong hỡnh 2.8b. Lƣu ý rằng cỏc khối đƣờng biờn gần nhƣ đó đƣợc loại bỏ hoàn toàn. Hỡnh ảnh vẫn ở mức chất lƣợng thấp, nhƣng điều này là do tỉ lệ bit ban khối ban đầu trƣớc khi mó hừa so với kĩ thuật đan ghộp.
2.2 TRÍCH CHỌN ĐẶC TRƢNG TRONG KHẢM ẢNH
2.2.1 Kĩ thuật trớch chọn đặc trƣng
Một bức ảnh mang rất nhiều thụng tin nhƣ định dạng, kớch thƣớc, màu sắc, độ tƣơng phản v.v… Trong khảm ảnh với một tập ảnh mẫu rất lớn thỡ việc tra cứu cỏc ảnh mẫu này với cỏc vựng trờn ảnh gốc gặp rất nhiều khú khăn. Vỡ vậy việc ỏp dụng kĩ thuật trớch chọn đặc trƣng sẽ giỳp ớch rất nhiều cho việc khảm ảnh. Thụng thƣờng đối với việc khảm ảnh thỡ chỳng ta sẽ quan tõm nhiều đến một số đặc trƣng mà Tee Cheng Siew[4] ] vàLowe David [3] đó chỉ ra một số đặc trƣng nhƣ sau:
Đặc trưng màu sắc: Màu sắc là một đặc trƣng nổi bật và đƣợc sử dụng phổ biến nhất trong tỡm kiếm ảnh theo nội dung. Mỗi một điểm ảnh (thụng tin màu sắc) cú thể đƣợc biểu diễn nhƣ một điểm trong khụng gian màu sắc ba chiều. Cỏc khụng gian màu sắc thƣờng dựng là: RGB, CIE, HSV... Tỡm kiếm ảnh theo màu sắc tiến hành tớnh toỏn biểu đồ màu cho mỗi ảnh để xỏc định tỉ trọng cỏc điểm ảnh của ảnh mà chứa cỏc giỏ trị màu. Cỏc nghiờn cứu gần đõy đang cố gắng phõn vựng ảnh theo cỏc màu sắc khỏc nhau và tỡm mỗi quan hệ giữa cỏc vựng này.
Đặc trưng kết cấu: Trớch xuất nội dung ảnh theo kết cấu nhằm tỡm ra mụ hỡnh trực quan của ảnh và cỏch thức chỳng đƣợc xỏc định trong khụng gian. Kết cấu đƣợc biểu diễn bởi cỏc texel mà sau đú đƣợc đặt vào một số cỏc tập phụ thuộc vào số kết cấu
đƣợc phỏt hiện trong ảnh. Cỏc tập này khụng chỉ xỏc định cỏc kết cấu mà cũn chỉ rừ vị trớ cỏc kết cấu trong ảnh. Việc xỏc định cỏc kết cấu đặc biệt trong ảnh đạt đƣợc chủ yếu bằng cỏch mụ hỡnh cỏc kết cấu nhƣ những biến thể cấp độ xỏm 2 chiều.
Đặc trưng hỡnh dạng: Hỡnh dạng của một ảnh hay một vựng là một đặc trƣng quan trong trong việc xỏc định và phõn biệt ảnh trong nhận dạng mẫu. Mục tiờu chớnh của biểu diễn hỡnh dạng trong nhận dạng mẫu là đo thuộc tớnh hỡnh học của một đối tƣợng đƣợc dựng trong phõn lớp, so sỏnh và nhận dạng đối tƣợng.
2.2.1.1 Đặc trƣng màu sắc
Tra cứu ảnh theo lƣợc đồ màu là phƣơng phỏp phổ biến và đƣợc sử dụng nhiều nhất trong cỏc hệ thống tỡm kiếm ảnh theo nội dung. Đõy là phƣơng phỏp đơn giản, tốc độ tỡm kiếm tƣơng đối nhanh tuy nhiờn kết quả tỡm kiếm cú độ chớnh xỏc khụng cao. Đõy cú thể xem là bƣớc lọc đầu tiờn cho những bƣớc tỡm kiếm sau. Một số lƣợc đồ màu đƣợc sử dụng nhƣ: lƣợc đồ màu RGB, lƣợc đồ màu HSI, lƣợc đồ HSI cải tiến. Trong đú, lƣợc đồ màu RGB đƣợc sử dụng phổ biến nhất
Hệ màu RGB:
Đối với ảnh 256 màu, lƣợc đồ màu của ảnh tƣơng đƣơng với lƣợc đồ màu của ảnh xỏm. Đối với ảnh 24 bit màu, lƣợc đồ miờu tả khả năng kết nối về cƣờng độ của ba kờnh màu R, G, B. Luợc đồ màu này đƣợc định nghĩa nhƣ sau:
hR,G,B[r,g,b] = N* Prob{R=r,G=g,B=b} (2.21) Trong đú N là số lƣợng điểm ảnh. Lƣợc đồ màu này đƣợc tớnh bằng cỏch rời rạc húa từng màu trong ảnh, sau đú đếm số điểm ảnh của mỗi màu. Khi mà số lƣợng màu là cú hạng, để thuận tiện hơn, ngƣời ta thƣờng chuyển đổi ba kờnh màu thành một biến giỏ trị duy nhất. Một cỏch khỏc để tớnh lƣợc đồ màu của ảnh RGB là ta phõn ra làm 3 lƣợc đồ riờng biệt hR[], hG[], hB[]. Khi đú, mỗi lƣợc đồ đƣợc tớnh bằng cỏch đếm kờnh màu tƣơng ứng trong mỗi điểm ảnh.
Độ đo tƣơng đồng về màu sắc
Một số độ đo tƣơng đồng đƣợc sử dụng nhƣ: Độ đo khoảng cỏch Ơclit, độ đo Jensen-Shannon divergence (JSD). Gọi h(I) và h(M) tƣơng ứng là 2 lƣợc đồ màu của hai ảnh I và ảnh M. Khi đú cỏc loại độ đo màu đƣợc định nghĩa là một số nguyờn (hoặc số thực) theo cỏc loại độ đo tƣơng ứng nhƣ sau:
Khoảng cỏch Euclid:
Intersection(h(I),h(M)) = (2.22)
Hoặc: Intersection(h(I),h(M)) = (2.23) Độ đo Jensen-Shannon divergence:
Độ đo Jensen-Shannon divergence sử dụng lƣợc đồ màu RGB để tớnh toỏn độ tƣơng đồng về màu sắc giữa 2 ảnh:
dJSD(H, H’) = (2.24)
Trong đú: H, H’ là 2 biểu đồ màu đƣợc so sỏnh, Hm là bin thứ m của biểu đồ H Độ đo khoảng cỏch Min-Max
Đƣợc thực hiện dựa trờn ý tƣởng lấy phần giao của 2 lƣợc đồ màu cần so sỏnh, ta sẽ đƣợc một lƣợc đồ, tớnh tổng cỏc giỏ trị cú đƣợc từ lƣợc đồ này cho ta đƣợc độ đo min-max.
• Đối với độ đo min ta tớnh dựa vào giỏ trị min tại khỏc K bin:
Intersection(h(I),h(M)) = (2.25)
• Tƣơng tự đối với độ đo Max:
Intersection(h(I),h(M)) = (2.26)
Matching(h(I),h(M)) = (2.27)
2.2.1.2 Đặc trƣng kết cấu
Kết cấu cung cấp thụng tin về sự sắp xếp về mặt khụng gian của màu sắc và cƣờng độ một ảnh. Kết cấu đƣợc đặc trƣng bởi sự phõn bổ khụng gian của những mức cƣờng độ trong một khu vực lõn cận với nhau. Kết cấu gồm cỏc kết cấu gốc hay nhiều kết cấu gộp lại đụi khi gọi là texel. Cú một số phƣơng phỏp dụng để trớch xuất cỏc đặc trƣng kết cấu nhƣ :
• Phƣơng phỏp hỡnh chúp • Biến đổi đƣờng viền • Biến đổi súng Gabor
• Biểu diễn ma trận đồng hiện
2.2.1.3 Đặc trƣng hỡnh dạng
Màu sắc và kết cấu là những thuộc tớnh mang tớnh toàn cục trong một ảnh. Trong khi đú, hỡnh dạng khụng phải là một thuộc tớnh của ảnh. Núi tới hỡnh dạng của hỡnh ảnh là chỉ đến một khu vực đặc biệt trong ảnh, hay hỡnh dạng chỉ là biờn của một đối tƣợng nào đú trong ảnh.
Trong tra cứu ảnh theo nội dung, hỡnh dạng là một cấp cao hơn so với màu sắc và kết cấu. Nú đũi hỏi sự phõn biệt giữa cỏc vựng để tiến hành xử lý về độ đo của hỡnh dạng. Cỏc hệ thống tra cứu ảnh theo nội dung thƣờng khai thỏc hai nhúm biểu diễn hỡnh dạng sau :
• Biểu diễn hỡnh dạng theo đƣờng biờn (cotour-based descriptor): Biểu diễn cỏc đƣờng biờn bao bờn ngoài.
• Biểu diễn theo vựng (region-based descriptor): Biểu diễn một vựng toàn vẹn.
Độ đo về hỡnh dạng rất nhiều trong phạm vi lý thuyết của bộ mụn xử lý ảnh. Chỳng trải rộng từ những độ đo toàn cục dạng thụ với sự trợ giỳp của việc nhận dạng đối tƣợng, cho tới những độ đo chi tiết tự động tỡm kiếm những hỡnh dạng đặc biệt. Lƣợc đồ hỡnh dạng là một vớ dụ của độ đo đơn giản. Kỹ thuật dựng đƣờng biờn hiệu quả hơn phƣơng phỏp trƣớc, chỳng tỡm kiếm những hỡnh dạng đối tƣợng gần giống với đƣờng biờn nhất. Phƣơng phỏp vẽ phỏc họa là phƣơng phỏp cú nhiều đặc trƣng rừ ràng hơn, khụng chỉ tỡm kiếm những đƣờng biờn đối tƣợng đơn, mà cũn đối với tập những đối tƣợng đó đƣợc phõn đoạn trong một ảnh mà ngƣời dựng vẽ hay cung cấp.
2.2.1.4 Đặc trƣng cục bộ bất biến
Ngƣời ta thƣờng chia đặc trƣng cụ bộ thành 2 loại là những điểm trớch xuất đƣợc từ ―điểm nhụ ra" (salient points) của ảnh và đặc trƣng SIFT đƣợc trớch chọn từ cỏc điểm hấp dẫn Haris (interest points). Trong phần này, chỳng ta sẽ trỡnh bày chi tiết về việc trớch chọn cỏc đặc trƣng cục bộ bất biến (Scale Invariant Feature Transform) của ảnh[3].
Cỏc đặc trƣng này bất biến với việc thay đổi tỉ lệ ảnh, quay ảnh, đụi khi là thay đổi điểm nhỡn và thờm nhiễu ảnh hay thay đổi cƣờng độ chiếu sỏng của ảnh. Phƣơng phỏp đƣợc lựa chọn cú tờn là Scale-Invariant Feature Transform và đặc trƣng trớch rỳt
đựợc gọi là đặc trƣng SIFT (SIFT Feature). Cỏc đặc trƣng SIFT này đƣợc trớch rỳt ra từ cỏc điểm hấp dẫn cục bộ (Local Interest Point)
Phƣơng phỏp trớch chọn cỏc đặc trƣng bất biến SIFT đƣợc tiếp cận theo phƣơng phỏp thỏc lọc, theo đú phƣơng phỏp đƣợc thực hiện lần lƣợt theo cỏc bƣớc sau[3]:
• Phỏt hiện cỏc điểm cực trị Scale-Space (Scale-Space extrema detection): Bƣớc đầu tiờn này tiến hành tỡm kiếm cỏc điểm hấp dẫn trờn tất cả cỏc tỉ lệ và vị trớ của ảnh. Nú sử dụng hàm different-of-Gaussian để xỏc định tất cả cỏc điểm hấp dẫn tiềm năng mà bất biến với quy mụ và hƣớng của ảnh. • Định vị cỏc điểm hấp dẫn (keypoint localization): Một hàm kiểm tra sẽ
đƣợc đƣa ra để quyết định xem cỏc điểm hấp dẫn tiềm năng cú đƣợc lựa chọn hay khụng?
• Xỏc định hƣớng cho cỏc điểm hấp dẫn (Orientation assignment): Xỏc định hƣớng cho cỏc điểm hấp dẫn đƣợc chọn
• Mụ tả cỏc điểm hấp dẫn (Keypoint descriptor): Cỏc điểm hấp dẫn sau khi đƣợc xỏc định hƣớng sẽ đƣợc mụ tả dƣới dạng cỏc vector đặc trƣng nhiều chiều.
Phỏt hiện điểm cực trị Scale-space
Cỏc điểm hấp dẫn với đặc trƣng SIFT tƣơng thớch với cỏc cực trị địa phƣơng của bộ lọc difference-of-Gaussian (DoG) ở cỏc tỉ lệ khỏc nhau. Định nghĩa khụng gian tỉ lệ của một hỡnh ảnh là hàm L(x,y,kσ) đƣợc mụ tả nhƣ sau: