Một bức ảnh mang rất nhiều thụng tin nhƣ định dạng, kớch thƣớc, màu sắc, độ tƣơng phản v.v… Trong khảm ảnh với một tập ảnh mẫu rất lớn thỡ việc tra cứu cỏc ảnh mẫu này với cỏc vựng trờn ảnh gốc gặp rất nhiều khú khăn. Vỡ vậy việc ỏp dụng kĩ thuật trớch chọn đặc trƣng sẽ giỳp ớch rất nhiều cho việc khảm ảnh. Thụng thƣờng đối với việc khảm ảnh thỡ chỳng ta sẽ quan tõm nhiều đến một số đặc trƣng mà Tee Cheng Siew[4] ] vàLowe David [3] đó chỉ ra một số đặc trƣng nhƣ sau:
Đặc trưng màu sắc: Màu sắc là một đặc trƣng nổi bật và đƣợc sử dụng phổ biến nhất trong tỡm kiếm ảnh theo nội dung. Mỗi một điểm ảnh (thụng tin màu sắc) cú thể đƣợc biểu diễn nhƣ một điểm trong khụng gian màu sắc ba chiều. Cỏc khụng gian màu sắc thƣờng dựng là: RGB, CIE, HSV... Tỡm kiếm ảnh theo màu sắc tiến hành tớnh toỏn biểu đồ màu cho mỗi ảnh để xỏc định tỉ trọng cỏc điểm ảnh của ảnh mà chứa cỏc giỏ trị màu. Cỏc nghiờn cứu gần đõy đang cố gắng phõn vựng ảnh theo cỏc màu sắc khỏc nhau và tỡm mỗi quan hệ giữa cỏc vựng này.
Đặc trưng kết cấu: Trớch xuất nội dung ảnh theo kết cấu nhằm tỡm ra mụ hỡnh trực quan của ảnh và cỏch thức chỳng đƣợc xỏc định trong khụng gian. Kết cấu đƣợc biểu diễn bởi cỏc texel mà sau đú đƣợc đặt vào một số cỏc tập phụ thuộc vào số kết cấu
đƣợc phỏt hiện trong ảnh. Cỏc tập này khụng chỉ xỏc định cỏc kết cấu mà cũn chỉ rừ vị trớ cỏc kết cấu trong ảnh. Việc xỏc định cỏc kết cấu đặc biệt trong ảnh đạt đƣợc chủ yếu bằng cỏch mụ hỡnh cỏc kết cấu nhƣ những biến thể cấp độ xỏm 2 chiều.
Đặc trưng hỡnh dạng: Hỡnh dạng của một ảnh hay một vựng là một đặc trƣng quan trong trong việc xỏc định và phõn biệt ảnh trong nhận dạng mẫu. Mục tiờu chớnh của biểu diễn hỡnh dạng trong nhận dạng mẫu là đo thuộc tớnh hỡnh học của một đối tƣợng đƣợc dựng trong phõn lớp, so sỏnh và nhận dạng đối tƣợng.
2.2.1.1 Đặc trƣng màu sắc
Tra cứu ảnh theo lƣợc đồ màu là phƣơng phỏp phổ biến và đƣợc sử dụng nhiều nhất trong cỏc hệ thống tỡm kiếm ảnh theo nội dung. Đõy là phƣơng phỏp đơn giản, tốc độ tỡm kiếm tƣơng đối nhanh tuy nhiờn kết quả tỡm kiếm cú độ chớnh xỏc khụng cao. Đõy cú thể xem là bƣớc lọc đầu tiờn cho những bƣớc tỡm kiếm sau. Một số lƣợc đồ màu đƣợc sử dụng nhƣ: lƣợc đồ màu RGB, lƣợc đồ màu HSI, lƣợc đồ HSI cải tiến. Trong đú, lƣợc đồ màu RGB đƣợc sử dụng phổ biến nhất
Hệ màu RGB:
Đối với ảnh 256 màu, lƣợc đồ màu của ảnh tƣơng đƣơng với lƣợc đồ màu của ảnh xỏm. Đối với ảnh 24 bit màu, lƣợc đồ miờu tả khả năng kết nối về cƣờng độ của ba kờnh màu R, G, B. Luợc đồ màu này đƣợc định nghĩa nhƣ sau:
hR,G,B[r,g,b] = N* Prob{R=r,G=g,B=b} (2.21) Trong đú N là số lƣợng điểm ảnh. Lƣợc đồ màu này đƣợc tớnh bằng cỏch rời rạc húa từng màu trong ảnh, sau đú đếm số điểm ảnh của mỗi màu. Khi mà số lƣợng màu là cú hạng, để thuận tiện hơn, ngƣời ta thƣờng chuyển đổi ba kờnh màu thành một biến giỏ trị duy nhất. Một cỏch khỏc để tớnh lƣợc đồ màu của ảnh RGB là ta phõn ra làm 3 lƣợc đồ riờng biệt hR[], hG[], hB[]. Khi đú, mỗi lƣợc đồ đƣợc tớnh bằng cỏch đếm kờnh màu tƣơng ứng trong mỗi điểm ảnh.
Độ đo tƣơng đồng về màu sắc
Một số độ đo tƣơng đồng đƣợc sử dụng nhƣ: Độ đo khoảng cỏch Ơclit, độ đo Jensen-Shannon divergence (JSD). Gọi h(I) và h(M) tƣơng ứng là 2 lƣợc đồ màu của hai ảnh I và ảnh M. Khi đú cỏc loại độ đo màu đƣợc định nghĩa là một số nguyờn (hoặc số thực) theo cỏc loại độ đo tƣơng ứng nhƣ sau:
Khoảng cỏch Euclid:
Intersection(h(I),h(M)) = (2.22)
Hoặc: Intersection(h(I),h(M)) = (2.23) Độ đo Jensen-Shannon divergence:
Độ đo Jensen-Shannon divergence sử dụng lƣợc đồ màu RGB để tớnh toỏn độ tƣơng đồng về màu sắc giữa 2 ảnh:
dJSD(H, H’) = (2.24)
Trong đú: H, H’ là 2 biểu đồ màu đƣợc so sỏnh, Hm là bin thứ m của biểu đồ H Độ đo khoảng cỏch Min-Max
Đƣợc thực hiện dựa trờn ý tƣởng lấy phần giao của 2 lƣợc đồ màu cần so sỏnh, ta sẽ đƣợc một lƣợc đồ, tớnh tổng cỏc giỏ trị cú đƣợc từ lƣợc đồ này cho ta đƣợc độ đo min-max.
• Đối với độ đo min ta tớnh dựa vào giỏ trị min tại khỏc K bin:
Intersection(h(I),h(M)) = (2.25)
• Tƣơng tự đối với độ đo Max:
Intersection(h(I),h(M)) = (2.26)
Matching(h(I),h(M)) = (2.27)
2.2.1.2 Đặc trƣng kết cấu
Kết cấu cung cấp thụng tin về sự sắp xếp về mặt khụng gian của màu sắc và cƣờng độ một ảnh. Kết cấu đƣợc đặc trƣng bởi sự phõn bổ khụng gian của những mức cƣờng độ trong một khu vực lõn cận với nhau. Kết cấu gồm cỏc kết cấu gốc hay nhiều kết cấu gộp lại đụi khi gọi là texel. Cú một số phƣơng phỏp dụng để trớch xuất cỏc đặc trƣng kết cấu nhƣ :
• Phƣơng phỏp hỡnh chúp • Biến đổi đƣờng viền • Biến đổi súng Gabor
• Biểu diễn ma trận đồng hiện
2.2.1.3 Đặc trƣng hỡnh dạng
Màu sắc và kết cấu là những thuộc tớnh mang tớnh toàn cục trong một ảnh. Trong khi đú, hỡnh dạng khụng phải là một thuộc tớnh của ảnh. Núi tới hỡnh dạng của hỡnh ảnh là chỉ đến một khu vực đặc biệt trong ảnh, hay hỡnh dạng chỉ là biờn của một đối tƣợng nào đú trong ảnh.
Trong tra cứu ảnh theo nội dung, hỡnh dạng là một cấp cao hơn so với màu sắc và kết cấu. Nú đũi hỏi sự phõn biệt giữa cỏc vựng để tiến hành xử lý về độ đo của hỡnh dạng. Cỏc hệ thống tra cứu ảnh theo nội dung thƣờng khai thỏc hai nhúm biểu diễn hỡnh dạng sau :
• Biểu diễn hỡnh dạng theo đƣờng biờn (cotour-based descriptor): Biểu diễn cỏc đƣờng biờn bao bờn ngoài.
• Biểu diễn theo vựng (region-based descriptor): Biểu diễn một vựng toàn vẹn.
Độ đo về hỡnh dạng rất nhiều trong phạm vi lý thuyết của bộ mụn xử lý ảnh. Chỳng trải rộng từ những độ đo toàn cục dạng thụ với sự trợ giỳp của việc nhận dạng đối tƣợng, cho tới những độ đo chi tiết tự động tỡm kiếm những hỡnh dạng đặc biệt. Lƣợc đồ hỡnh dạng là một vớ dụ của độ đo đơn giản. Kỹ thuật dựng đƣờng biờn hiệu quả hơn phƣơng phỏp trƣớc, chỳng tỡm kiếm những hỡnh dạng đối tƣợng gần giống với đƣờng biờn nhất. Phƣơng phỏp vẽ phỏc họa là phƣơng phỏp cú nhiều đặc trƣng rừ ràng hơn, khụng chỉ tỡm kiếm những đƣờng biờn đối tƣợng đơn, mà cũn đối với tập những đối tƣợng đó đƣợc phõn đoạn trong một ảnh mà ngƣời dựng vẽ hay cung cấp.
2.2.1.4 Đặc trƣng cục bộ bất biến
Ngƣời ta thƣờng chia đặc trƣng cụ bộ thành 2 loại là những điểm trớch xuất đƣợc từ ―điểm nhụ ra" (salient points) của ảnh và đặc trƣng SIFT đƣợc trớch chọn từ cỏc điểm hấp dẫn Haris (interest points). Trong phần này, chỳng ta sẽ trỡnh bày chi tiết về việc trớch chọn cỏc đặc trƣng cục bộ bất biến (Scale Invariant Feature Transform) của ảnh[3].
Cỏc đặc trƣng này bất biến với việc thay đổi tỉ lệ ảnh, quay ảnh, đụi khi là thay đổi điểm nhỡn và thờm nhiễu ảnh hay thay đổi cƣờng độ chiếu sỏng của ảnh. Phƣơng phỏp đƣợc lựa chọn cú tờn là Scale-Invariant Feature Transform và đặc trƣng trớch rỳt
đựợc gọi là đặc trƣng SIFT (SIFT Feature). Cỏc đặc trƣng SIFT này đƣợc trớch rỳt ra từ cỏc điểm hấp dẫn cục bộ (Local Interest Point)
Phƣơng phỏp trớch chọn cỏc đặc trƣng bất biến SIFT đƣợc tiếp cận theo phƣơng phỏp thỏc lọc, theo đú phƣơng phỏp đƣợc thực hiện lần lƣợt theo cỏc bƣớc sau[3]:
• Phỏt hiện cỏc điểm cực trị Scale-Space (Scale-Space extrema detection): Bƣớc đầu tiờn này tiến hành tỡm kiếm cỏc điểm hấp dẫn trờn tất cả cỏc tỉ lệ và vị trớ của ảnh. Nú sử dụng hàm different-of-Gaussian để xỏc định tất cả cỏc điểm hấp dẫn tiềm năng mà bất biến với quy mụ và hƣớng của ảnh. • Định vị cỏc điểm hấp dẫn (keypoint localization): Một hàm kiểm tra sẽ
đƣợc đƣa ra để quyết định xem cỏc điểm hấp dẫn tiềm năng cú đƣợc lựa chọn hay khụng?
• Xỏc định hƣớng cho cỏc điểm hấp dẫn (Orientation assignment): Xỏc định hƣớng cho cỏc điểm hấp dẫn đƣợc chọn
• Mụ tả cỏc điểm hấp dẫn (Keypoint descriptor): Cỏc điểm hấp dẫn sau khi đƣợc xỏc định hƣớng sẽ đƣợc mụ tả dƣới dạng cỏc vector đặc trƣng nhiều chiều.
Phỏt hiện điểm cực trị Scale-space
Cỏc điểm hấp dẫn với đặc trƣng SIFT tƣơng thớch với cỏc cực trị địa phƣơng của bộ lọc difference-of-Gaussian (DoG) ở cỏc tỉ lệ khỏc nhau. Định nghĩa khụng gian tỉ lệ của một hỡnh ảnh là hàm L(x,y,kσ) đƣợc mụ tả nhƣ sau:
L(x,y,σ) = G(x,y,kσ)*I(x,y) (2.28)
Với : G(x,y,kσ) : biến tỉ lệ Gaussian (variable scale Gaussian) I(x,y): Ảnh đầu vào
* là phộp nhõn chập giữa x và y
Và : G(x,y,σ) = (2.29)
Để phỏt hiện đƣợc cỏc điểm hấp dẫn, ta đi tỡm cỏc cực trị của hàm DoG đƣợc định nghĩa:
D(x,y,σ) = (G(x,y,kσ) - G(x,y,σ))*I(x,y) (2.30)
Giỏ trị hàm DoG đƣợc tớnh xấp xỉ dựa vào giỏ trị Scale-normalized Laplacian of Gaussian ( ) thụng qua cỏc phƣơng trỡnh (2.28),(2.29),(2.31)
(2.32)
(2.33)
G(x,y,kσ) - G(x,y,σ) (7) (2.34)
Nhƣ vậy, bƣớc đầu tiờn của giải thuật SIFT phỏt hiện cỏc điểm hấp dẫn với bộ lọc Gaussian ở cỏc tỉ lệ khỏc nhau và cỏc ảnh GoG từ sự khỏc nhau của cỏc ảnh kề mờ.
Hỡnh 2.9: Biểu đồ mụ phỏng việc tớnh toỏn cỏc DoG ảnh từ cỏc ảnh kề mờ
Cỏc ảnh cuộn đƣợc nhúm thành cỏc octave (mỗi octave tƣơng ứng với giỏ trị gấp đụi của ). Giỏ trị của k đƣợc chọn sao cho số lƣợng ảnh đó làm mờ (blured images) cho mỗi octave là cố định. Điều này đảm bảo cho số lƣợng cỏc ảnh DoG cho mỗi octave khụng thay đổi.
Cỏc điểm hấp dẫn đƣợc xỏc định là cỏc cực đại hoặc cực tiểu của cỏc ảnh DoG qua cỏc tỉ lệ. Mỗi điểm ảnh trong DoG đƣợc so sỏnh với 8 điểm ảnh lỏng giềng của nú ở cựng tỉ lệ đú và 9 lỏng giềng kề ở cỏc tỉ lệ ngay trƣớc và sau nú. Nếu điểm ảnh đú đạt giỏ trị cực tiểu hoặc cực đại thỡ sẽ đƣợc chọn làm cỏc điểm hấp dẫn phự hợp
.
Hỡnh 2.10: Mỗi điểm ảnh đƣợc so sỏnh với 26 lỏng giềng của nú.
Định vị điểm hấp dẫn
Mỗi điểm hấp dẫn sau khi đƣợc chọn sẽ đƣợc đỏnh giỏ xem cú đƣợc giữ lại hay khụng:
• Loại bỏ cỏc điểm hấp dẫn cú độ tƣơng phản thấp
• Một số điểm hấp dẫn dọc theo cỏc cạnh khụng giữ đƣợc tớnh ổn định khi ảnh bị nhiễu cũng bị loại bỏ. Cỏc điểm hấp dẫn cũn lại sẽ đƣợc xỏc định hƣớng.
Xỏc định hƣớng cho điểm hấp dẫn
Để xỏc định hƣớng cho cỏc điểm hấp dẫn, ngƣời ta tớnh toỏn biểu đồ hƣớng Gradient trong vựng lỏng giềng của điểm hấp dẫn. Độ lớn và hƣớng của cỏc điểm hấp dẫn đƣợc xỏc định theo cụng thức:
m(x,y) = (2.35)
(2.36)
Biểu diễn vector cho điểm hấp dẫn
Điểm hấp dẫn sau khi đƣợc xỏc định hƣớng sẽ đƣợc biểu diễn dƣới dạng cỏc vector 4x4x8=128 chiều.
Hỡnh 2.12: Biểu diễn cỏc vector đặc trƣng
Đo độ tƣơng đồng cho đặc trƣng cục bộ bất biến
Một số độ đo tƣơng đồng cho ảnh sử dụng đặc trƣng SIFT nhƣ : • Độ đo Cosin:
d(x,y) = (2.37)
• Khoảng cỏch gúc:
• Độ đo Euclide:
d(x,y) = (2.39)
• Độ đo Jensen-Shannon divergence:
dJSD(H,H’) = (2.40)
Với H, H’ là 2 biểu đồ biểu dễn cỏc vector đặc trƣng SIFT
Lựa chọn đặc trƣng
Sau khi trớch chọn đƣợc cỏc đặc trƣng nội dung của ảnh, tập cỏc đặc trƣng cú thể đƣợc tối ƣu húa bằng cỏc phƣơng phỏp lựa chọn đặc trƣng để tăng chất lƣợng và hiệu quả khi sử dụng cỏc tập đặc trƣng.
Một cỏch tổng quỏt, lựa chọn đặc trƣng là phƣơng phỏp giảm thiểu cỏc đặc trƣng nhằm chọn ra một tập con cỏc đặc trƣng phự hợp trong học mỏy để xõy dựng mụ hỡnh học tốt nhất. Mục đớch của lựa chọn đặc trƣng là tỡm ra khụng gian con cỏc đặc trƣng tối ƣu sao cho cỏc tập ảnh ―thớch hợp‖ và ―khụng thớch hợp‖ đƣợc tỏch biệt nhất.
Cú nhiều phƣơng phỏp lựa chọn đặc trƣng đƣợc đề xuất nhƣ: phƣơng phỏp tăng khuếch đại (boosting manner) kết hợp với nền tảng Real Adaboost của Wei Jian và Guihua Er. Mingjing Li đƣa ra tiờu chớ lựa chọn cỏc đặc trƣng là: Mụ hỡnh tƣơng phản đặc trƣng đƣợc tổng quỏt húa (Generalized Feature Contrast Model) dựa trờn mụ hỡnh tƣơng phản đặc trƣng (Feature Contrast Model). Một số phƣơng phỏp cổ điển khỏc nhƣ phƣơng phỏp dựa vào phõn phối (distribution based). Phƣơng phỏp dựa vào phõn tớch biệt thức (Discriminant analysis DA) vớ dụ nhƣ phõn tớch đa biệt thức (Mutiple Discriminant analysis MDA), phõn tớch biệt thức khụng đối xứng (biased Discriminant analysis BDA). Phƣơng phỏp tối đa khoảng cỏch tối thiểu đối xứng trong khụng gian con (symmetric maximized minimal distance in subspace SMMS)…
Cú nhiều phƣơng phỏp để đỏnh giỏ kết quả của tập con cỏc đặc trƣng. Vỡ vậy, kết quả đối với những mụ hỡnh lựa chọn đặc trƣng khỏc nhau là khỏc nhau. Hai mụ hỡnh phổ biến cho lựa chọn đặc trƣng là: Mụ hỡnh Filter và mụ hỡnh Wrapper[4].
• Mụ hỡnh Filter: đỏnh giỏ mỗi phần tử bằng một vài tiờu chuẩn hay độ đo nào đú, rồi chọn ra tập con cỏc thuộc tớnh đƣợc đỏnh giỏ cao nhất.
• Mụ hỡnh Wrapper: Sử dụng một thuật toỏn tỡm kiếm để đỏnh giỏ tập con cỏc thuộc tớnh coi nhƣ là một nhúm hơn là một phần tử riờng lẻ. Cốt lừi của mụ hỡnh Wrapper là một thuật toỏn học mỏy cụ thể. Nú đỏnh giỏ độ tốt của những tập con đặc trƣng tựy theo độ chớnh xỏc học của tập con, điều này xỏc định thụng qua một tiờu chớ nào đú.
2.2.2 Ứng dụng kĩ thuật trớch chọn đặc trƣng trong khảm ảnh
Khỏc với kĩ thuật đan đa phõn giải là ứng dụng để khảm ảnh toàn cảnh, kĩ thuật trớch chọn đặc trƣng ảnh đƣợc ứng dụng để khảm ảnh nhiều lớp. Việc cần làm đối với ảnh khảm nhiều lớp đú là sử dụng cỏc lƣới để chia ảnh nguồn ra nhiều phần bằng nhau và mỗi phần này chớnh là kớch thƣớc của cỏc tập ảnh mẫu. Tuy nhiờn khụng phải lỳc nào cũng nhƣ vậy. Đối với một số kĩ thuật nõng cao thỡ cỏc lƣới này sẽ cú dạng tựy ý dựa vào kết cấu của ảnh nguồn. Vớ dụ nhƣ ảnh 1.21 ảnh quảng cỏo của hóng IKA. Ảnh đƣợc tạo thành từ nhiều mẫu cú kớch thƣớc khỏc nhau. Với những ảnh kiểu này đũi hỏi kĩ thuật rất cao. Hiện giờ đa số cỏc phần mềm khảm ảnh đều chia ảnh bởi cỏc lƣới đều nhau là cỏc hỡnh vuụng hoặc chữ nhật.
Quy trỡnh khảm ảnh gồm cỏc bƣớc sau:
Bước 1: Chuẩn bị ảnh nguồn (nờn chỉnh lại cỡ ảnh sao cho kớch thƣớc nú là bội số của kớch thƣớc cỏc tập ảnh mẫu) và tập ảnh mẫu (tập ảnh mẫu này đƣợc lƣu cựng một thƣ mục)
Bước 2: Chia ảnh nguồn bằng cỏc lƣới, cỏc lƣới này là cỏc lƣới cú mắt hỡnh vuụng hoặc chữ nhật, và lƣới này là bội số của cỏc mẫu. Lƣới cú kớch thƣớc càng nhỏ thỡ ảnh khảm càng cú chất lƣợng tốt.
Bước 3: Duyệt từng vựng (cỏc mắt lƣới) của ảnh nguồn. Sử dụng kĩ thuật trớch chọn đặc trƣng để so sỏnh từng vựng đú với tất cả cỏc ảnh trong tập ảnh mẫu để tỡm ra ảnh mẫu phự hợp nhất (cú màu sắc tƣơng ứng, kết cấu tƣơng ứng …). Gỏn ảnh mẫu phự hợp vào vị trớ của vựng tƣơng ứng.
Vỡ khảm ảnh nhiều lớp đƣợc ghộp từ nhiều ảnh cú nội dung khỏc nhau. Nờn khụng giống nhƣ ảnh khảm toàn cảnh, nú khụng cần phải làm mịn đƣờng biờn và cõn bằng màu sắc, độ tƣơng phản,… nờn cú thể núi ở bƣớc này khảm ảnh nhiều lớp nhàn hơn một chỳt.
CHƢƠNG 3: CHƢƠNG TRèNH THỬ NGHIỆM 3.1 Bài toỏn
Chƣơng trỡnh khảm ảnh đƣợc xõy dựng để minh họa cho phƣơng phỏp khảm ảnh nhiều lớp dựa trờn việc trớch chọn đặc trƣng của ảnh số.
• Đầu vào : Một ảnh lớn và một tập ảnh nhỏ dựng làm mẫu.
• Đầu ra: Ảnh lớn đƣợc ghộp từ nhiều ảnh nhỏ trong tập ảnh mẫu đú sao cho nhỡn một cỏch khỏi quỏt thỡ vẫn cú thể thấy đƣợc nội dung của bức ảnh lớn.
3.2 Phõn tớch, thiết kế
Hoạt động của chƣơng trỡnh :
Bước 1: Đƣa vào chƣơng trỡnh một ảnh lớn định dạng jpg, và một tập cỏc ảnh nhỏ