Lược đồ gồm 73 phần tử trong đó:72 phần tử đầu chứa số điểm ảnh có hệ số gốc từ 0 – 355 độ, các hệ số góc này cách nhau 5 độ. Phần tử cuối chứa số phần tử không nằm trên biên cạnh .Cần chuẩn hóa các đặc trưng này để thích hợp với kích thước khác nhau của ảnh:
H (ID,i) = , i 0, ,…,
H (72) =
- m(ID,i) là số điểm ảnh thuộc biên cạnh có hệ số gốc là αi=i*5 - nE(ID) là tổng số các điểm ảnh thuộc biên cạnh
- n(ID) là tổng số điểm ảnh của ảnh ID
Hình 2.1.2.1a Ví dụ minh hoạ về lược đồ hệ số góc của ảnh
Hình 2.1.2.1b Ảnh minh họa lược đồ hệ số góc. Đường biên của ảnh
Hình 2.1.2.1c Lược đồ hệ số góc của ảnh
*./ Độ đo dùng cho lược đồ hệ số góc Độ đo khoảng cách min-max
- Với độ đo min:
dE(IQ,ID) = ∑
- Với độ đo max ta tính dựa vào giá trị max tại mỗi N bin
dE(IQ,ID) = ∑
Độ đo khoảng cách L1:
dE(IQ,ID) = ∑
Để tìm kiếm một ảnh mà ta quan tâm nhiều đến khía cạnh hình dáng của các đối tượng trong ảnh thì nên sử dụng các đặc trưng về hình dáng. Đặc trưng cơ bản nhất về hình dáng là lược đồ hệ số góc. Đây là đặc trưng chỉ thể hiện được hình dáng chung của các đối tượng trong ảnh.
Ví dụ tìm kiếm theo đặc trưng lược đồ hệ số góc:
Hình 2.1.2.1d minh hoạ 2 ảnh có lược đồ hệ số góc giống nhau
2.1.2.2. Vector liên kết hệ số góc (Edge Direction Coherence Vector):
Là lược đồ tinh chế lược đồ hệ số góc, chia mỗi ô chứa (bin) thành 2 nhóm điểm ảnh: Nhóm điểm liên kết hệ số góc (coherent pixels) và nhóm điểm không liên kết hệ số góc (non-coherence pixels). Một pixel trong một ô chứa (bin) được gọi là điểm liên kết hệ số góc (coherent) nếu nó thụôc vùng gồm các điểm thuộc cạnh có hệ số góc tương tự với kích thướt lớn (thường vào khoảng 0.1% kích thước ảnh).
Với mỗi ô chứa (bin) giả sử số điêm liên kết hệ số góc là α và số điểm không liên kết hệ số góc là β thì vector liên kết hệ số góc được xác định :
VE=[(α1,β1),(α2,β2),..,(αn,βn)], n là số ô màu (bin)
Độ đo tính tương tự giữa 2 ảnh dựa trên đặc trưng vector liên kết hệ số góc:
*./ Độ đo dùng cho vector liên kết hệ số góc Độ đo khoảng cách min-max
dE(IQ,ID) = ∑ - Với độ đo max ta tính dựa vào giá trị max tại mỗi N bin
dE(IQ,ID) = ∑
Độ đo khoảng cách L1:
Đây là các tính khoảng cách euclide thông thường
( ) ∑
Ta thấy :
- Chỉ cần dùng 145 đặc trưng cho mỗi ảnh (72 x2 +1)
- Ảnh thành phố có khuynh hướng tạo các điểm liên kết hệ số góc theo hướng ngang dọc
- Ảnh thiên nhiên có khuynh hướng ít tạo các điểm liên kết hệ số góc theo hướng ngang dọc .
Vì vậy nó là đặc trưng có ưu điểm hơn lược đồ hệ số góc đối với việc phân lớp ảnh thiên nhiên và thành phố . Do đó khi truy vấn cảnh thành phố người sử dụng nên chọn đặc trưng lược đồ hệ số góc hay vector liên kết hệ số góc. Ví dụ minh họa ảnh và lược đồ vector liên kết hệ số góc
Hình 2.1.2.2a Ảnh minh họa vector liên kết hệ số góc
Hình 2.1.2.2b Ảnh minh họa sự liên kết giữa các biên cạnh ( Màu đỏ là thể hiện những điểm liên kết với nhau)
Hình 2.1.2.2c Lược đồ vector liên kết hệ số góc của ảnh
Với việc sử dụng đặc trưng vectơ liên kết hệ số góc thay cho lược đồ hệ số góc giúp cho ta có thể gải quyết được trường hợp 2 ảnh có lược đồ hệ số góc giống nhau nhưng lại khác nhau nhiều về ngữ nghĩa.
Ví dụ minh họa tìm kiếm theo vectơ liên kết hệ số góc giải quyết trường hợp mà lược đồ hệ số góc mắc phải. Hai ảnh có lược đồ hệ số góc giống nhau 86% nhưng có vector liên kết hệ số góc khác nhau:
Hình 2.1.2.2e minh họa 2 ảnh có vector liên kết hệ số góc khác nhau
2.2. MỘT SỐ KỸ THUẬT TRUY VẤN ẢNH 2.1.1 Truy vấn theo màu sắc
2.1.1.1. Truy vấn theo lược đồ màu (histogram)
Lược đồ màu thể hiện màu sắc của ảnh. Màu sắc là thông tin gần gũi với con người nhất. Do đó, việc truy vấn theo lược đồ màu sẽ thân thiện với người dùng hơn. Dựa vào lược đồ màu có thể giúp cho người dùng truy vấn những tấm ảnh có sự giống nhau về màu sắc.
Độ đo tính tương tự về màu sắc giữa lược đồ màu của ảnh truy vấn H(IQ)và lược đồ màu của ảnh trong cơ sở dữ liệu ảnh H(ID):
DH(I Q ,I D)= ∑ ( ) ∑ Trong đó: M: tổng số bin màu. Ưu điểm:
Lược đồ màu bất biến đối với phép biến đổi như co, quay, tịnh tiến…
Có thể 2 ảnh khác nhau về ngữ nghĩa nhưng có lược đồ màu giống nhau.
2.1.1.2. Truy vấn theo vector liên kết màu :
Cũng giống như lược đồ màu đặc trưng vector liên kết màu cũng thể hiện màu sắc của ảnh. Nó thể hiện rõ ràng mật độ phân bố những màu trong ảnh. Với 2 ảnh có thể rất giống nhau về lược đồ màu nhưng do khác nhau về sự phân bố màu sắc, nên trong quá trình truy vấn theo lược đồ màu có thể cho ra nhiều ảnh “dư thừa”. Nếu trong quá trình truy vấn trên ta sử dụng vector liên kết màu thì có thể khắc phục được tình trạng trên.
Với mỗi ô màu (bin) giả sử số điểm liên kết màu là α và số điểm không liên kết màu là β thì vector liên kết màu được xác định:
Vc=[(α1,β1), (α2,β2), …,(αn,βn)], n là số ô màu (bin)
Độ đo tính tương tự giữa 2 ảnh dựa trên đặc trưng vector liên kết màu: ( ) ∑
2.1.1.3. Truy vấn theo đặc trưng tương quan màu (Correlogram)
Cũng giống như vector liên kết màu, đặc trưng tương quan màu cũng thể hiện sự phân bố màu sắc của ảnh. Nó thể hiện rõ ràng mật độ phân bố màu trong ảnh hơn. Đặc trưng này cũng nhằm giúp giải quyết việc dư thừa trong truy vấn ảnh, giúp truy vấn những ảnh có ngữ nghĩa gần với ảnh truy vấn hơn nhờ các tính chất sau:
Bao gồm các thông tin về sự tương quan về mặt không gian giữa các màu. Có thể được dùng để mô tả sự phân bố toàn cục của mối quan hệ không gian cục bộ giữa các màu. Kích thước của véctơ đặc trưng có dung lượng lưu trữ nhỏ.
Độ đo tính tương tự về màu sắc giữa đặc trưng tương quan màu của ảnh truy vấn IQ và ảnh trong cơ sở dữ liệu ảnh ID:
∑ ∑
N: là tổng số bin màu.
2.1.2 Truy vấn theo hình thái :
2.1.2.1. Truy vấn theo lược đồ hệ số góc (Edge Direction Histogram)
Đây cũng là đặc trưng quan trọng của ảnh. Nó thể hiện về hình dáng của ảnh. Đối với các ảnh muốn truy vấn theo hình dáng thì đặc trưng về màu sắc không thể giải quyết được. Vì vậy trong các hệ truy vấn dựa vào nội dung của ảnh không thể thiếu đặc trưng này.
Độ đo tính tương tự về đặc trưng lược đồ hệ số góc của ảnh truy vấn IQ và ảnh ID trong cơ sở dữ liệu là:
∑
Trong đó: n: 73 phần tử
2.1.2.2. Truy vấn theo vector liên kết hệ số góc :
Cũng như đặc trưng lược đồ hệ số góc, vectơ liên kết hệ số góc là đặc trưng về hình dáng của ảnh. Nó thể hiện rõ ràng hơn về hình dáng của ảnh: thể hiện mối liên kết chặt chẽ giữa các điểm biên cạnh (các điểm biên cạnh có cùng góc độ), cũng như là những điểm không phải là biên cạnh. Vectơ liên kết hệ số góc còn có thể khắc phục được khuyết điểm của lược đồ hệ số góc đó là: 2 ảnh có lược đồ hệ số góc giống nhau nhưng khác nhau về ngữ nghĩa. Việc truy vấn theo đặc trưng vector liên kết hệ số góc giúp cho kết quả chính xác hơn, ảnh tìm được mang ngữ nghĩa gần ảnh truy vấn hơn.
Với mỗi ô chứa (bin) giả sử số điểm liên kết hệ số góc là α và số điểm không liên kết hệ số góc là β thì vectơ liên kết hệ số góc được xác định: VE=[(α1,β1),(α2,β2),..,(αn,βn)], n là số bin
Độ đo tính tương tự giữa 2 ảnh dựa trên đặc trưng vectơ liên kết hệ số góc:
( ) ∑
Việc chọn đặc trưng vectơ liên kết hệ số góc cho việc truy vấn, giúp ta có thể phân biệt ảnh thiên nhiên và ảnh thành phố. Ảnh thành phố có khuynh hướng tạo các điểm liên kết hệ số góc theo hướng ngang dọc. Ảnh thiên nhiên có khuynh hướng ít tạo các điểm liên kết hệ số góc theo hướng ngang dọc. Vì vậy nó là đặc trưng có ưu điểm hơn lược đồ hệ số góc đối với việc phân lớp ảnh thiên nhiên và thành phố
2.1.3. Truy vấn kết hợp
Thông thường truy vấn theo từng đặc trưng có thể cho ra kết quả khá nhiều, xuất hiện những tấm ảnh không cần thiết nên để nâng cao hiệu quả của việc truy vấn, làm cho việc truy vấn được chính xác hơn thì chúng ta nên kết hợp các đặc trưng lại với nhau. Giả sử khi ta muốn truy vấn “một ngừơi mặc áo màu vàng và dáng đứng thẳng thì ta có thể kết hợp 2 đặc trưng màu và lược đồ hệ số góc lại với nhau thì sẽ loại bỏ đi những tấm ảnh có người đó mà không có dáng đứng thẳng”.
Có 2 cách truy vấn kết hợp: truy vấn kết hợp các đặc trưng với nhau dùng toán tử BOOL; truy vấn kết hợp các đặc trưng với nhau dùng trọng số.
2.1.3.1 Truy vấn kết hợp các đặc trưng với nhau dùng toán tử BOOL :
Đây là truy vấn kết hợp các đặc trưng lại với nhau dùng toán tử BOOL. Ví dụ tìm những ảnh có người mặc áo màu vàng và dáng đứng thẳng dùng toán tử AND nghĩa là: tìm những tấm ảnh sao cho vừa thoả đặc trưng về màu sắc vừa thoả đặc trưng về hình dáng cần tìm.
Hình 2.1.3.1 minh họa 2 ảnh giống nhau về lược đồmàu và lược đồ hệ số góc
Nhận xét: Cách truy vấn này có thể cho ra kết quả rỗng, nghĩa là không có ảnh nào trong cơ sở dữ liệu thoả yêu cầu truy vấn. Nhưng nếu tồn tại ảnh thì phương pháp này cho ra kết quả chính xác hơn.
2.1.3.2 Truy vấn kết hợp các đặc trưng với nhau dùng trọng số :
Đây cũng là phương pháp truy vấn kết hợp các đặc trưng lại với nhau nhưng khác trên là ở đây ta dùng trọng số. Trọng số ở đây được hiểu là mức độ ưu tiên của các đặc trưng cần truy vấn. Ví dụ người dùng cần truy vấn những tấm ảnh có người mặc áo màu vàng và có dáng đứng thẳng thì người dùng có thể kết hợp 2 đặc trưng lược đồ màu (Histogram) và lược đồ hệ số góc (Edge Direction Histogram) lại với nhau. Nhưng ở đây khác với việc kết hợp dùng toán tử BOOL là người dùng muốn ưu tiên cho lược đồ màu hơn thì người dùng có thể chọn độ ưu tiên cho lược đồ màu là 70% còn lược đồ hệ số góc chỉ có 30% thôi. Khi đó việc truy vấn sẽ trả ra kết quả thoả mản yêu cầu truy vấn.
Công thức tính độ đo giữa 2 ảnh:
d ( I Q , I D ) = w1 d1 ( I Q , I D ) + w2 d 2 ( I Q , I D ) + ... + wn d n ( I Q , I D )
Trong đó:
- w1,w2,…,wn là trọng số các đặc trưng tương ứng. w1 + w2 + … + wn=1.
- d1,d2,…,dn: là khoảng cách giữa 2 ảnh về đặc trưng i nào đó i [1,..,n].
trọng số này luôn trả ra kết quả cho người dùng. Việc truy vấn này giúp cho chúng ta có thể sắp hạng tập kết quả dễ dàng, cũng như giúp cho người dùng có thể xem tập kết quả nhanh chóng và hiệu quả hơn.
Chương 3: CHƯƠNG TRÌNH THỬ NGHIỆM
3.1. BÀI TOÁN
Các vấn đề mà đề tài tập trung giải quyết:
Xây dựng hệ thống truy vấn ảnh theo các đặc trưng sau:
Lược đồ màu (Histogram);
Vector liên kết màu (Color Coherence Vector);
Lược đồ hệ số góc (Edge Direction Histogram);
Vector liên kết hệ số góc (Edge Direction Coherence Vector);
Tương quan màu (Correlogram);
Theo toán tử BOOL.
3.2. PHÂN TÍCH, THIẾT KẾ CHƯƠNG TRÌNH
Khi người dùng có nhu cầu truy vấn những tấm ảnh có sự giống nhau về đặc trưng nào đó trong tòan tấm ảnh so với ảnh truy vấn thì người dùng có thể chọn chức năng truy vấn dựa vào sự phân bố tòan cục. Đây cũng là nền tảng cho các truy vấn cấp cao hơn về sau.
3.2.1 Các đặc trưng sử dụng cho chương trình 3.2.1.1 Đặc trưng lược đồ màu 3.2.1.1 Đặc trưng lược đồ màu
Màu sắc là thông tin gần gũi, trực quan với con người nhất. Qua đặc trưng màu sắc, có thể lọc được rất nhiều lớp ảnh thông qua vị trí, không gian, định lượng của màu trong ảnh. Ví dụ hai ảnh có lược đồ màu giống nhau:
Hình 3.2.1.1 minh họa 2 ảnh có lược đồ màu giống nhau 89%
3.2.1.2 Đặc trưng vector liên kết màu (Color CoherenceVector)
Cũng như đặc trưng lược đồ màu, đặc trưng vector liên kết màu là thông tin quan trọng trong ảnh. Nó thể hiện rõ ràng mật độ phân bố màu trong ảnh. Với 2 ảnh có thể rất giống nhau về lược đồ màu nhưng do khác nhau về sự phân bố màu sắc, nên trong quá trình tìm kiếm theo lược đồ màu có thể cho ra nhiều ảnh
“dư thừa”, khác nhau về ngữ nghĩa. Nếu trong quá trình tìm kiếm trên ta sử dụng vector liên kết màu thì sẽ khắc phục được tình trạng trên. Ví dụ hai ảnh có lược đồ vector liên kết màu giống nhau:
Hình 3.2.1.2 minh họa 2 ảnh có vector liên kết màu giống nhau 75%
3.2.1.3 Đặc trưng tự tương quan màu (AutoCorrelogram)
Đây cũng là đặc trưng cấp cao của ảnh. Nó thể hiện tính phân bố cục bộ về màu. Cũng giống như đặc trưng vector liên kết màu, đặc trưng này giúp ta có thể phân biệt được những ảnh có thể rất giống nhau về lược đồ màu khác nhau về ngữ nghĩa.Ví dụ hai ảnh có đặc trưng correlogram giống nhau:
Hình 3.2.1.3:minh họa 2 ảnh có đặc trưng Correlogram giống nhau 75%
3.2.1.4 Đặc trưng lược đồ hệ số góc (Edge DirectionHistogram)
Đây là cũng đặc trưng quan trọng của ảnh. Nó thể hiện về hình dáng của ảnh. Đối với các ảnh muốn tìm kiếm theo hình dáng thì đặc trưng về màu sắc không thể giải quyết được. Vì vậy trong các hệ tìm kiếm dựa vào nội dung của ảnh không thể thiếu đặc trưng này.Ví dụ hai ảnh có đặc trưng
lược đồ hệ số góc giống nhau
Hình 3.2.1.4 minh họa 2 ảnh có lược đồ hệ số góc giống nhau 88%
3.2.1.5 Đặc trưng Vector liên kết hệ số góc (Edge Direction Coherence Vector)
Cũng như đặc trưng lược đồ hệ số góc, đặc trưng vector liên kết hệ số góc là đặc trưng cấp cao của ảnh. Nó thể hiện rõ ràng hơn về hình dáng của ảnh. Ngòai ra nó còn thể hiện mối liên kết chặt chẽ giữa các điểm biên cạnh (các điểm biên cạnh có cùng góc độ), cũng như là những điểm không phải là biên cạnh.
Ví dụ hai ảnh có lược đồ vector liên kết hệ số góc giống nhau:
3.2.1.6 Giải thuật và các bước trong modun truy vấn ảnh dựa vào lược đồ màu:
Processing CBIR Using Color Histogram
Input image. Quantize RGB. Compute color histogram. Images Database. Quantize RGB. Compute color histogram. Compare color histogram.
Show candidate images(Out put image).
CBIR on color algorithm Tổng Quát :
Bước 1 : Chọn ảnh đầu vào và ngưỡng cần tìm.
Bước 2 : Kiểm tra tính hợp lệ của ảnh đầu vào, Kiểm tra tính hợp lệ của giá trị ngưỡng cần tìm. Nếu một trong hai điều kiện trên không thỏa mãn, quay lại bước 1.
Input Image(IM) + threshold per(TP)
(Chọn ảnh đầu vào IM và ngưỡng cần tìm) Check - Jpg, Gif, Bmp. (Kiểm tra tính hợp lệ của ảnh.) - Kiểm tra tính hợp lệ của giá trị ngưỡng cần No Yes RGBHistogramdata RGBImage = IM.ProcessBitmap
(Lấy thông tin đặc trưng của ảnh theo lượt đồ màu - RGBImage)
Function string laychuoianhhople() {
Int tylegiong;
String TenAnhHopLe;
For(String Imagefile in FolderImagesData) {
TyLeGiong =
Math.Round(bitmapcp.GetSimilarity(RGBImage,
new Bitmap(Imagefile)), 3);