lựa chọn đặc trưng lbp dựa trên quá trình học không giám sát và phương pháp biểu diễn thưa

Lựa chọn đặc trưng LBP Dựa trình học không giám sát Phương pháp biểu diễn thưa Ứng dụng cho toán nhận dạng ảnh kết cấu màu Trương Hồng Vinh 2019 Mục lục Danh sách hình vẽ Tóm tắt Tổng quan sở lý thuyết đề tài 1.1 Biểu diễn ảnh màu 1.1.1 Hệ màu 1.1.2 Ảnh vân màu 1.1.3 Đặc trưng cho texture màu 1.1.4 Toán tử Local binary patterns 1.2 Phân loại ảnh texture 1.2.1 Ngữ cảnh học 1.2.2 Rút gọn liệu 1.2.3 Bộ phân lớp K-láng giếng gần 1.3 Kết luận (K-NN) 3 11 12 13 14 14 Lựa chọn đặc trưng 2.1 Phân nhóm phương pháp lựa chọn đặc trưng 2.1.1 Ngữ cảnh học 2.1.2 Kỹ thuật đánh giá 2.2 Ký hiệu biểu diễn liệu 2.2.1 Biểu diễn liệu dạng đồ thị 2.2.2 Xây dựng đồ thị dựa phương pháp biểu diễn thưa 2.3 Lựa chọn đặc trưng LBP 2.4 Kết luận 16 16 18 19 19 20 21 22 24 Đề xuất Kết 3.1 Hệ số thưa cho lựa chọn histogram 3.1.1 Ngữ cảnh biểu diễn LBP histogram 3.1.2 Hệ số dựa biểu diễn thưa 3.2 Kết thực nghiệm 3.2.1 Phương pháp đánh giá 3.2.2 Các ảnh màu chuẩn 3.2.3 Kết 3.3 Kết luận 25 25 25 26 26 26 27 29 32 Tài liệu tham khảo 47 Danh sách hình vẽ 1.1 1.2 1.3 1.4 1.5 1.6 1.7 Minh họa ảnh màu không gian màu RGB kênh màu tương ứng Minh họa biểu diễn màu sắc hệ màu khác Minh họa texture khác Minh họa điều kiện quan sát khác texture Minh họa phương pháp tính mã LBP Điểm ảnh trung tâm với kích thước khác Minh họa tính tốn LBP màu dựa việc kết hợp thông tin từ kênh màu 1.8 Minh họa phương pháp tính Opponent Color LBP 1.9 Minh họa hai texture khác 1.10 Sơ đồ phân loại ảnh texture 1.11 Mơ hình phân loại texture với bước rút gọn liệu 1.12 Minh họa phân lớp K-NN 2.1 2.2 2.3 3.1 3.2 3.3 3.4 3.5 3.6 3.7 Các bước phương pháp lựa chọn đặc trưng Phân loại phương pháp lựa chọn đặc trưng theo (a) ngữ cảnh học and kỹ thuật đánh giá Sơ đồ tổng quát lựa chọn đặc trưng ngữ cảnh học có giám sát 5 10 11 12 13 13 14 14 17 (b) 18 18 Bộ liệu OuTex-TC-00013 với 69 lớp ảnh khác Minh họa số lớp liệu USPTex Minh họa số lớp liệu STex Minh họa liệu BakTex Bộ ảnh New BarkTex Độ xác số lượng histogram chọn với hệ số SpASL với độ đo Độ xác với số lượng histogram chọn liệu New BarkTex hệ số thưa ngữ cảnh lựa chọn có giám sát không giám sát hệ màu khác (RGB (a); HSV (b) ; I1 I2 I3 (c); Y Cb Cr (d)) 3.8 Độ xác với số lượng histogram chọn liệu Outex-TC000013 hệ số thưa ngữ cảnh lựa chọn có giám sát khơng giám sát hệ màu khác (RGB (a); HSV (b) ; I1 I2 I3 (c); Y Cb Cr (d)) 3.9 Độ xác với số lượng histogram chọn liệu USPTex hệ số thưa ngữ cảnh lựa chọn có giám sát khơng giám sát hệ màu khác (RGB (a); HSV (b) ; I1 I2 I3 (c); Y Cb Cr (d)) 3.10 Độ xác với số lượng histogram chọn liệu STex hệ số thưa ngữ cảnh lựa chọn có giám sát không giám sát hệ màu khác (RGB (a); HSV (b) ; I1 I2 I3 (c); Y Cb Cr (d)) 28 29 30 31 31 32 33 33 34 34 TÓM TẮT ĐỀ TÀI Dữ liệu với số chiều kích thước lớn làm giảm hiệu suất tính tốn có khả xuất biến liệu nhiễu, thừa trùng lắp Xử lý lưu trữ liệu thách thức điều cần thiết cần phải chọn rút gọn tập biến liệu có ý nghĩa để rút gọn khơng gian lưu trữ giảm độ phức tạp thời gian tính tốn hệ thống Để giải toán phân loại ảnh vân (texture classification), phương pháp lựa chọn đặc trưng có giám sát đa số dựa vào nhãn (label) để xác định biến có ý nghĩa Trong thập niên qua, có hàng trăm phương pháp mô tả biểu diễn đặc trưng ảnh khác đề xuất cho nhiều ứng dụng khác ngành thị giác máy tính Một số đó, tốn tử Local Binary Patterns (LBP) đánh giá thành công việc biểu diễn ảnh đơn giản hiệu Mặc dù áp dụng rộng rãi LBP tồn số bất lợi, việc sinh chiều liệu lớn biểu diễn ảnh màu Nhằm khắc phục hạn chế đó, đề tài đề xuất nột phương pháp rút gọn chiều liệu LBP phương pháp biểu diễn thưa dựa q trình học khơng giám sát Bằng việc sử dụng đánh giá lựa chọn đặc trưng hệ số biểu diễn thưa ngữ cảnh học không giám sát, đề tài cho thấy hiệu đề xuất thơng qua q trình thực nghiệm bốn liệu benchmark ảnh màu: New BarkTex, OuTexTC-00013, USPTex, STex Kết cho thấy độ xác việc lựa chọn đặc trưng cho histogram LBP ngữ cảnh có giám sát không giám sát Chương Tổng quan sở lý thuyết đề tài Chương cung cấp số khái niệm phân loại ảnh vân (texture classification) Mục 1.1 trình bày sơ lược vấn đề biểu diễn ảnh màu, khái niệm ảnh vân (texture), toán tử Local Binary Pattern Mục 1.2 giới thiệu phân loại ảnh texture với ngữ cảnh học phân lớp thường sử dụng cho toán phân loại texture 1.1 Biểu diễn ảnh màu Màu sắc yếu tố quan trọng hệ thị giác mắt người xử lý ảnh kỹ thuật số Màu sắc chứa đựng nhiều thông tin ảnh xám chứng minh thơng tin hình ảnh ảnh màu có ý nghĩa giúp tăng cường thông tin sai biệt cho toán nhận dạng mẫu [4, 57, 38, 37] Để biểu diễn mô tả ảnh màu, cần thiết phải có khơng gian biểu diễn vân (texture) màu sắc Mục giới thiệu số khơng gian màu phổ biến dùng phân tích ảnh, định nghĩa ảnh màu số đặc trưng dùng để biểu diễn ảnh màu 1.1.1 Hệ màu Màu sắc cảm giác mang đến cho hệ thần kinh người từ kết hợp tín hiệu ba loại tế bào cảm thụ màu mắt người Các dao động điện trường ánh sáng tác động mạnh đến tế bào cảm thụ ánh sáng mắt người Có ba loại tế bào cảm thụ ánh sáng mắt người, cảm nhận vùng quang phổ khác (tức ba màu sắc khác nhau) Sự kết hợp lúc tín hiệu từ ba loại tế bào tạo nên cảm giác màu sắc phong phú Để tạo hình ảnh màu hình, người ta sử dụng ba ánh sáng vùng quang phổ nhạy cảm người [79] Ảnh màu kỹ thuật số bao gồm ba hình ảnh thành phần màu sắc pixel mã hóa không gian màu ba chiều, xác định hệ tọa độ màu Hầu hết hình ảnh màu chụp thiết bị có mã màu khơng gian RGB Một điểm không gian đặc trưng ba thành phần pixel tương ứng màu đỏ (R), màu xanh (G) màu xanh lam (B ) Hình 1.1 minh họa ví dụ hình ảnh màu với ba thành phần tương ứng Các khơng gian màu khác tính từ không gian RGB phép biến đổi tuyến tính phi tuyến Trong vài năm qua, nhiều khơng gian màu, có đặc tính vật lý, sinh lý tâm lý khác dề xuất Chúng chia thành bốn nhóm sau [76]: Kênh màu Red Kênh màu Green ✁nh màu Kênh màu Blue Hình 1.1: Minh họa ảnh màu khơng gian màu RGB kênh màu tương ứng Không gian màu dựa lý thuyết ba màu, với giả định xem phù hợp với màu cách trộn lẫn thành phần ba màu Chúng chia thành nhóm nhỏ sau: • hệ màu thực, với hệ màu sinh tương ứng mực thực thể vật lý Ví dụ hệ màu RGB • hệ màu ảo, hệ màu không tồn mức vật lý Mỗi hệ màu tạo từ hệ RGB CIE XYZ [33] Hệ màu chuẩn hóa cách chia kênh màu tổng thành phần tương ứng kênh để thu kênh màu chuẩn hóa, ví dụ hệ màu rgb [9] xyz [33] Các không gian màu sắc độ chói bao gồm thành phần đại diện cho thông tin sắc nét (luminance), định lượng thơng tin màu sắc với độ chói (chrominance) Các hệ màu tương ứng nhóm liệt kê như: AC1 C2 [24], bw rg by [72], L∗ a∗ b∗ , L∗ u∗ v ∗ U V W [33] Các không gian màu độc lập kết phương pháp phân tích thống kê (Karhunen-Loeve Transform (KLT) or Principal Component Analysis (PCA)) nhằm tạo kênh màu tương quan nhất, ví dụ hệ màu I1 I2 I3 đề xuất Ohta [53] Các không gian màu nhận thức tạo với nỗ lực nhằm định lượng màu sắc chủ quan người yếu tố cường độ, màu sắc ∗ hab , thành phần bão hịa Một số hệ màu thuộc nhóm ACC1 C2 hC1 C2 , L∗ Cab ∗ ∗ bw Crg by hrg by , Y CIQ hIQ , Y CU V hU V , CIE L Suv huv [33] LCCh1 Ch2 hCh1 Ch2 (b) L*a*b* (a) RGB (c) I I I (d) HSV Hình 1.2: Minh họa biểu diễn màu sắc hệ màu khác Thật vậy, ảnh số màu biểu diễn nhiều hệ màu khác Dựa hệ thị giác người, không gian RGB ảnh (ảnh 1.1) phản ánh giới thực tốt so với hệ màu khác 1.1.2 Ảnh vân màu 1.1.2.1 Định nghĩa Ảnh vân (texture image) thông thường chứa đựng vật chất đối tượng biểu diễn thơng tin vân (texture) Ảnh 1.3 mô tả minh họa loại texture khác (đá, gạch, cát granit) từ liệu USPTex Texture thực yếu tố quan hệ thị giác người Hệ thống thị giác người phân biệt hiệu việc mô tả đặc điểm họa tiết tính từ mịn thô, mịn thô, dạng hạt dạng sợi, đẳng hướng không tương phản Tuy nhiên, khó để xác định texture người dễ xác định dựa hệ thị giác Cho tới thời điểm tại, chưa có định nghĩa texture công nhận chấp nhận cách thống nhất, nhiều định nghĩa đề xuất tài liệu thị giác máy tính: (a) Hình ✁nh ✂á (b) Hình ✁nh g✄ch (c) Hình ✁nh cát (d) Hình ✁nh granit Hình 1.3: Minh họa texture khác • Texture thuộc tính xuất tất bề mặt tự nhiên đóng vai trị hệ thống thị giác máy tính Texture cung cấp thơng tin tính chất vật lý vật thể, độ mịn độ nhám khác biệt độ phản xạ bề mặt, màu sắc khác [74] • Texture xem mơ hình tồn cục phát sinh từ lặp lại mẫu địa phương [86] • Một vùng ảnh có texture khơng đổi tập hợp nhóm thành phần điểm ảnh khơng đổi thay đổi chậm [86] Các định nghĩa khác texture dẫn đến nhiều cách khác để phân tích diễn giải Làm để biểu diễn hiệu mẫu texture vấn đề tảng thị giác máy tính vấn đề phụ thuộc vào điều kiện quan sát texture xem xét 1.1.2.2 Ảnh hưởng điều kiện quan sát Đặc tính texture hồn tồn phụ thuộc vào hai tham số bao gồm mức độ nhận thức điều kiện quan sát Liên quan đến mức độ nhận thức, có hai thang đo texture xác định sau: • Quan sát mức Microscopic: cho thấy cấu trúc không hỗn loạn điểm ảnh màu ảnh Hình 1.4 a tương ứng với texture mức quan sát Microscopic • Quan sát mức Macroscopic: liên quan đến khái niệm mơ hình hướng riêng biệt điểm ảnh Hình 1.4 b tương ứng với texture mức quan sát Microscopic (a) Plastic ✁ m✂c quan sát microscopic (b) Plastic ✁ m✂c quan sát macroscopic (c) Thay ✄ i h✆☎ng ch✞p c✟a plastic (d) Thay ✄ i ánh sáng c✟a plastic Hình 1.4: Minh họa điều kiện quan sát khác texture Bên cạnh mức độ nhận thức ảnh hưởng đến đặc tính texture, thơng tin texture phụ thuộc vào điều kiện quan sát ánh sáng độ xoay Ảnh 1.4b với góc xoay 90 độ ảnh 1.4d với thay đổi điều kiện ánh sáng (dùng nguồn chiếu sáng với 4000K thay ánh sáng tự nhiên) Do đó, điều kiện thu thập ảnh với mức độ khác nhaucó thể ảnh hưởng đến việc lựa chọn đặc trưng (mô tả) sử dụng để biểu diễn thông tin texture Ví dụ, texture khơng biểu diễn tốt đặc trưng mang tính thống kê, kết cấu thông thường mơ tả tốt đặc trưng mang tính hình học dựa tần số Trong phần tiếp theo, số đặc trưng phổ biến cho biểu diễn ảnh texture màu giới thiệu phân tích sơ lược 1.1.3 Đặc trưng cho texture màu Màu sắc texture hai đặc tính có liên quan đến hình ảnh, đặc điểm thường phân tích riêng Nhiều cơng trình [22, 57, 10] chứng minh tính texture kết hợp thơng tin màu sắc cải thiện phân biệt, đặc biệt xử lý texture ảnh tự nhiên quan sát điều kiện ánh sáng cố định 1.1.3.1 Sự kết hợp màu sắc texture Hai phương pháp xem xét để kết hợp màu sắc thông tin texture: xử lý thông tin màu sắc texture riêng biệt phương pháp phân tích kết hợp màu sắc texture [52, 19] Trong cách tiếp cận đầu tiên, đặc trưng texture đại diện cho phân bố không gian hình ảnh độ chói sử dụng với đặc trưng khác mô tả phân bố màu không gian màu định [58, 56, 31] Xét ký hiệu chung không gian màu 3D định (C1 , C2 , C3 ) Ngoài cách phương pháp khác để kết hợp màu sắc texture cách kết hợp phân lớp để tính tốn tương đồng vector đặc trưng texture đặc trưng màu [58] Trong cách tiếp cận thứ hai, thành phần màu điểm ảnh phân tích Nó cho phép đặc trưng phân bố không gian màu sắc Trong vài năm qua, số nghiên cứu hướng đến vấn đề đại diện chung kết cấu màu sắc ba hướng khác đề xuất: • Hướng bao gồm việc đánh giá tính texture thành phần màu hình ảnh (mối quan hệ bên thành phần) cách độc lập, mà không xem xét tương tác không gian cấp độ hai thành phần màu sắc riêng biệt Trong trường hợp này, tính kết cấu xác định cho hình ảnh độ chói áp dụng cho ba thành phần màu cách độc lập • Hướng thứ hai bao gồm việc đánh giá mức độ phân phối điểm ảnh thành phần màu không gian màu định thành phần màu khác (bên kênh) [3, 60, 48, 80, 2] • Cuối cùng, phương pháp thứ ba bao gồm phân tích tương tác không gian màu điểm ảnh, dựa việc xem xét mối quan hệ thứ tự màu xác định độ lớn giá trị điểm ảnh màu [63, 42] Các phương pháp phát triển ngữ cảnh đề tài dựa hướng thứ hai Tuy nhiên, hướng làm tăng số lượng đặc trưng, đặc biệt mối quan hệ bên kênh màu phân tích Do đó, phương pháp mà đề tài đề xuất nhằm mục đích giảm kích thước đặc trưng khắc phục nhược điểm Nhiều tính năng, ban đầu xác định để phân tích hình ảnh mức xám, mở rộng cho chiến lược kết hợp màu sắc kết cấu Chúng đề xuất phần để mô tả mơ tả kết cấu màu chính, khn khổ chung phân loại kết cấu màu, độc lập với chiến lược kết hợp màu sắc kết cấu 1.1.3.2 Đặc trưng texture màu Phân tích texture nhánh nghiên cứu quan trọng ngành thị giác máy tính, năm qua, hàng loạt đặc trưng mô tả ảnh màu đề xuất [68, 75] Các đặc trưng phân chia thành ba nhóm tiêu biểu sau: hình học, khơng gian tần số thống kê [74] • Đăc trưng hình học: Các đăc trưng có tính đến cấu trúc ảnh thường dùng để mô tả biểu diễn texture múc quan sát quan sát macroscopic Mô tả hình học texture bao gồm trích xuất số đặc trưng gốc như: góc, cạnh, điểm, đường, đường cong quy tắc vị trí cho đặc trưng gốc Zheng et al [84] đề xuất tập hợp đặc trưng hình học cụ thể cho texture ảnh thịt Tuy nhiên, loại đăc trưng không cho phép mô tả texture không thường thấy hình ảnh tự nhiên • Đặc trưng khơng gian tần số: chia thành ba miền: miền không gian, miền tần số miền tần số không gian Miền không gian liên quan đến đăc trưng nhằm đặc trưng hóa texture theo số lượng chuyển đổi đơn vị diện tích Các lọc Cumani, Laplace Sobel [40] tất ví dụ lọc sử dụng rộng rãi để phát cạnh màu Tuy nhiên, loại đăc trưng chưa áp dụng để phân loại hình ảnh texture màu Biến đổi Fourier biến đổi cosine rời rạc mang lại biểu diễn texture thay hoàn toàn dựa miền tần số Các đăc trưng phù hợp với trường hợp hình ảnh chứa texture dạng thơ, có liên tục đáng kể cấp độ thành phần màu điểm ảnh Drimbarean cộng [22] sử dụng phép biến đổi cosine mức độ xám phần mở rộng màu để mô tả texture phần thực ngiệm họ Miền tần số không gian liên quan đến đặc trưng kết hợp biểu diễn khác trình bày mục Biến đổi Gabor biến đổi wavelet sử dụng rộng rãi phân loại ảnh texture màu, chúng có hiệu để phân tích macrotextures microtextures Một số tác giả nghiên cứu việc sử dụng lọc Gabor hình ảnh màu cho thấy việc sử dụng cải thiện kết phân loại so với việc sử dụng đăc trưng độ màu xám [70] Tuy nhiên, phương pháp đưa nhược điểm: cần thiết phải cài đặt tham số cho lọc thời gian tính tốn nhiều để biểu diễn texture định • Đặc trưng thống kê sử dụng để mơ tả loại texture Một texture xác định theo mức độ màu xám biến đổi màu sắc vùng lân cận điểm ảnh Khá nhiều cácđăc trưng thống kê sử dụng để phân loại 33 0.84 Supervised Unsupervised Supervised Unsupervised 0.8 0.82 0.75 Accuracy Accuracy 0.8 0.78 0.7 0.76 0.65 0.74 0.6 Number of selected histograms (a) RGB 0.78 0.78 Accuracy Accuracy 0.8 0.8 0.76 0.74 0.72 0.72 9 Supervised Unsupervised 0.76 0.74 0.82 Supervised Unsupervised (b) HSV 0.82 Number of selected histograms Number of selected histograms Number of selected histograms (c) I1 I2 I3 (d) Y Cb Cr Hình 3.7: Độ xác với số lượng histogram chọn liệu New BarkTex hệ số thưa ngữ cảnh lựa chọn có giám sát khơng giám sát hệ màu khác (RGB (a); HSV (b) ; I1 I2 I3 (c); Y Cb Cr (d)) 0.96 0.94 0.9 0.92 0.9 Accuracy Accuracy 0.85 0.88 0.86 0.8 0.84 0.82 0.75 0.8 Supervised Unsupervised 0.78 Supervised Unsupervised 0.7 Number of selected histograms Number of selected histograms (a) RGB (b) HSV 0.9 0.9 0.85 0.85 0.8 Accuracy Accuracy 0.8 0.75 0.75 0.7 0.7 0.65 0.65 0.6 0.6 Supervised Unsupervised Number of selected histograms (c) I1 I2 I3 Supervised Unsupervised 0.55 9 Number of selected histograms (d) Y Cb Cr Hình 3.8: Độ xác với số lượng histogram chọn liệu Outex-TC-000013 hệ số thưa ngữ cảnh lựa chọn có giám sát khơng giám sát hệ màu khác (RGB (a); HSV (b) ; I1 I2 I3 (c); Y Cb Cr (d)) 34 0.96 0.95 0.94 0.9 0.92 0.85 Accuracy Accuracy 0.9 0.88 0.86 0.84 0.8 0.75 0.82 0.7 0.8 Supervised Unsupervised 0.78 Supervised Unsupervised 0.65 Number of selected histograms Number of selected histograms (a) RGB (b) HSV 0.95 Supervised Unsupervised 0.95 0.9 0.85 Accuracy Accuracy 0.9 0.8 0.75 0.85 0.7 0.8 0.65 Supervised Unsupervised 0.6 0.75 Number of selected histograms Number of selected histograms (c) I1 I2 I3 (d) Y Cb Cr 0.95 0.95 0.9 0.9 0.85 0.85 Accuracy Accuracy Hình 3.9: Độ xác với số lượng histogram chọn liệu USPTex hệ số thưa ngữ cảnh lựa chọn có giám sát khơng giám sát hệ màu khác (RGB (a); HSV (b) ; I1 I2 I3 (c); Y Cb Cr (d)) 0.8 0.75 0.8 0.75 0.7 0.7 Supervised Unsupervised Supervised Unsupervised Number of selected histograms Number of selected histograms (a) RGB (b) HSV 0.95 Supervised Unsupervised 0.9 0.9 0.85 0.85 Accuracy Accuracy 0.8 0.75 0.7 0.65 0.8 0.75 0.7 0.6 0.65 Supervised Unsupervised 0.55 0.6 Number of selected histograms (c) I1 I2 I3 9 Number of selected histograms (d) Y Cb Cr Hình 3.10: Độ xác với số lượng histogram chọn liệu STex hệ số thưa ngữ cảnh lựa chọn có giám sát khơng giám sát hệ màu khác (RGB (a); HSV (b) ; I1 I2 I3 (c); Y Cb Cr (d)) Proceedings of20181EEE International Conference on Information Communication and Signal Processing (ICSP 2018) Unsupervised LBP histogram selection for color texture classification via sparse representation Vinh Truong Hoang Ho Chi Minh City Open University 97 Vo Van Tan Street, District Ho Chi Minh City, Vietnam e-mail: vinh.th@ou.edu.vn Abstracf-In recent years, LBP and its variants have led to significant progress in applying texture methods to different applications However, this operator tends to produce high dimensional feature vectors, especially when the number of considered neighboring pixels increases or when it is applied to color images Various approaches are proposed to obtain more discriminative, robust LBP-features with reduced feature dimensionality LBP histogram selection is a method to reduce the number of histogram to characterize color image In this paper, we propose to construct sparse similarity matrix by an unsupervised way for LBP histogram selection Keyword~color LBp, texture classification, sparse representation, histogram selection, unsupervised sparse score I INTRODUCTION Data with high dimensionality decreases the performance of learning process due to the curse of dimensionality and the existence of irrelevant, redundant, and noisy features [1] Processing and stocking such amounts of high dimensional data become a challenge It is necessary to choose a small subset of the relevant features from the original ones in order to reduce the time of computing and also memory for storage of data In order to solve the class discrimination problem in color texture classification, feature selection method is applied to by using the class labels to identifY a subset of the most discriminative features In the last decade, a various discriminative and computationally efficient local and global texture descriptors have been introduced, which has led to significant progress in the analysis of color texture for many computer vision problems Among of them, the LBP operators is a good candidate for local image texture descriptor due to its low computational complexity, ease of implementation and invariance to monotonic illumination changes [2] Despite its wide applications, LBP features still have some limitations since this operator results in a high dimensional feature vector Thus, a dimensionality reduction method for LBP is needed to address this problem Various approaches are proposed to obtain more discriminative, robust LBP-features with reduced feature dimensionality We classifY the LBP-features dimensionality reduction techniques into two strategies: (1) the first one is to reduce the feature length based on some rules or the predefinition of patterns of interest (like uniform patterns) and (2) the second one exploits feature selection methods to identify the discriminative patterns with similar motivations as the beam search LBP variants [3] Smith and Windeatt apply the Fast Correlation-Based Filtering (FCBF) algorithm [4] to select the 978-1-5386-8003-2/18/$31.00 ©20 18 IEEE 79 LBP patterns that are the most correlated to the target class [5] Lahdenoja et al define a discrimination concept of symmetry for uniform patterns to reduce the feature dimensionality [6] Maturana et al use heuristic algorithm to select the neighbors used in the computation of LBP [7] In terms of availability of supervised information, feature selection techniques can be roughly classified into three groups: supervised, unsupervised and semi-supervised methods [8] Based on the different strategies of evaluation, feature selection can be classified into three groups: filter, wrapper and hybrid methods [1] Similarly, histogram selection approaches can be grouped into the same categories Filter approaches consist in computing a score for each histogram in order to measure its efficiency Then, the histograms are ranked according to the proposed score In wrapper approaches, histograms are evaluated thanks to a specific classifier and the selected ones are those which maximize the classification rate The hybrid approaches combine the reduction of processing time of a filter approach and the high performances of a wrapper approach Sparse representation has received a great deal of attention in computer vision, especially in image representation in the recent years It has many effective applications such as image compression and coding [9], pattern recognition, image and signal processing [10] Recently, Qiao et al presented a new method to design the similarity matrix based on the modified sparse representation [11] This matrix allows us to determine the soft similarity value between and for two corresponding images This soft value could reflect the intrinsic geometric properties of classes which may lead to natural discriminating information Inspired by the approach proposed by Porebski, Kalakech et al propose to adapt the famous supervised Laplacian score for feature ranking and selection, to select and rank histograms in the supervised context [12] This score namely Adapted Supervised Laplacian (ASL)-score, evaluates the relevance of a histogram using the local properties of the image data which is based on Jeffrey distance and a similarity matrix deduced from the class labels It is a hard value which is or Moreover, a value between and will measure the similarity in a subtle way, instead of being binary with just two values and This may lead to more powerful discriminating information Indeed, the soft value of the similarity obtained by the sparse representation could better reflect the geometric structure of different classes Instead of using the value I or 0, Y.T Hoang et al propose the Sparse Adapted Supervised Laplacian (SpASL) to construct the sparse similarity matrix based on the sparse representation by a where, Q = 2P being the quantization level H[(k) represents the values of the k th bin, k E {I, , Q}, of the i th image histogram among N color images Porebski et al firstly proposed an approach which selects the most discriminant whole LBP histograms [17] In this approach, the most discriminant LBP histograms are selected in their entirety, out of the different LBP histograms extracted from a color texture supervised method [13] In this paper, we propose to extend SpASL-score in an unsupervised context with the purpose to gain the same performance of supervised context and not use any training label data The rest of this paper is organized as follows Section II introduces the definition of LBP and its extension to color The proposed histogram selection score is introduced in section II We then presents the experimental results on several color texture databases in section IV before the perspective and conclusion II III A Adapted supervised Laplacian score LBP HISTOGRAM SELECTION Kalakech et al propose to Adapt the Supervised Laplacian (ASL) score used in the literature for feature ranking and selection, to select and rank histograms in the supervised context [12] The ASL-score evaluates the relevance of a histogram using the local properties of the image data The basic idea is to assume that the input histogram pairwise similarity measures in the original histogram space are preserved in the relevant histogram subspace So, similar images with same class labels have to be close when they are represented by one relevant histogram A Color LEP The definition of the original LBP operator has then been generalized to explore intensity values of points on a circular neighborhood The circular neighborhood is defined by considering the values of radius Rand P neighbors around the central pixel The LBPp,n(x c , Yc) code of each pixel (xc, Yc) is computed by comparing the ~ray val~e gc o~ the central pixel with the gray values {gi};=C/ of Its P neighbors, as follows: In [12], the Jeffrey distance is used to construct an Adapted Laplacian score ASL r of the r th histogram Jeffrey distance has the advantage of being positive and symmetric The value of the Jeffrey divergence between two histograms is low when their corresponding images are similar to each other It is defined by: P-1 LBPp,n(x c, Yc) = L (gi - gc) X i (I) i=O where is the threshold function which is defined as: _{I (gi - gc) - o if(gi-gc) otherwise 20, (2) The originalLBP computation is based on grayscale images However, it has been demonstrated that color information is very important to represent the texture, especially in natural textures [14] In literature, the extension of LBP to color follows several strategies of color and texture combination In order to describe color texture, Opponent Color LBP (OCLBP) was defined [15], the strategy consists in taking into account the spatial interactions within and between color components The EOCLBP improved significantly the color texture classification as shown by several authors in the state-of-theart [12],[16] For this purpose, the LBP operator is applied on each pixel and for each pair of components (Ck , CD, k, k' E {I, 2, 3} (4) Using this measure, the ASL-score of the histogram H r is then defined as follows: (5) B LEP histogram selection context where: In the considered LBP histogram selection context, the database is composed of N color texture images Each image hiE {I, , N} is characterized by histograms (5 = 9) in a single 3D color space Let H r is the r th histograms to evaluate The data is summarized by the matrix H r is defined as: W = [Hl: Hi HN] = HISTOGRAM SELECTION SCORE Hr(l) H[(l) HlV(l) Hr(k) HHk) HlV(k) Hr(Q) HHQ) HlV(Q) • Sij is an element of the similarity matrix S In a supervised context, for each image h a class label Yi is associated The similarity between two images Ii and I j is defined by: Sij •d = { I ifYi=Yj, otherwise (6) i is the degree of the image Ii : N di = LSij, (3) j=l 80 (7) • H r is the histogram weighted average: IIr _ L~lH[di TABLE I: Summary of image databases used in experiment (8) -N Li=l di The histograms are sorted according to the ascending order of the ASL-score in order to select the most relevant ones B Sparse score # training Dataset name Image size # class New BarkTex 64 x 64 816816 Outex-TC-OOO 13 128 x 128 68 680680 1360 USPTex 128 x 128 191 11461146 2292 The sparse representation of Hr is constructed by using a few entries of H r as possible It is defined as follows: Given C classes, the SpASL-score need C sparse similarity matrix in the supervised context while the SpAUNL-score only uses ones in the unsupervised context where: • 11.11 is the h -norm of a vector • 11.112 denotes 12-norm of a vector is an N-dimensional vector in which the i th element is equal to zero implying that Hr is removed from Hr It is defined as: Si = [Sil, , Si(i-l), • The histogram selection consists to compute for each r histogram H an associated SSpASL or SSpAU N L score and rank these scores in ascending order The following section presents the experimental results of the proposed score on several benchmark color texture database Si E ]RN ~ 0, Si(i+l), , SiN]T IV (10) In order to evaluate the efficiency of the proposed score, we perform the evaluation on four benchmarks color texture images databases: OuTex-TC-00013, New BarkTex and USPTex l Each database is divided into training set and testing set by holdout method (as shown in table I) The Ll-distance is associated with 1- NN classifier while the classification performance is evaluated by accuracy rate (AC) Let us summarize theses databases by table I For each histogram Hr, we can compute the similarity vector Si, and then get the sparse similarity matrix: (11) where Si is the optimal solution of equation (9) The matrix S determines both graph adjacency structure and sparse similarity matrix simultaneously Note that, the sparse similarity matrix is generally asymmetric B Results Several measures have been proposed for evaluating the difference between two histograms [18] Firstly, we proposeto study the impacts of selected distance to SpASL score Four common distances such as histogram intersection, X2 , Jeffrey, Euclidean and Kullback-Leibler are considered Figure represents the classification rate obtained with the different distance associated by SpASL-score on the New BarkTex database The result indicates that Jeffrey and Euclidean distance reach the same performance As they give the results close, we propose to use Jeffrey for the proposed SpAUNL-score hereafter Instead of using hard similarity Sij by class labels, V T Hoang et al define the similarity matrixbased on the sparse representation, and then integrate it into the equation (5) [13] in the supervised histogram selection context Given a database of N images belonging to C classes, each class c, C = 1, , C, contains N c images For each class, we construct the sparse similarity matrix using images within the same class by Equation (9) We note SC the sparse similarity matrix of class c, and H[C the r th histogram of image Ii in class c This leads to Sparse Adapted Supervised Laplacian score (SpASL) defined by: _ SpASL - ",C ",Nc D EXPERIMENTAL RESULTS A Color texture database considered is a vector of all ones represents the error tolerance sr 1632 (13) Iisilll' Si •1 Total It is interesting to note that the sparse similarity matrix can be constructed by using all histogram globally In this case, the class label does not incorporate to the construction and we are in the case of unsupervised learning The SpASL and ASLscore are now extended in the unsupervised learning context by introducing a new score, namely Sparse Adapted Unsupevised Laplacian (SpAUNL), which is defined as follows: Sparse representation allows to find the most compact representation of the original data The graph adjacency structure and corresponding graph weights are built simultaneously by the h -norm minimization problem This is, in fact, a new way that is fundamentally different from the traditional ones (like Euclidean distance, cosine distance, etc ) to measure the similarity between different data points • # test Since the color space can have an impact to the performance, we conduct the experiment in four different color spaces (RGB, HSV, hI2 h and YCbCr ) Figure 2,3 and (H rc H rc ) 'C L -c=l L -i,j=l Jej i' j Sij ",C ",N c D (Hrc Hrc)dC L -c=l L -c=l Jej t' t (12) All these test suites can be download at https://www.lisic.univIittoral.fir porebsk i 81 +., XL 0.84 Jeffrey ~ -Kullback 0.82 - Euclidean 08 ~ 0.8 ~ 0.78 >, o ~ 0.76 ô 0.74 Đ 0.78 0.76 3456 Number of selected histograms 0.74 08 o 3456 0.75 Number of selected histograms ~ g Fig 1: Accuracy rates vs the number of selected histograms of the SpASL-score by using different distances on the New BarkTex database