Một phương pháp phân lớp cho bài toán tìm kiếm ảnh dựa trên thuật toán k nn

Untitled Tạp chí Khoa học Công nghệ và Thực phẩm 20 (4) (2020) 89 101 89 MỘT PHƯƠNG PHÁP PHÂN LỚP CHO BÀI TOÁN TÌM KIẾM ẢNH DỰA TRÊN THUẬT TOÁN k NN Huỳnh Thị Châu Lan*, Lê Hữu Hà, Nguyễn Hải Yến Trườ[.]

Tạp chí Khoa học Cơng nghệ Thực phẩm 20 (4) (2020) 89-101 MỘT PHƯƠNG PHÁP PHÂN LỚP CHO BÀI TỐN TÌM KIẾM ẢNH DỰA TRÊN THUẬT TỐN k-NN Huỳnh Thị Châu Lan*, Lê Hữu Hà, Nguyễn Hải Yến Trường Đại học Công nghiệp Thực phẩm TP.HCM *Email: lanhtc@hufi.edu.vn Ngày nhận bài: 06/7/2020; Ngày chấp nhận đăng: 27/8/2020 TÓM TẮT Trong báo này, tiếp cận phân lớp liệu thực nhằm áp dụng cho toán tìm kiếm ảnh tương tự qua đặc trưng thị giác túi từ BoVW (Bag of Visual Words) Phương pháp phân lớp thực dựa thuật toán k-NN (k-Nearest Neighbor) với liệu đầu vào véc-tơ đặc trưng hình ảnh Từ tập liệu ảnh ban đầu, xây dựng cấu trúc túi từ thị giác lưu trữ hình ảnh có đặc trưng tương đồng theo nội dung Dựa việc phân lớp hình ảnh đầu vào theo phương pháp k-NN, tập hình ảnh trích xuất từ cấu trúc túi từ thị giác Trong phương pháp k-NN, k phần tử láng giềng gần bán kính sử dụng để thống kê phân lớp hình ảnh Mỗi túi từ chứa nhiều hình ảnh tương đồng nội dung có nhiều phân lớp ngữ nghĩa khác nhau; đồng thời, túi từ liên kết đến túi từ khác qua phân lớp ngữ nghĩa đại diện Thực nghiệm xây dựng ảnh COREL (1.000 ảnh) nhằm đánh giá độ xác đồng thời so sánh với cơng trình khác liệu Theo kết thực nghiệm, đề xuất nhóm tác giả hiệu áp dụng hệ thống đa phương tiện khác Từ khóa: k-NN, phân lớp, túi từ, ảnh tương tự, độ đo tương tự GIỚI THIỆU Theo số liệu thống kê tập đoàn liệu quốc tế IDC (International Data Corporation), năm 2018 dung lượng liệu toàn cầu khoảng 33 zettabyte (1 zettabyte = nghìn tỷ gigabyte), ước tính đến năm 2025 có khoảng 175 zettabyte; đó, 90 zettabyte tạo từ thiết bị IoT, 49% liệu lưu trữ môi trường đám mây, gần 30% liệu sử dụng để xử lý theo thời gian thực [1, 2] Mặt khác, liệu đa phương tiện (văn bản, hình ảnh, âm video) phát triển nhanh chóng nhiều hệ thống khác nhau, như: điện thoại thông minh, hệ thống mô đối tượng 2D, 3D, WWW, thiết bị viễn thơng Năm 2015, tổng số hình ảnh tồn cầu đạt 3,2 nghìn tỷ; năm 2016, có 3,5 triệu hình ảnh chia sẻ phút có 2,5 nghìn tỷ hình ảnh chia sẻ lưu trữ trực tuyến Trong năm 2017, giới tạo 1,2 nghìn tỷ hình ảnh tổng số ảnh tồn cầu đến năm 2017 4,7 nghìn tỷ; đó, hình ảnh tạo từ thiết bị mobile 90% [3] Ảnh số trở nên thân thuộc với sống người ứng dụng nhiều hệ thống tra cứu thông tin đa phương tiện Hệ thống thông tin bệnh viện (Hospital Information System), Hệ thống thông tin địa lý (Geographic Information System), Hệ thống thư viện số (Digital Library System), ứng dụng y sinh, giáo dục đào tạo, giải trí… [4, 5] Kích thước số lượng ảnh ngày tăng nên cần phải có hệ thống truy vấn ảnh thiết bị hệ thống đa phương tiện Việc tra cứu ảnh để tìm 89 Huỳnh Thị Châu Lan, Lê Hữu Hà, Nguyễn Hải Yến tập ảnh tương tự phân loại hình ảnh toán quan trọng nhiều hệ thống đa phương tiện [6] Việc tra cứu ảnh có nhiều giai đoạn chính, bao gồm: tiền xử lý ảnh, rút trích đặc trưng, phân cụm liệu hình ảnh, phân lớp đối tượng, tìm kiếm tập ảnh tương tự [7, 8] Trong cách tiếp cận nhóm tác giả, kỹ thuật phân lớp k-NN áp dụng cho tốn tìm kiếm ảnh dựa kỹ thuật chọn phần tử láng giềng túi từ thị giác BoVW (Bag of Visual Word) nhằm giảm chi phí tính tốn tăng tốc độ tìm kiếm hình ảnh Đóng góp báo là: (1) cải tiến thuật toán k-NN nhằm phân lớp liệu để tạo phân loại ngữ nghĩa cho hình ảnh, (2) xây dựng cấu trúc túi từ thị giác để tìm kiếm hình ảnh tương tự, (3) thiết kế mơ hình tìm kiếm ảnh tương tự dựa việc kết hợp thuật toán k-NN túi từ thị giác BoVW, (4) xây dựng thực nghiệm minh chứng tính đắn đề xuất liệu ảnh thông dụng Phần lại báo gồm: Phần khảo sát phân tích ưu nhược điểm cơng trình liên quan để chứng minh tính khả thi tốn phân lớp tìm kiếm ảnh tương tự; Phần trình bày thuật tốn phân lớp k-NN phương pháp tìm kiếm ảnh tương tự dựa túi từ thị giác; Thực nghiệm mô tả phần kết đánh giá liệu ảnh COREL (1.000 ảnh); Phần kết luận hướng phát triển CÁC CƠNG TRÌNH LIÊN QUAN Gần đây, nhiều cơng trình sử dụng phương pháp phân lớp dựa kỹ thuật k-NN nhằm thực tốn phân lớp tìm kiếm ảnh như: Truy xuất hình ảnh dựa nội dung cho toán nhận dạng nhiều đối tượng trái cách sử dụng k-Means k-NN [9]; Phương pháp trích xuất đặc trưng SIFT để mơ tả đặc trưng hình ảnh áp dụng hệ CBIR kết hợp phân lớp mạng BayesNet k-NN [10]; Một phương pháp học có giám sát để tạo mục cho hình ảnh dựa phương pháp xấp xỉ láng giềng gần k-NN [11]; Một cách tiếp cận khác sử dụng k-NN kết hợp với trọng số nhằm thực thích hình ảnh tự động [12]; Một phương pháp chọn lựa đặc trưng sử dụng kỹ thuật học có giám sát k-NN hệ thống CBIR [13]; Kết hợp thuật toán K-Means k-NN để phân loại ảnh trái [14] Năm 2014, Xiaohui cộng xây dựng độ đo tương tự dựa ràng buộc không gian đối tượng đặc trưng để từ thực tốn tìm kiếm ảnh Trong phương pháp này, nhóm tác giả thực việc kết hợp phương pháp k-NN túi từ thị giác để truy vấn ảnh Trong túi từ thị giác, hình ảnh thống kê gom nhóm theo kỹ thuật phân lớp k-NN để tạo nhóm hình ảnh tương tự Trong báo này, túi từ thị giác chứa đựng hình ảnh dựa việc phân lớp k-NN CSDL ban đầu chưa xây dựng trọng số túi từ theo phân lớp hình ảnh Hơn nữa, thuật tốn k-NN thực độ đo đối tượng đặc trưng chưa giải việc phân lớp hình ảnh trường hợp số lượng phân lớp cân [15] Imran cộng (2014) đề xuất hệ thống CBIR cách kết hợp đặc trưng màu sắc kết cấu Trong đó, bố cục màu (CLD) từ MPEG-7 sử dụng để trích xuất màu độ đo trung bình, phương sai, độ lệch entropy sử dụng làm mô tả kết cấu Kết thực nghiệm ảnh COREL so sánh với hệ thống uy tín khác (SIMPLIcity, dựa biểu đồ, FIRM Phân đoạn phương sai) để đánh giá hiệu phương pháp nhóm tác giả đề xuất [16] Li Mooi (2015) xây dựng túi từ thị giác dựa lược đồ màu sắc chọn hình ảnh đưa vào túi từ dựa màu sắc số lượng điểm ảnh Với hình ảnh đầu vào phân loại dựa túi từ thị giác lấy hình ảnh lân cận ảnh gần túi từ để truy xuất tập ảnh tương tự CSDL ảnh ban đầu Việc truy xuất tập ảnh tương tự thực phương pháp k-NN Trong phương pháp này, nhóm tác giả thực 90 Một phương pháp phân lớp cho tốn tìm kiếm ảnh dựa thuật tốn k-NN hai pha phương pháp k-NN kết hợp với túi từ thị giác chưa xây dựng mối quan hệ túi từ [17] Huneiti cộng (2015) đề xuất phương pháp CBIR cách trích xuất véctơ đặc trưng màu kết cấu, sử dụng phép biến đổi Wavelet rời rạc (Discrete Wavelet Transform) mạng (SOM) Các hình ảnh phân nhóm theo màu sắc, với hình ảnh truy vấn, véc-tơ đặc trưng kết cấu so sánh dựa vào độ đo tương tự Euclide để truy xuất tập hình ảnh tương tự Ngồi ra, hình ảnh có liên quan khác truy xuất cách sử dụng vùng lân cận hình ảnh tương tự từ tập liệu phân nhóm thơng qua mạng SOM Thực nghiệm thực ảnh COREL, hiệu suất chưa cao việc phân loại màu sắc từ đầu mà không thực so sánh véc-tơ đặc trưng màu sắc [18] Shrinivasacharya cộng (2015) đề xuất kỹ thuật trích xuất đặc trưng sử dụng cách tiếp cận kết hợp kỹ thuật dị cạnh kỹ thuật lọc trung vị để trích xuất đặc điểm từ hình ảnh Bên cạnh đó, nhóm tác giả sử dụng kỹ thuật SOM để phân cụm đối tượng ảnh trích xuất đặc trưng Trên sở đó, hệ thống truy vấn ảnh xây dựng dựa đồ tự tổ chức trả tập ảnh tương tự với ảnh truy vấn Thực nghiệm đánh giá ảnh Corel-1000 [19] Erwin cộng (2017) đề xuất hệ thống nhận dạng trái xử lý qua bước: trích xuất đặc trưng, sau thực gom cụm phương pháp K-Means cuối sử dụng kỹ thuật k-NN để phân lớp Theo kết thực nghiệm, hệ thống phân lớp đạt độ xác 92,5% cho ảnh đơn đối tượng, 90% cho ảnh đa đối tượng [9] Tuy nhiên, hệ thống nhận diện ảnh trái cây, thuật toán K-Means áp dụng theo phương pháp centroid phải cập nhật tâm cụm liệu thay đổi, chưa xử lý trường hợp số lượng láng giềng có số phân lớp Zhang cộng (2017) đề xuất thuật toán xếp hạng ảnh đa nhãn dựa mơ hình k-NN Thuật tốn dựa vào xác suất nhãn kết hợp với mẫu lân cận xung quanh mẫu truy vấn Trong cách tiếp cận này, mẫu tích cực xem xét xếp hạng Nhóm tác giả sử dụng bốn ảnh đa nhãn phổ biến để đánh giá thuật toán đề xuất kết cho thấy hiệu suất đạt tốt so với phương pháp khác [14] Trong phương pháp này, nhóm tác giả áp dụng xếp theo ảnh đầu vào cho trước khơng tạo cấu trúc để tìm tập hình ảnh tương tự Kumar cộng (2018) sử dụng phương pháp trích xuất đặc trưng ảnh SIFT (Scale Invariant Feature Transform) Trong đó, SIFT phép trích xuất đặc trưng đối tượng bất biến phép biến đổi theo tỷ lệ, quay… Từ đó, đặc trưng sử dụng để tìm kiếm ảnh theo nội dung dựa phương pháp k-NN Kết thực nghiệm hệ thống đạt độ xác 88,9% ảnh Wang [10] Tuy nhiên, hệ thống chưa thực việc phân lớp số lượng láng giềng thuộc lớp xấp xỉ Shichao cộng (2019) đề xuất phương pháp học có giám sát để đánh mục cho ảnh dùng k-NN, thuật toán gán lại nhãn cho ảnh huấn luyện đề xuất nhằm thiết lập mối quan hệ loại nhãn ảnh mã từ Từ đó, liệu huấn luyện để phân lớp nhằm mở rộng tập mẫu Thực nghiệm cho thấy hệ thống dùng phương pháp học có giám sát để tạo mục cho kết tốt mô hình sử dụng phương pháp học khơng giám sát liệu thử nghiệm (MNIST, CIFAR-10) [11] Tuy nhiên, phương pháp có hạn chế: Một là, gán nhãn đối tượng bị nhầm lẫn sử dụng phương pháp kNN để chọn láng giềng gần nhằm tạo mục cho hình ảnh; hai là, sử dụng độ đo tương tự làm tiêu chuẩn cho trình đối sánh, điều dẫn đến việc gán mã từ sai cho đặc trưng hình ảnh định Yanchun cộng (2019) đưa mơ hình k-NN có trọng số (weight k-NN) kết hợp phương pháp phân biệt tuyến tính đa nhãn để phân lớp đối tượng dựa trọng số nhằm cải 91 Huỳnh Thị Châu Lan, Lê Hữu Hà, Nguyễn Hải Yến thiện độ xác việc tính tốn dự đốn ngữ nghĩa đối tượng hình ảnh [12] Qua thực nghiệm hệ thống cho thấy, hệ thống thực thi hiệu tập liệu lớn Tuy nhiên, phương pháp tốn thời gian pha huấn luyện gán nhãn lớp cho hình ảnh, chưa xây dựng cấu trúc tìm kiếm ảnh tương tự theo nội dung để tăng tính hiệu thời gian Alqasemi cộng (2019) đề xuất hướng tiếp cận tìm kiếm ảnh theo nội dung dựa kỹ thuật k-NN kết hợp với đặc trưng thống kê hình ảnh khơng gian RGB đánh giá độ tương tự dựa độ đo Euclide Trong pha tìm kiếm ảnh tương tự thực cách lấy nhóm ảnh tương tự với ảnh truy vấn [13] Đề xuất nhóm mang lại tính hiệu đơn giản hóa hệ thống tìm kiếm ảnh theo nội dung Trong báo này, việc tìm kiếm nhóm ảnh tương tự thực cách tuyến tính khơng có cấu trúc tìm kiếm nhóm ảnh láng giềng để mở rộng cho tốn tìm kiếm ảnh tương tự Shuang cộng (2020) kết hợp thuật toán gom cụm K-Means túi từ thị giác để tìm kiếm tập ảnh tương tự, túi từ thị giác xây dựng dựa việc gom nhóm đặc trưng theo thị giác để hình thành túi từ lưu trữ từ thị giác hình ảnh Ứng với hình đưa vào trích xuất đặc trưng tìm độ tương tự với túi từ gần để trích xuất tập ảnh tương tự [20] Nhóm tác giả sử dụng thuật toán K-Means túi từ thị giác để tìm kiếm ảnh tương tự, đồng thời đưa ngữ nghĩa tương ứng với túi từ Trong phương pháp này, nhóm túi từ độc lập chưa phân lớp nội dung hình ảnh Theo cơng trình khảo sát trên, phương pháp tìm kiếm ảnh tương tự theo nội dung dựa kỹ thuật BoVW k-NN hoàn toàn khả thi Tuy nhiên, kỹ thuật khảo sát chưa kết hợp cải tiến cấu trúc để giải tốn tìm kiếm ảnh tương tự Trong báo này, nhóm tác giả đề xuất tiếp cận dựa mơ hình túi từ thị giác kết hợp với kỹ thuật k-NN để phân lớp tìm kiếm tập ảnh tương tự Trong mơ hình túi từ, đặc trưng hình ảnh lưu trữ với phân lớp hình ảnh liên kết với túi từ khác dựa trọng số tỷ lệ phân lớp ưu Sau đó, với hình ảnh đầu vào phân lớp kỹ thuật k-NN dựa k láng giềng gần bán kính cho trước PHƯƠNG PHÁP TRA CỨU ẢNH 3.1 Túi từ thị giác Trong báo này, nhóm tác giả xây dựng mơ hình túi từ thị giác BoVW phân loại tìm kiếm ảnh tương tự dựa ngữ nghĩa hình ảnh túi từ Mỗi túi từ có từ thị giác đại diện cho nhóm hình ảnh tương tự giá trị trọng số lưu trữ để tìm kiếm túi từ lân cận theo ngữ nghĩa thị giác Để xây dựng túi từ, thuật toán K-Means thực để phân cụm tất véc-tơ đặc trưng tập liệu ảnh xác định giá trị tâm ngữ nghĩa thị giác túi từ dựa tập liệu huấn luyện Trong Hình 1, phương pháp tạo túi từ tự động từ CSDL hình ảnh thực dựa việc phân cụm K-Means theo đặc trưng hình ảnh 92 Một phương pháp phân lớp cho tốn tìm kiếm ảnh dựa thuật toán k-NN Image ID Visual Word Túi từ BoW Các cụm Hình Mơ tả cách tạo túi từ Thuật toán CBVW Đầu vào: Tập liệu ảnh L= { | với fi, vi véc-tơ đặc trưng phân lớp ngữ nghĩa} Đầu ra: Tập túi từ gán nhãn có trọng số Begin Khởi tạo số túi từ k; For j = to k 𝛺𝑗 = ∅ ; 𝛺𝑗 𝐶𝑒𝑛𝑡𝑒𝑟 = 𝑓𝑖 ; EndFor Foreach ( ∈ 𝐿) D0 = Min {Euclide (fi , 𝛺𝑗 𝐶𝑒𝑛𝑡𝑒𝑟), j = k }; 𝛺𝑗 = 𝛺𝑗 ∪ {𝑓𝑖 } ; Update (𝛺𝑖 𝐶𝑒𝑛𝑡𝑒𝑟); EndForeach Return 𝛺 ; End Mệnh đề Độ phức tạp thuật toán CBVW 𝑂(𝑛 ∗ 𝑘) Với n số phần tử tập véc-tơ đặc trưng tập liệu ảnh L, k số túi từ Chứng minh: Ứng với phần tử fi tập liệu L hệ thống tiến hành tính khoảng cách Euclide với k tâm túi từ để tìm túi từ phù hợp mà chúng thuộc vào Do đó, độ phức tạp thuật tốn 𝑂(𝑛 ∗ 𝑘) ◼ Trong thuật toán CBVW, phương pháp gom cụm K-Means ứng dụng dựa tâm chọn Các phần tử tập liệu phân phối vào túi từ Dựa tập túi từ này, tập ảnh tương tự trích xuất thơng qua phân lớp ngữ nghĩa thuật toán k-NN 3.2 Thuật toán KNN Để phân lớp ảnh đầu vào thuật toán k-NN, véc-tơ đặc trưng trích xuất tìm kiếm láng giềng gần dựa bán kính đồng thời thống kê theo phân lớp k láng giềng gần Sau phân lớp hình ảnh đầu vào, tập hình ảnh tương tự trích xuất từ túi từ thị giác 93 Huỳnh Thị Châu Lan, Lê Hữu Hà, Nguyễn Hải Yến Hình Mơ tả thuật tốn k-NN kết hợp BoVW Đầu tiên tập liệu đầu vào gom thành k cụm theo thuật toán K-Means k véctơ tâm tương ứng làm sở phân lớp cho thuật toán k-NN Tiếp theo, tiến hành xây dựng túi từ dựa liệu ảnh ban đầu để thực tìm kiếm tập ảnh tương tự ngữ nghĩa ảnh truy vấn Việc tìm kiếm ảnh tương tự thực cách ánh xạ vào từ mã tương ứng túi từ Thuật toán CkNN Đầu vào: Một ảnh I, tập đặc trưng ảnh F gom thành m cụm C = { | i = m}, bán kính 𝜃 Đầu ra: Lớp ngữ nghĩa S ảnh I Begin Ƙ=∅; fI = ExtractFeature(I); dmin = Min {Euclide (fi, Ii), i = m} If (!dmin) then S = Classification (fI, Fi); Else đến I nhỏ Foreach (fi ∈ 𝐹𝑗 ) //Fj cụm có khoảng cách từ tâm EndIf If (Euclide(fi, fI) < 𝜃) then Ƙ = Ƙ ∪ {𝑓𝑖 }; 94 Một phương pháp phân lớp cho tốn tìm kiếm ảnh dựa thuật toán k-NN EndForeach EndIf S = Classification (fI, Ƙ); Return S; End Mệnh đề 2: Độ phức tạp thuật toán CkNN 𝑂(𝑛 ∗ 𝑚) Với n số phần tử tập véc-tơ đặc trưng F , m số cụm Chứng minh: Gọi n số véc-tơ đặc trưng liệu ảnh Với véc-tơ đặc trưng fI ∈F thuộc liệu, thuật toán tiến hành đo khoảng cách Euclide fI đến m tâm cụm để tìm phân lớp cho ảnh đầu vào Vì độ phức tạp 𝑂(𝑛 ∗ 𝑚) ◼ 3.3 Mơ hình tra cứu ảnh Hình Mơ hình tra cứu ảnh Trong Hình 4, (1) thực gom cụm tập ảnh thu thập từ nguồn internet theo phương pháp K-means; (2) kết sau thực gom cụm k cụm; (3) xây dựng túi từ dựa vào k cụm; (4) với ảnh CSDL, tiến hành rút trích đặc trưng; (5) phân lớp tập véc-tơ đặc trưng; (6) rút trích đặc trưng ảnh tra cứu; (7) phân lớp ảnh tra cứu này; (8) nhãn kết quả; (9) tìm tập ảnh tương tự; (10) dựa vào nhãn kết quả, tìm túi từ; (11) trả túi từ tương ứng với nhãn cần tìm; (12) trả tập ảnh tương tự với ảnh tra cứu đầu vào 3.4 Thuật toán tra cứu ảnh Đầu tiên, nhóm tác giả xây dựng túi từ thị giác cho tập liệu ảnh đầu vào dựa véc-tơ đặc trưng thuật toán K-Means Với ảnh truy vấn đầu vào, thuật toán phân lớp k-NN thực để phân lớp ngữ nghĩa Dựa vào lớp ngữ nghĩa tìm được, danh sách ảnh tương tự trích xuất từ cấu trúc túi từ Thuật tốn tra cứu ảnh (CBIR) mơ tả sau: 95 Huỳnh Thị Châu Lan, Lê Hữu Hà, Nguyễn Hải Yến Thuật toán CBIR Đầu vào: Véc-tơ đặc trưng f ảnh tìm kiếm I, tập véc-tơ đặc trưng F, Túi từ thị giác Đầu ra: Tập ảnh tương tự SI Begin SI = ∅ ; S = CkNN (fI ,F,k, 𝜃); Foreach (𝛺𝑖 ∈ 𝛺) If (𝛺𝑖 𝐿𝑎𝑏𝑒𝑙 = 𝑆) Then EndForeach Return SI ; SI = SI ∪ 𝛺𝑖 ; End Mệnh đề 3: Độ phức tạp thuật toán CBIR 𝑂(𝑛 ∗ 𝑚 ∗ 𝑘) Với n số phần tử tập véc-tơ đặc trưng F , m cụm k túi từ Chứng minh: Với véc-tơ đặc trưng fI ảnh đầu vào, hệ thống sử dụng thuật toán CkNN tiến hành phân lớp ảnh dựa vào tập véc-tơ đặc trưng F với độ phức tạp 𝑂(𝑛 ∗ 𝑚) (chứng minh trên) Sau hệ thống duyệt qua k túi từ để tìm kiếm tập ảnh tương tự với ảnh đầu vào Vì vậy, độ phức tạp 𝑂(𝑛 ∗ 𝑚 ∗ 𝑘) ◼ THỰC NGHIỆM 4.1 Mô tả thực nghiệm Hệ thống thử nghiệm liệu ảnh COREL (1000 ảnh) (được lấy từ nguồn www.corel.com), ảnh chia thành 10 phân lớp, gồm phân lớp đối tượng ảnh phong cảnh: Beach, Bus, Castle, Dinosaur, Elephant, Flower, Horse, Meal, Mountain, People Trong thực nghiệm này, nhóm tác giả truy vấn ảnh liệu COREL đánh giá hiệu suất phân lớp thời gian truy vấn ảnh tương tự Thực nghiệm gồm giai đoạn: (1) giai đoạn tiền xử lý rút trích tập véc-tơ đặc trưng từ liệu ảnh xây dựng túi từ thuật toán CBVW; (2) giai đoạn tra cứu tìm tập ảnh tương tự thông qua kỹ thuật k-NN kết hợp BoVW Các ứng dụng thực nghiệm xây dựng tảng dotNET Framework 3.5, ngơn ngữ lập trình C# Thực nghiệm máy PC CPU Intel (R) Core i5-2430M CPU @2.40GHz, 4.0 GB RAM, hệ điều hành Windows Pro 64 bit Trong Hình 5, véc-tơ đặc trưng trích xuất từ vùng ảnh, với đặc trưng bao gồm vị trí, màu sắc, chu vi đối tượng, diện tích đối tượng Độ tương tự thực dựa khoảng cách trung bình véc-tơ đặc trưng theo nhóm đặc tính tính tốn theo độ đo Euclide Mỗi hình ảnh phân lớp dựa thuật toán k-NN đề xuất để tìm tập ảnh tương tự theo phân lớp Hình mơ tả kết truy vấn ảnh dựa kết phân lớp Hình 5, với hình ảnh Hình trích xuất từ túi từ thị giác bao gồm hình ảnh tương ứng với ngữ nghĩa phân lớp ban đầu 96 Một phương pháp phân lớp cho toán tìm kiếm ảnh dựa thuật tốn k-NN Hình Giao diện ứng dụng phân lớp tra cứu ảnh Hình Một kết tra cứu ảnh 4.2 Đánh giá kết thực nghiệm Kết thực nghiệm đo đạc trực tiếp từ chương trình dựa ảnh kiểm thử theo phân lớp ảnh COREL Sau đó, giá trị thực nghiệm thống kê tính giá trị trung bình, độ xác thời gian truy vấn mơ tả Bảng Kết thực nghiệm cho thấy phương pháp phân lớp truy vấn ảnh đạt độ xác cao thực với tốc độ tương đối nhanh; với thời gian thực trung bình thử nghiệm ảnh COREL 50,54 ms (milisecond), độ xác trung bình 67,7% 97 Huỳnh Thị Châu Lan, Lê Hữu Hà, Nguyễn Hải Yến Bảng Độ xác thời gian thực thuật toán ảnh COREL Phân lớp ảnh Độ xác (%) Thời gian (ms) Beach 49 49,98 Bus 74 62,30 Castle 56 49,91 Dinosaur 100 48,65 Elephant 72 49,05 Flower 88 49,12 Horse 95 48,98 Meal 51 49,30 Mountain 49 48,56 People 43 49,63 67,70 50,54 Trung bình Độ xác (%) 1,2 1 0,88 0,8 0,74 0,6 0,4 0,49 0,95 0,72 0,56 0,51 0,49 0,43 0,2 Hình Biểu đồ thể độ xác ảnh COREL 70 60 50 40 30 20 10 Thời gian (ms) Hình Biểu đồ thể thời gian thực thuật toán ảnh COREL 98 Một phương pháp phân lớp cho toán tìm kiếm ảnh dựa thuật tốn k-NN Hình Hình mơ tả độ xác phân lớp trung bình thời gian truy vấn theo ms (milisecond), trục ngang đồ thị mơ tả tên phân lớp ảnh COREL, trục đứng đồ thị mơ tả độ xác thời gian truy vấn ảnh Qua số liệu thời gian thực thi độ xác thuật tốn liệu COREL (Bảng 1, 2) Hình 3, cho thấy độ xác Dinosaur, Horse, Flower, Bus cao (100%, 95%, 88%, 74%), tức phương pháp truy vấn khả thi cho hình ảnh đối tượng Tuy nhiên, Beach, People, Mountain hạn chế, tức ảnh phong cảnh phương pháp truy vấn đề xuất cần phải cải tiến Thời gian thực thi trung bình thuật tốn tốt Bảng So sánh độ xác phương pháp liệu CIFAR-10 Phương pháp Độ xác trung bình (MAP) Imran M., 2014 [16] 0,5890 Huneiti A., 2015 [18] 0,5588 Shrinivasacharya P., 2015 [19] 0,6537 Phương pháp chúng tơi 0,6670 Nhóm nghiên cứu Imran cộng (2014) sử dụng bố cục màu MPEG-7 kết cấu làm sở để trích xuất đặc trưng [16] Tuy nhiên, việc sử dụng chủ yếu đặc trưng màu sắc để so sánh dẫn đến kết truy vấn (P@10) đạt 58,9% Tại thời điểm truy vấn, hình ảnh khơng phân lớp, nên ảnh Bus, Horse đạt 34% 53%, kết vượt trội nhiều với độ xác 74% 95% Nhóm nghiên cứu Huneiti cộng (2015) thực phân nhóm hình ảnh dựa hệ số màu trước thực so sánh véc-tơ đặc trưng kết cấu hình ảnh truy vấn, nhóm ảnh có phân biệt màu sắc rõ ràng Flower cho độ xác cao (82,8%), đề xuất nhóm tác giả có kết cho Flower 88% Bộ ảnh Dinosaur có màu sắc tương đồng việc phân biệt kết cấu Huneiti cộng không cho kết cao (52,6%), đề xuất báo nhóm tác giả 100% Qua cho thấy, đề xuất nhóm tác giả báo việc truy vấn hình ảnh dựa vào phân lớp hình ảnh theo túi từ có kết tốt nhóm nghiên cứu Huneiti cộng Khi so sánh với nghiên cứu kể cho thấy kết nghiên cứu nhóm tác giả hiệu KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong báo này, nhóm tác giả đề xuất cải tiến thuật tốn k-NN mơ hình truy vấn ảnh dựa túi từ nhằm phân lớp liệu để tạo phân loại ngữ nghĩa cho hình ảnh, xây dựng cấu trúc túi từ thị giác để tìm kiếm hình ảnh tương tự Kết thực nghiệm liệu ảnh COREL đánh giá so sánh với cơng trình khác tập liệu ảnh cho thấy phương pháp đề xuất hiệu Kết thực nghiệm cho thấy, thời gian truy vấn độ xác phân lớp ảnh tốn tìm kiếm ảnh khả thi Chúng tơi cải tiến thuật tốn k-NN kết hợp với mơ hình túi từ để giải tốn phương pháp hiệu áp dụng hệ truy vấn ảnh Hướng cải tiến nhóm tác giả trích xuất đặc trưng phù hợp với hình ảnh phong cảnh, đồng thời truy vấn ngữ nghĩa phân lớp hình ảnh Ontology để tạo ngữ nghĩa liên quan với đối tượng ảnh 99 Huỳnh Thị Châu Lan, Lê Hữu Hà, Nguyễn Hải Yến TÀI LIỆU THAM KHẢO Patrizio A - IDC: Expect 175 zettabytes of data worldwide, Network World, Dec 3, 2018 https://www.networkworld.com/article/3325397/idc-expect-175-zettabytes-of-dataworldwide-by-2025.html David R., John G., John R - The digitization of the world: from edge to core, sponsored by Seagate, IDC Technical Report (2018) https://www.seagate.com/as/en/our-story/data-age-2025/ Deloitte, Photo sharing: trillions and rising, Deloitte Touche Tohmatsu Limited, Deloitte Global, 2016 Muneesawang P., Zhang N., Guan L - Multimedia database retrieval: Technology and applications, Springer, New York Dordrecht London (2014) Xie X., Cai X., Zhou J., Cao N., Wu Y - A semantic-based method for visualizing large image collections, IEEE Transactions on Visualization and Computer Graphics 25 (7) (2019) 2362-2377 Deligiannidis L., Arabnia H.R - Emerging trends in image processing, computer vision, and pattern recognition, Elsevier, USA: Morgan Kaufmann, Waltham, MA 02451 (2015) Liu Y., Zhang D., Lu G., Ma W.Y - A survey of content-based image retrieval with high-level semantics, Pattern Recognition Journal 40 (2007) 262 - 283 Alzu’bi A., Amira A., Ramzan N - Semantic content-based image retrieval: A comprehensive study, J Vis Commun Image Represent 32 (2015) 20-54 Erwin Fachrurrozi M., Ahmad F., Bahardiansyah R.S., Rachmad A., Anggina P Content based image retrieval for multi-objects fruits recognition using k-means and k-nearest neighbor, 2017 International Conference on Data and Software Engineering (ICoDSE), Palembang (2017) 1-6 10 Kumar M., Payal C., Naresh K G - An efficient content based image retrieval system using BayesNet and K-NN, Multimedia Tools and Applications 77 (16) (2018) 21557-21570 11 Shichao K., Lihui C., Xinwei Z., Yigang C., Zhenmin Z Hengyou W - A supervised learning to index model for approximate nearest neighbor image retrieval, Signal Processing: Image Communication 78 (2019) 494-502 12 Yanchun M., Wing X., Yongjian L., Shengwu X - A weighted KNN-based automatic image annotation method, Neural Computing and Applications (2019) 1-12 13 Alqasemi F A., Alabbasi H.Q., Sabeha F., Alawadhi A., Kahlid S., Zahary A Feature selection approach using KNN supervised learning for content-based image retrieval, 2019 First International Conference of Intelligent Computing and Engineering (ICOICE), Hadhramout, Yemen (2019)1-5 14 Zhang H., Serkan K., and Moncef G - A k-nearest neighbor multilabel ranking algorithm with application to content-based image retrieval, 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), New Orleans, LA (2017) 2587-2591 15 Xiaohui S., Zhe L., Jonathan B., Ying W - Spatially-constrained similarity measurefor large-scale object retrieval, IEEE Transactions on Pattern Analysis and Machine Intelligence 36 (6) (2013) 1229-1241 100 Một phương pháp phân lớp cho tốn tìm kiếm ảnh dựa thuật toán k-NN 16 Imran M., Hashim R., Abd Khalid N E - Content based image retrieval using MPEG-7 and histogram, In: Herawan T., Ghazali R., Deris M (Eds.) - Recent Advances on Soft Computing and Data Mining, Advances in Intelligent Systems and Computing 287, Springer International Publishing, Switzerland (2014) 453-465 17 Li D., Mooi C.C - A novel unsupervised 2-stage k-NN re-ranking algorithm for image retrieval, IEEE International Symposium on Multimedia (ISM), Miami, FL (2015) 160-165 18 Huneiti A., Daoud M - Content-based image retrieval using SOM and DWT, Journal of software Engineering and Applications (2) (2015) 51-61 19 Shrinivasacharya P., Sudhamani M V - Content based image retrieval using self organizing map, In: Proceedings of the Fourth International Conference on Signal and Image Processing (2015) 535-546 20 Zhang H., Serkan K., and Moncef G - A k-nearest neighbor multilabel ranking algorithm with application to content-based image retrieval, 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), New Orleans, LA (2017) 2587-2591 21 Shuang J., Lin M., Xuezhi T., Danyang Q - Bag-of-visual words based improved image retrieval algorithm for vision indoor positioning, IEEE 91st Vehicular Technology Conference (VTC2020-Spring), Antwerp, Belgium (2020) 1-4 ABSTRACT A METHOD OF CLASSIFICATION FOR K-NN BASED IMAGE RETRIEVAL Huynh Thi Chau Lan*, Le Huu Ha, Nguyen Hai Yen Ho Chi Minh City University of Food Industry *Email: lanhtc@hufi.edu.vn In this paper, a stratified data approach was applied to a similar image search problem through a bag vision feature from BoVW (Bag of Visual Words) The classification method is based on the k-NN (k-Nearest Neighbor) algorithm with the input data being a feature vector of the image From an initial image data set, we construct a bag of visual words to stores images that are substantially similar in content After classifying the input image by the k-NN method, a set of similar images is extracted from BoVW In the k-NN method, in addition to k nearest neighbors, a radius θ is used to statistically classify the image Each BoVW links to other word bags through its representative semantic class Experiments were built on COREL image database (1,000 images) to evaluate the accuracy and compare with other related works on the same data set According to empirical results, our recommendations are effective and can be applied in various multimedia systems Keywords: k-NN (k-Nearest Neighbor), classification, bag of words, similar image, similarity measure 101 ... tập ảnh tương tự thực phương pháp k- NN Trong phương pháp này, nhóm tác giả thực 90 Một phương pháp phân lớp cho tốn tìm kiếm ảnh dựa thuật tốn k- NN hai pha phương pháp k- NN k? ??t hợp với túi từ thị... gồm hình ảnh tương ứng với ngữ nghĩa phân lớp ban đầu 96 Một phương pháp phân lớp cho tốn tìm kiếm ảnh dựa thuật tốn k- NN Hình Giao diện ứng dụng phân lớp tra cứu ảnh Hình Một k? ??t tra cứu ảnh 4.2... hình ảnh lưu trữ với phân lớp hình ảnh liên k? ??t với túi từ khác dựa trọng số tỷ lệ phân lớp ưu Sau đó, với hình ảnh đầu vào phân lớp k? ?? thuật k- NN dựa k láng giềng gần bán k? ?nh cho trước PHƯƠNG PHÁP