Tìm kiếm ảnh theo ngữ nghĩa dựa trên đồ thị cụm

Bài viết đề xuất thuật toán tra cứu và trích xuất ngữ nghĩa hình ảnh. Nhằm chứng minh cơ sở lý thuyết đã đề xuất, thực nghiệm được xây dựng và đánh giá trên tập dữ liệu ảnh ImageCLEF; Kết quả thực nghiệm được đánh giá so với các phương pháp khác đã được công bố gần đây trên cùng tập dữ liệu. Từ kết quả thực nghiệm cho thấy phương pháp đề xuất của chúng tôi là hiệu quả và có thể ứng dụng trong nhiều hệ thống dữ liệu đa phương tiện.

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XII Nghiên cứu ứng dụng Công nghệ thơng tin (FAIR); Huế, ngày 07-08/6/2019 DOI: 10.15625/vap.2019.00061 TÌM KIẾM ẢNH THEO NGỮ NGHĨA DỰA TRÊN ĐỒ THỊ CỤM Nguyễn Văn Thịnh1, Nguyễn Thị Định1, Văn Thế Thành2,* Khoa Công nghệ Thông tin, Trường ĐH Công nghiệp Thực phẩm TP.HCM Phòng Quản lý khoa học Đào tạo Sau đại học, Trường ĐH Công nghiệp Thực phẩm TP.HCM nvanthinh@gmail.com, nguyenthidinh.hcm@gmail.com,vanthethanh@gmail.com TĨM TẮT: Bài tốn truy vấn ảnh theo ngữ nghĩa SBIR (Semantic-Based Image Retrieval) quan tâm năm gần hướng tiếp cận trích xuất ngữ nghĩa hình ảnh khắc phục nhược điểm phương pháp truy vấn ảnh theo văn TBIR (Text-Based Image Retrieval) theo nội dung CBIR (Content-Based Image Retrieval) Vì vậy, báo này, đề xuất phương pháp truy vấn ảnh trích xuất ngữ nghĩa đồ thị đặc trưng thị giác hình ảnh đồ thị cụm Để thực vấn đề này, phương pháp gom cụm đặc trưng thị giác hình ảnh đề xuất nhằm tạo đồ thị cụm để từ trích xuất ngữ nghĩa hình ảnh Trước hết, chúng tơi đề xuất cấu trúc đồ thị mơ tả hình ảnh độ đo tương tự dựa đặc trưng thị giác cấp thấp với quan hệ không gian vùng ảnh Sau đó, đồ thị cụm tạo phương pháp gom cụm đồ thị đặc trưng hình ảnh sở độ đo đề xuất; đồng thời, xây dựng ontology mô tả ngữ nghĩa cho tập liệu ảnh tạo câu truy vấn SPARQL dựa véctơ từ thị giác hình ảnh nhằm thực truy vấn ontology Dựa cấu trúc đồ thị cụm ontology xây dựng, chúng tơi đề xuất thuật tốn tra cứu trích xuất ngữ nghĩa hình ảnh Nhằm chứng minh sở lý thuyết đề xuất, thực nghiệm xây dựng đánh giá tập liệu ảnh ImageCLEF; kết thực nghiệm đánh giá so với phương pháp khác công bố gần tập liệu Từ kết thực nghiệm cho thấy phương pháp đề xuất hiệu ứng dụng nhiều hệ thống liệu đa phương tiện Từ khóa: SBIR, image retrieval, clustering, ontology, SPARQL I GIỚI THIỆU Trong thập niên gần đây, tìm kiếm ảnh chủ đề nhiều nhà khoa học quan tâm nghiên cứu Có nhiều phương pháp tìm kiếm hình ảnh tìm kiếm hình ảnh dựa từ khố TBIR (Text - Based Image Retrieval) giới thiệu từ năm 1970, tìm kiếm hình ảnh dựa nội dung CBIR (Content - Based Image Retrieval) giới thiệu từ năm 1980, tìm kiếm ảnh dựa ngữ nghĩa SBIR (Semantic - Based Image Retrieval) toán quan tâm [10] Nhiều cơng trình nghiên cứu tìm kiếm ảnh tương tự phát triển dựa đặc trưng cấp thấp truy vấn ảnh dựa hình dạng (shape), màu sắc (color), cấu trúc (texture), đối tượng đặc trưng (interest objects),… [17] Để giải tốn tra cứu liệu ảnh, có nhiều hệ thống tìm kiếm ảnh phát triển QBIC, Photobook, Visual-Seek, MARS, El Nino, CIRES, PicSOM, PicHunter, MIRROR, Virage, Netra, SIMPLITcity,…[15] Mặt khác, liệu số toàn cầu gia tăng không ngừng đạt đến khối lượng khổng lồ Năm 2015, tổng số hình ảnh tồn cầu đạt 3,2 nghìn tỉ; năm 2016, có 3,5 triệu ảnh chia sẻ phút có 2,5 nghìn tỉ ảnh chia sẻ lưu trữ trực tuyến Năm 2017, giới tạo 1,2 nghìn tỉ ảnh tổng số ảnh tồn cầu đến năm 2017 4,7 nghìn tỉ [8, 9] Ảnh số sử dụng nhiều hệ thống tra cứu thông tin đa phương tiện hệ thống thông tin bệnh viện, hệ thống thông tin địa lý, thư viện số, ứng dụng y sinh, giáo dục đào tạo, giải trí, [26] Vì vậy, tốn khai phá liệu ảnh tra cứu thông tin liên quan đến hình ảnh cần quan tâm giải Tuy nhiên, tìm kiếm ảnh dựa việc đối sánh trực tiếp tốn nhiều thời gian nhớ lưu trữ Do đó, cần xây dựng phương pháp mô tả ảnh dạng liệu mục để tìm kiếm ảnh qua liệu mơ tả Hầu hết cơng trình tìm kiếm ảnh tương tự tập trung vào kỹ thuật trích chọn đặc trưng hình ảnh Do đó, việc tạo cấu trúc liệu lưu trữ đặc trưng hình ảnh nhằm tăng tốc độ tìm kiếm thách thức cho tốn tìm kiếm ảnh tương tự Ngồi ra, tốn phân tích ngữ nghĩa hình ảnh tìm kiếm tập hình ảnh tương đồng với ngữ nghĩa vấn đề cần giải Một phương pháp giải tốn trích xuất ngữ nghĩa từ tập ngữ liệu cho trước xây dựng ontology mơ tả nội dung hình ảnh Trên sở ontology này, hình ảnh truy vấn theo yêu cầu người dùng dạng ngôn ngữ tự nhiên Do đó, quy trình tìm kiếm hình ảnh theo hướng tiếp cận ngữ nghĩa phải xây dựng Trong báo này, xây dựng phương pháp tìm kiếm ảnh tương tự sở hướng tiếp cận theo phân tích ngữ nghĩa nội dung hình ảnh Dữ liệu mơ tả hình ảnh xây dựng lưu trữ đồ thị cụm đồng thời thuật tốn cho q trình tìm kiếm ảnh dựa đồ thị cụm đề xuất Mục tiêu báo xây dựng hệ truy vấn ảnh theo ngữ nghĩa dựa đồ thị cụm nhằm tăng tốc độ tìm kiếm đảm bảo độ xác Đóng góp báo gồm: (1) xây dựng đồ thị đặc trưng hình ảnh; (2) đề xuất độ đo tương tự hai đồ thị nhằm đánh giá độ tương tự hình ảnh; (3) xây dựng cấu trúc đồ thị cụm nhằm tăng tốc độ tìm kiếm tra cứu ảnh; (4) đề xuất thuật toán xây dựng đồ thị cụm thuật tốn tìm kiếm hình ảnh trích xuất ngữ nghĩa; (5) đề xuất mơ hình truy vấn ảnh tương tự trích xuất ngữ nghĩa dựa sở lý thuyết thuật toán xây dựng; (6) xây dựng ứng thực nghiệm mơ hình truy vấn ảnh trích xuất ngữ nghĩa liệu ImageCLEF * Corresponding author Nguyễn Văn Thịnh, Nguyễn Thị Định, Văn Thế Thành 477 Phần lại báo tổ chức sau: Phần II đề cập đến cơng trình nghiên cứu liên quan nhằm phân tích tính khả thi phương pháp đề xuất; Phần III xây dựng cấu trúc liệu nhằm lưu trữ liệu mơ tả hình ảnh; độ đo tương tự, đồ thị đặc trưng đồ thị cụm mô tả phần này; Phần IV thực phân tích ngữ nghĩa nội dung hình ảnh tìm kiếm ảnh dựa véctơ từ, ontology câu truy vấn SPARQL; mơ hình tìm kiếm ảnh thực nghiệm trình bày Phần V; kết luận hướng phát triển trình bày Phần VI II CÁC CƠNG TRÌNH LIÊN QUAN Nhiều cơng trình liên quan đến tìm kiếm ảnh tiếp cận cơng bố năm gần Phương pháp gom cụm ứng dụng nhiều hệ thống tìm kiếm ảnh áp dụng thuật toán K-means để gom cụm đặc trưng màu sắc hình ảnh [7]; tìm kiếm ảnh dự thuật toán K-means chữ ký nhị phân hình ảnh [21]; tìm kiếm ảnh dựa thuật toán K-means khoảng cách Mahalanobis véc-tơ màu sắc hình ảnh [4]; áp dụng thuật tốn K-means dải màu MPEG7 cho việc gom cụm tìm kiếm ảnh [11]; thực gom cụm kết hợp đặc trưng màu sắc, hình dạng cấu trúc hình ảnh để tìm kiếm ảnh tương tự [18],… Ngồi ra, nhiều cơng trình nghiên cứu trích xuất ngữ nghĩa hình ảnh tìm kiếm ảnh tương tự giới thiệu năm gần như: tìm kiếm ảnh dựa túi từ thị giác [16], tra cứu ảnh dựa việc phân tích ngơn ngữ tự nhiên để tạo câu truy vấn SPARQL [25], xây dựng công cụ I2T (Image to Text) nhằm tạo RDF mơ tả ngữ nghĩa hình ảnh [3],… Theo kết cơng trình cơng bố gần cho thấy phương pháp tìm kiếm ảnh theo tiếp cận ngữ nghĩa kỹ thuật gom cụm khả thi đạt kết tốt Năm 2003, kỹ thuật tạo cấu trúc đồ thị cụm dựa thuật toán K-mean thực Hlaoui & Wang [1] Năm 2013, phương pháp tìm kiếm ảnh tương tự đồ thị dựa ngữ nghĩa hình ảnh Zhao công [19] Năm 2014, việc phân cụm tập liệu hình ảnh dựa đặc điểm cấp thấp xây dựng đồ thị cụm để áp dụng CBIR thực nghiệm Yan, Liu, Wang, Zhang, & Zheng [27] Năm 2015, cơng trình nghiên cứu tìm kiếm ảnh theo nội dung dựa cấu trúc liệu đồ thị xây dựng sở đặc trưng cấp thấp hình ảnh áp dụng truy vấn hình ảnh Xu, Bu, Wang, & He [5], C.A Hernández-Gracidas cộng (2013) thực nâng cao hiệu suất tìm kiếm ảnh dựa quan hệ khơng gian vùng ảnh Hình ảnh biểu diễn đồ thị khái niệm dựa đặc trưng quan hệ khơng gian, pha tìm kiếm ảnh thực đối sánh toàn sở liệu ảnh trả top - k ảnh liên quan dựa vào độ đo [13] Mơ hình khơng sử dụng đặc trưng cấp thấp biểu diễn nội dung hình ảnh để tăng độ xác, bên cạnh thời gian tra cứu ảnh chậm phải so khớp tuyến tính tồn sở liệu ảnh Năm 2014, Van T T cộng giới thiệu phương pháp tìm kiếm ảnh dựa chữ ký nhị phân đồ thị S-kGraph Tuy nhiên, việc sử dụng tính màu sắc cho kết với độ xác chưa cao [24] Năm 2016, nhóm tác giả thực phương pháp gom cụm chữ ký nhị phân hình ảnh để tạo cấu trúc đồ thị cụm Phương pháp cải tiến thời gian tìm kiếm chưa tiếp cận tốn tìm kiếm hình ảnh theo ngữ nghĩa [22] Hakan Cevikalp cộng (2017) thực tra cứu ảnh dựa cấu trúc đồ thị phân cấp nhị phân Quá trình huấn luyện thực theo phương pháp SVM (Support Vector Machines) dựa đặc trưng cấp thấp hình ảnh [12] Phương pháp thực nghiệm ảnh ImageCLEF so sánh tính hiệu với phương pháp khác Tuy nhiên, phương pháp chưa phân tích ngữ nghĩa hình ảnh khơng xây dựng cấu trúc liệu nhằm tăng tốc độ tra cứu hình ảnh Van T T cộng (2017) đề xuất hệ tìm kiếm ảnh theo nội dung dựa đồ thị cụm chữ ký nhị phân Tác giả thực gom cụm chữ ký nhị phân mô tả đặc trưng thị giác cấp thấp ảnh tạo đồ thị cụm lưu trữ chữ ký nhị phân nhằm nâng cao hiệu tìm kiếm ảnh Phương pháp thực nghiệm nhiều liệu so sánh tính hiệu với nhiều phương pháp khác [23] Tuy nhiên, nhóm tác giả chưa trích xuất ngữ nghĩa cho hình ảnh tìm kiếm dựa ngữ nghĩa B B Z Yao et al (2010) giới thiệu công cụ I2T (Image to Text) nhằm tạo RDF mơ tả ngữ nghĩa hình ảnh để từ người dùng truy vấn thơng qua ngữ nghĩa Đồ thị AoG (and-or Graph) sử dụng để chuyển đổi quan hệ thành phần hình ảnh trở thành ngữ nghĩa tự nhiên nhằm mô tả hình ảnh [28] Đây hệ thống tìm kiếm ngữ nghĩa hình ảnh giúp cho tốn tra cứu ảnh theo tiếp cận ngữ nghĩa hoàn thiện Vijayarajan et al (2016) thực tra cứu ảnh dựa việc phân tích ngơn ngữ tự nhiên để tạo câu truy vấn SPARQL nhằm tìm kiếm tập hình ảnh dựa RDF mơ tả ảnh [25] Quá trình tìm kiếm hình ảnh phụ thuộc vào việc phân tích văn phạm ngơn ngữ để tạo thành từ khóa mơ tả nội dung hình ảnh Phương pháp chưa thực phân lớp nội dung hình ảnh từ đặc trưng màu sắc đặc trưng khơng gian để tạo từ khóa nhằm thực tra cứu; chưa thực q trình tìm kiếm từ hình ảnh truy vấn cho trước Safia Jabeen et al., (2018) xây dựng mơ hình tìm kiếm ảnh dựa túi từ thị giác cách gom cụm đặc trưng thị giác kết hợp với ngữ nghĩa phân loại hình ảnh [20] Tuy nhiên, việc gom cụm đặc trưng thị giác cấp thấp tạo cụm gồm hình ảnh có nhiều ngữ nghĩa khác dẫn đến việc tìm kiếm ngữ nghĩa hình ảnh truy vấn bị sai lệch Do đó, phương pháp phân lớp ngữ nghĩa từ đặc trưng cấp thấp cần phải áp dụng đồng thời chuyển đổi từ đặc trưng trở thành ngữ nghĩa cho hình ảnh TÌM KIẾM ẢNH THEO NGỮ NGHĨA DỰA TRÊN ĐỒ THỊ CỤM 478 Từ cơng trình cơng bố cho thấy tốn tra cứu ảnh có nhiều quan tâm nhóm tác giả Hơn nữa, việc áp dụng đồ thị cụm để thực tìm kiếm ảnh tương tự theo ngữ nghĩa hướng tiếp cận có tính khả thi nhiều thách thức [3] Trên sở kế thừa từ cơng trình có khắc phục hạn chế phương pháp liên quan công bố, đồng thời tạo hệ truy vấn ảnh theo ngữ nghĩa nhằm nâng cao hiệu tìm kiếm, chúng tơi đề xuất mơ hình truy vấn ảnh cách tạo đồ thị kết hợp đặc trưng thị giác cấp thấp quan hệ khơng gian hình ảnh; sau gom cụm đồ thị đặc trưng thị giác nhằm nâng cao hiệu suất cho trình tìm kiếm ảnh tương tự Vì vậy, hệ tra cứu ảnh tương tự dựa đồ thị cụm chúng tơi tiếp cận thực để từ nâng cao hiệu suất tìm kiếm ảnh III ĐỒ THỊ ĐẶC TRƢNG THỊ GIÁC VÀ ĐỒ THỊ CỤM A Phân vùng ảnh trích xuất đặc trưng Mỗi hình ảnh tập liệu phân thành nhiều vùng khác theo phương pháp Hugo Jair Escalante [14] Hình mô tả ảnh gốc ảnh vùng thuộc lớp ảnh: ground, rock, cloud, sky-blue, vegetation ảnh 2966.jpg liệu ảnh ImageCLEF Mỗi vùng trích xuất véctơ đặc trưng bao gồm đặc trưng vùng: diện tích, chiều rộng chiều cao; đặc trưng vị trí: giá trị trung bình độ lệch chuẩn theo trục x trục y; đặc trưng hình dạng; đặc trưng màu sắc không gian RGB CIE-Lab [6] Ảnh gốc ảnh phân vùng (2966.jpg) B Ma trận topo Để nâng cao độ xác cho hệ thống tìm kiếm ảnh, đề xuất sử dụng mối quan hệ không gian vùng ảnh kết hợp với đặc trưng thị giác hình ảnh Mối quan hệ khơng gian hai vùng định nghĩa sau: Định nghĩa Cho hai vùng ảnh I Hai vùng gọi kề nhau, ký hiệu giao điểm chúng khác rỗng, ngược lại gọi hai vùng tách rời, ký hiệu ( ) ( ) , Từ tập đặc trưng vùng hình ảnh trích xuất, ma trận topo tương ứng hình ảnh định nghĩa sau: Định nghĩa Cho n vùng ảnh I Ma trận topo ảnh I, ký hiệu ( , nghĩa sau: ) C Đồ thị mô tả đặc trưng thị giác hình ảnh Sau trích xuất đặc trưng thị giác vùng quan hệ không gian vùng ảnh, tạo đồ thị đặc trưng thị giác mô tả nội dung hình ảnh, đồ thị tương ứng với ảnh Do đó, đồ thị đặc trưng thị giác hình ảnh định nghĩa sau: Định nghĩa Đồ thị đặc trưng thị giác đồ thị vô hướng có trọng số định nghĩa sau: ( Với vùng ảnh thứ vùng ảnh ; ảnh thứ ; trọng số cạnh giá trị 2966.jpg tập liệu ảnh ImageCLEF , tập đỉnh , tập cạnh ) , định danh đặc trưng thị giác vùng Hình minh họa đồ thị đặc trưng thị giác ảnh Ảnh phân đoạn đồ thị đặc trưng thị giác ảnh 2966.jpg Nguyễn Văn Thịnh, Nguyễn Thị Định, Văn Thế Thành 479 D Độ đo tương tự hai đồ thị đặc trưng thị giác Độ đo tương tự hai hình ảnh thành phần khơng thể thiếu thực q trình gom cụm truy vấn hình ảnh tương tự Mỗi hình ảnh mô tả dạng đồ thị, vấn đề đặt xây dựng độ đo tương tự hai đồ thị để từ đánh giá độ tương tự hình ảnh Dựa đồ thị đặc trưng hình ảnh, chúng tơi định nghĩa độ đo tương tự hình ảnh sau: Cho hai tập đỉnh có tập véctơ đặc tính đỉnh , với , số đỉnh Định nghĩa Ma trận tương quan thị giác hai tập đỉnh , | với ( ) ( định nghĩa sau: ) } (1) Cho hai đồ thị , có tập véctơ đặc tính đỉnh lần lượt số đỉnh đồ thị Độ đo tương tự định nghĩa sau: Định nghĩa Độ đo tương tự theo đặc trưng thị giác hai đồ thị ( Mệnh đề Độ đo (1) Không âm: (2) Đối xứng: ( ( ) (3) Bất đẳng thức tam giác: ( ( ) ( ) ( (2) ) ) thỏa ba tính chất có nhỏ Khi đó, ta có tập véctơ đặc tính tập đỉnh kề tương ứng với hai đỉnh Độ đo thị giác trung bình hai tập đỉnh kề định nghĩa sau: ( Mệnh đề Độ đo ) hai đỉnh đồ thị và , ký hiệu là: ) Chứng minh: Dễ dàng chứng minh d ( Định nghĩa Gọi , ) metric có tính chất sau: ) ( và ( ) (3) ) metric Chứng minh: Dễ dàng kiểm chứng ( ) metric Dựa công thức (2) (3), độ đo tượng tự đồ thị tính theo cơng thức (4) sau: ( Mệnh đề Độ đo ( ) (4) ) metric Chứng minh: Dễ dàng chứng minh ( ) metric E Đồ thị cụm Cấu trúc đồ thị cụm Sau tạo đồ thị đặc trưng thị giác hình ảnh độ đo tương tự hai hình ảnh Chúng tơi đề xuất cấu trúc đồ thị cụm thuật toán gom cụm đồ thị đặc trưng thị giác theo độ đo tương tự để tạo đồ thị cụm Đồ thị cụm nhằm mục đích tạo mơ hình khai phá liệu phân cụm tự động cho liệu véctơ đặc tính, đồng thời cải tiến q trình tìm kiếm ảnh tương tự Quá trình tạo đồ thị cụm dựa kết hợp phương pháp phân cụm phân hoạch kỹ thuật học bán giám sát (semi-supervisor learning) Kết việc tạo đồ thị xây dựng mơ hình để tìm kiếm nhanh cụm phù hợp cho ảnh đầu vào Do chúng tơi đề xuất xây dựng cụm đồ thị đặc trưng thị giác để mô tả quan hệ hình ảnh, cụm bao gồm đồ thị đặc trưng thị giác hình ảnh tương tự, có phần tử đại diện tâm cụm Định nghĩa Cho với tập đồ thị đặc trưng tập liệu ảnh Một cụm bán kính cụm , , có tâm định nghĩa sau: độ đo tương tự theo công thức (4) Ứng với đồ thị đặc trưng thị giác ảnh cần phải phân bố vào cụm Do đó, cần phải có quy tắc phân bố đồ thị đặc trưng ảnh vào cụm Quy tắc phân bố định nghĩa sau: TÌM KIẾM ẢNH THEO NGỮ NGHĨA DỰA TRÊN ĐỒ THỊ CỤM 480 Định nghĩa Cho tập cụm rời Gọi cụm , tâm cụm cho n số cụm thời điểm hành Có trường hợp sau: đồ thị đặc trưng (1) Nếu đồ thị đặc trưng ảnh cần phân bố vào tập , với tâm cụm , phân bố vào cụm (2) Nếu tạo cụm (2.1) Nếu (2.2) Ngược lại ( có tâm , bán kính [ ), phân bố đồ thị đặc trưng ] vào cụm Theo quy tắc phân bố đồ thị đặc trưng ảnh Định nghĩa 8, đồ thị đặc trưng phân bố vào cụm phải đảm bảo đồ thị chắn phân bố cụm Hơn nữa, để tránh dư thừa liệu kết tìm kiếm quán đồ thị đặc trưng phân bố cụm Định lý Các đồ thị đặc trưng ảnh phân bố vào cụm Chứng minh: Gọi I đồ thị đặc trưng ảnh bất kỳ, tâm cụm Khi đó, ta ln tìm tập cụm thời điểm hành tâm cụm cho Áp dụng quy tắc phân bố đồ thị đặc trưng ảnh Định nghĩa 8, ta có ln thỏa mãn trường hợp quy tắc phân bố Vì vậy, cho đồ thị đặc trưng ảnh bất kỳ, ln đảm bảm đồ thị phần bố vào cụm  Định lý Mỗi đồ thị đặc trưng ảnh phân bố vào cụm tập Chứng minh: Gọi hình ảnh bất kỳ, giả sử tâm cụm , ta có ( ) Hơn nữa, theo Mệnh đề cụm cho: Do đó, Suy ra: hai tâm cụm ( ) ( I ) ) ) Gọi (I metric nên ta có: ( Mặc khác ( ( ) nên ( ) ( ) ) ( ) Vì điều giả sử vô lý Tức vùng ảnh ảnh phân bổ vào cụm  Định nghĩa Cho , tập đỉnh tập cụm rời Đồ thị cụm đồ thị vơ hướng có trọng số , tập cạnh định nghĩa sau: Thuật toán tạo đồ thị cụm Trên sở độ đo tương tự công thức (4) quy tắc phân bố đồ thị đặc trưng ảnh Định nghĩa Chúng tơi đề xuất thuật tốn tạo đồ thị cụm đồ thị đặc trưng tập liệu ảnh sau: Thuật toán CCG Đầu vào: Tập đồ thị đặc trưng tập liệu ảnh ( ) ngưỡng Đầu ra: Đồ thị cụm Function CCG( Begin E ; For If ) then ; Khởi tạo cụm (đỉnh) ; Else Tìm tâm cho ( ( ) If ) then ; Else If then ; ) Nguyễn Văn Thịnh, Nguyễn Thị Định, Văn Thế Thành 481 ; Else [ {( )| ( ]; Khởi tạo cụm (đỉnh) ) j i} ; End If End If End If Enf For Return End ; Mệnh đề Độ phức tạp Thuật toán CCG , với số đồ thị đặc trưng tập liệu ảnh Chứng minh: Cho số đồ thị đặc trưng tập liệu ảnh Với ảnh, Thuật tốn CCG thực phép so sánh để tìm tâm cụm gần nhất, với số cụm thời điểm hành Do đó, số phép tốn Thuật toán CCG ∑ ∑ , với , số Vì khơng đáng kể so với , độ phức tạp thuật toán  IV TÌM KIẾM ẢNH DỰA TRÊN ĐỒ THỊ CỤM A Thuật tốn trích xuất véctơ từ tập ảnh tương tự Từ đồ thị cụm tạo trên, đề xuất thuật tốn trích xuất véctơ từ tập ảnh tương tự làm sở cho việc trích xuất ngữ nghĩa hình ảnh Với ảnh truy vấn, thuật tốn thực tìm kiếm tập ảnh tương tự trích xuất véctơ từ dựa tập ảnh tương tự Q trình trích xuất véctơ từ tập ảnh tương tự cần tìm cụm đồ thị có độ tương tự gần với ảnh truy vấn Bên cạnh đó, cần tìm kiếm hình ảnh tương tự đỉnh kề có khoảng cách nhỏ ngưỡng cho trước Sau trích xuất véctơ từ gồm từ có tần suất xuất lớn ngưỡng cho trước Thuật toán EVWV Đầu vào: Đồ thị đặc trưng ảnh truy vấn , đồ thị cụm Đầu ra: Véctơ từ thị giác tập ảnh tương tự Function EVWV( Begin ; Bước Tìm cụm gần ( ) min{ ( ) } , với Bước Tìm cụm láng giềng For If ( ) ) then End If End For Bước Tìm tập ảnh tương tự For giá trị ngưỡng cụ có tâm ; End For Bước Tìm véctơ từ thị giác For End For For If freq End For Return ; End then End If Mệnh đề Độ phức tạp Thuật toán EVWV , với n số từ véctơ từ tập ảnh tương tự Chứng minh: Gọi m số đỉnh đồ thị , số từ véctơ từ tập ảnh tương tự Với ảnh cần tra cứu, thuật toán duyệt tất đỉnh đồ thị để tìm cụm phù hợp trích xuất tập ảnh tương tự Sau đó, dựa tập ảnh này, thuật tốn trích xuất véctơ từ gồm từ có tần suất xuất theo ngưỡng Do đó, số phép so sánh TÌM KIẾM ẢNH THEO NGỮ NGHĨA DỰA TRÊN ĐỒ THỊ CỤM 482 thuật tốn  , với số Vì lớn , độ phức tạp Thuật tốn EVWV B Câu truy vấn SPARQL Dựa véctơ từ trích xuất Thuật tốn EVWV trên, câu truy vấn SPARQL tạo để thực truy vấn ontology nhằm tìm tập ảnh tương tự ngữ nghĩa hình ảnh C Xây dựng ontology cho tập liệu ảnh Để thực thi câu truy vấn SPARQL, tạo ontology miền mô tả ngữ nghĩa tập liệu ảnh Trong báo này, ontology miền xây dựng sử dụng ngôn ngữ ba RDF dạng Turtle dựa ngữ nghĩa tập liệu ảnh ImageCLEF, phân vùng ảnh thiết kế cá thể thuộc lớp đối tượng liên kết đến ngữ nghĩa mơ tả tương ứng Hình mơ tả mơ hình Ontology trực quan Protege Ontology tập liệu ImageCLEF Protege V THỰC NGHIỆM A Mơ hình thực nghiệm Mơ hình hệ thống tìm kiếm ảnh theo ngữ nghĩa dựa ontology đồ thị cụm Mô hình thực nghiệm hệ thống tìm kiếm ảnh theo nghữ nghĩa dựa đồ thị cụm mô tả Hình Mơ hình tìm kiếm ảnh gồm hai pha: tiền xử lý tìm kiếm ảnh tương tự Pha tiền xử lý Bước 1: tạo tập đồ thị từ tập véctơ đặc trưng thị giác phân vùng hình ảnh, đồ thị biểu diễn hình ảnh tập liệu ảnh; Bước 2: đánh giá độ tương tự đồ dựa độ đo tương tự đề xuất tạo đồ thị cụm; Bước 3: tạo ontology mô tả ngữ nghĩa cho tập liệu ảnh Nguyễn Văn Thịnh, Nguyễn Thị Định, Văn Thế Thành 483 Pha tìm kiếm ảnh tưởng tự Bước 1: tạo đồ thị mô tả đặc trưng thị giác từ ảnh truy vấn trích xuất véctơ từ thị giác theo tập ảnh tương tự dựa đồ thị cụm; Bước 2: tạo câu truy vấn SPARQL thực truy vấn Ontology để tìm tập URI metadata hình ảnh; Bước 3: kết xuất hình ảnh từ tập URI có xếp theo độ đo tương tự với ảnh truy vấn B Kết thực nghiệm Thực nghiệm thực thi máy PC CPU Intel Core i5-7200U CPU @ 2.50GHz, 8.0GB RAM, hệ điều hành Windows 10 Pro 64 bit Pha tiền xử lý sử dụng ngôn ngữ lập trình Python phiên 3.6 gói thư viện numpy, scipy.io, owlready2 Pha tìm kiếm ảnh sử dụng ngơn ngữ lập trình C# NET Framework 4.5 Các biểu đồ tạo ngôn ngữ Matlab Kết thực nghiệm đánh giá liệu imageCLEF chứa 20,000 ảnh, chia thành 276 lớp lưu trữ 41 thư mục (từ thư mục đến thư mục 40); liệu kích thước 1.64 GB Để đánh giá hiệu phương pháp, phần thực nghiệm đánh giá giá trị gồm: độ xác (precision), độ phủ (recall) độ đo dung hịa F-measure Cơng thức tính giá trị sau [2]: Trong đó, relavant images tập ảnh tương tự với ảnh truy vấn có tập liệu ảnh, retrieved images tập ảnh tìm kiếm Các giá trị độ xác, độ phủ độ dung hịa tính theo tỷ lệ quy đổi thành giá trị đoạn [ ] Precision-Recall đường cong ROC hệ thống tập liệu ImageCLEF Trung bình độ xác, độ phủ độ dung hòa hệ thống tập liệu ImageCLEF Trong thực nghiệm báo này, chọn 7500 ảnh tập 20000 ảnh tập liệu ImageCLEF TÌM KIẾM ẢNH THEO NGỮ NGHĨA DỰA TRÊN ĐỒ THỊ CỤM 484 để kiểm thử Kết thực nghiệm phương pháp đề xuất mô tả Hình 5, Hình 6; hiệu suất phương pháp trình bày Bảng 1; giá trị MAP phương pháp đề xuất so sánh với phương pháp khác liệu ImageCLEF mơ tả Bảng Hình mơ tả đường cong Precision-Recall ROC, đường cong mô tả liệu truy vấn Hình mơ tả giá trị Precision, Recall, F-measure trung bình 39 ảnh tập liệu ImageCLEF Kết Bảng cho thấy phương pháp đề xuất chúng tơi tương đối xác so với hệ truy vấn ảnh theo ngữ nghĩa Bảng Hiệu suất tìm kiếm ảnh phương pháp đề xuất liệu ImageCLEF Tập ảnh 00-10 11-20 21-30 31-40 Số ảnh Số cụm 2500 1551 1235 2217 Độ xác trung bình 0.694152 0.646883 0.644240 0.729549 Độ phủ trung bình 0.338917 0.402911 0.400223 0.569591 Độ đo dung hịa trung bình 0.455458 0.496578 0.493727 0.639723 Bảng So sánh độ xác phương pháp liệu ImageCLEF Phƣơng pháp Mean Average Precision (MAP) C.A Hernández-Gracidas, 2013 [13] Hakan Cevikalp, 2017 [12] 0.5826 0.4678 Vijayarajan, 2016 [25] Van T.T, 2017 [23] Phƣơng pháp đề xuất 0.4618 0.7945 0.6787 Ứng dụng thực nghiệm phương pháp đề xuất Kết tìm kiếm ảnh phương pháp đề xuất VI KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Bài báo xây dựng phương pháp tìm kiếm ảnh theo ngữ nghĩa dựa đồ thị cụm bao gồm đồ thị đặc trưng thị giác hình ảnh Trong báo này, chúng tơi đề xuất độ đo tương tự hai hình ảnh xây dựng cấu trúc đồ thị cụm Trên sở lý thuyết đề xuất, xây dựng hệ truy vấn ảnh theo ngữ nghĩa dựa nội dung hình ảnh Kết thực nghiệm liệu ảnh ImageCLEF đánh giá so sánh với cơng trình khác tập liệu ảnh cho thấy phương pháp đề xuất hiệu Vì vậy, phương pháp đề xuất chúng tơi sử dụng cho hệ thống tra cứu liệu đa phương tiện Việc xây dựng đồ thị cụm dựa đồ Nguyễn Văn Thịnh, Nguyễn Thị Định, Văn Thế Thành 485 thị đặc trưng thị giác hình ảnh tạo cấu trúc tìm kiếm ảnh nhanh chóng Từ đó, kết q trình tìm kiếm ảnh phân tích ngữ nghĩa tạo câu truy vấn SPARQL làm sở thực trích xuất mơ tả ngữ nghĩa ontology Hướng phát triển báo phát triển phương pháp cụm dựa kỹ thuật phân lớp hình ảnh, nghĩa tạo mơ hình phân lớp để phân bố hình ảnh thuộc cụm cho trước, đồng thời xây dựng cấu trúc mở rộng cụm dựa phương pháp phân lớp VII LỜI CẢM ƠN Nhóm tác giả chân thành cảm ơn Trường Đại học Công nghiệp Thực phẩm TP.HCM nơi bảo trợ cho nghiên cứu Chúng tơi trân trọng cám ơn nhóm nghiên cứu SBIR-HCM Trường Đại học Sư phạm TP.HCM hỗ trợ chuyên môn sở vật chất giúp chúng tơi hồn thành nghiên cứu TÀI LIỆU THAM KHẢO 10 11 12 13 14 15 16 17 18 19 S R W A Hlaoui "A graph clustering algorithm with applications to content-based image retrieval" in Proceedings of the 2003 International Conference on Machine Learning and Cybernetics 2003 Xi'an, China: IEEE A A Ahmad Alzu’bi, Naeem Ramzan, "Semantic content-based image retrieval: A comprehensive study", Journal of Visual Communication and Image Representation, vol 32, no., pp 20-54, 2015 X Y B B Z Yao, L Lin, M.W Lee, S C Zhu "I2T: Image Parsing to Text Description" in Proceedings of the IEEE 2010 IEEE B S Banerjee M., Pal S K., "A Clustering Approach to Image Retrieval Using Range Based Query and Mahalanobis Distance" in In: Skowron A., Suraj Z (eds) Rough Sets and Intelligent Systems - Professor Zdzisław Pawlak in Memoriam 2013 Springer, Berlin, Heidelberg J B Bin Xu, Chun Chen, Can Wang, Deng Cai, Xiaofei He, "EMR: A Scalable Graph-Based Ranking Model for Content-Based Image Retrieval", IEEE Transactions on Knowledge and Data Engineering, vol 7, no 1, pp 102114, 2015 P Carbonetto Available from: http://www.cs.ubc.ca/~pcarbo/ C C C Chuen-Horng Lin, Hsin-Lun Lee, Jan-Ray Liao, "Fast K-means algorithm based on a level histogram for image retrieval", Expert System with Application, vol 41, no 7, pp 3276-3283, 2014 Deloitte 2018; Available from: https://www2.deloitte.com Deloitte, " Photo sharing: trillions and rising", Deloitte Touche Tohmatsu Limited, Deloitte Global, Tech Rep., vol., no., 2016 J Y Guang-HaiLiu, "Content-based image retrieval using color difference histogram", Pattern Recognition, vol 46, no 1, pp 188-198, 2013 M M H R Saboorian, Jamzad, M Rabiee "User adaptive clustering for large image databases" in 20th IEEE International Conference on Pattern Recognition 2010 Istanbul, Turkey: IEEE M E Hakan Cevikalp, Savas Ozkan, "Large-scale image retrieval using transductive support vector machines", Computer Vision and Image Understanding, vol 173, no., pp 2-12, 2018 C A Hernández-Gracidas, Sucar, L E & Montes-y-Gómez, "Improving image retrieval by using spatial relations", Multimed Tools Application, vol 62, no 2, pp 479-505, 2013 C A H Hugo Jair Escalante, Jesus A Gonzalez, A López- López, Manuel Montes, Eduardo F Morales, L Enrique Sucar, Luis Villasenor, Michael Grubinger "The segmented and annotated IAPR TC-12 benchmark", Computer Vision and Image Understanding, vol 114, no 4, pp 419-428, 2010 S H J Hun-Woo Yoo, Dong-Sik Jang, Yoon-Kyoon Na, "Extraction of major object features using VQ clustering for content-based image retrieval", Pattern Recognition, vol 35, no 5, pp 1115-1126, 2002 S Jabeen, et al., "An effective content-based image retrieval technique for image visuals representation based on the bag-of-visual-wordsmodel", PLoS ONE, vol 13, no 4, pp 1-24, 2018 P S Kim S., Kim M "Central Object Extraction for Object-Based Image Retrieval" in International Conference on Image and Video Retrieval 2003 Berlin, Heidelberg: Springer, Berlin, Heidelberg S M N Zakariya, Ali, R., Ahmad "Combining visual features of an image at different precision value of unsupervised content based image retrieval" in 2010 IEEE International Conference on Computational Intelligence and Computing Research 2011 Coimbatore, India: IEEE Y D Nan Zhao, Hongliang Bai, Lezi Wang, Chong Huang, Shusheng Cen, Jian Zhao "A semantic graph-based algorithm for image search reranking" in 2013 IEEE International Conference on Acoustics, Speech and Signal Processing 2013 IEEE 486 TÌM KIẾM ẢNH THEO NGỮ NGHĨA DỰA TRÊN ĐỒ THỊ CỤM 20 Z M S Jabeen, T Mahmood, T Saba, A Rehman, M T Mahmood, "An effective content-based image retrieval technique for image visuals representation based on the bag-of-visual-wordsmodel", PLoS ONE, vol 13, no 4, pp 1-24, 2018 21 N V T Thanh The Van, Thanh Manh Le, "The Method Proposal of Image Retrieval Based on K-Means Algorithm", Advances in Intelligent Systems and Computing, vol 746, no 2, pp 481-490, 2018 22 T.M.L Thanh The Van, "Content-Based Image Retrieval using A Signature Graph and A Self-Organizing Map", International Journal of Applied Mathematics and Computer Science (AMCS), vol 26, no 2, pp 423-438, 2016 23 T M L Thanh The Van, "Content-based image retrieval based on binary signatures cluster graph", Journal of Knowledge Engineering, Expert System, vol 35, no 1, pp 1-22, 2017 24 T M L Thanh The Van, "Image Retrieval Based on Binary Signature ang S-kGraph", Annales Univ Sci Budapest, vol 43, no., pp 105-122, 2014 25 M D V Vijayarajan, P Tejaswin, M Lohani, "A generic framework for ontology‑ based information retrieval and image retrieval in web data", Human-centric Computing and Information Sciences, vol 6, no 18, pp 1-30, 2016 26 X C Xiao Xie, Junpei Zhou, Nan Cao, Yingcai Wu, "A Semantic-based Method for Visualizing Large Image Collections", IEEE Transactions on Visualization and Computer Graphics, vol., no., 2018 27 G L Yan Yan, Sen Wang, Jian Zhang, Kai Zheng, "Graph-based clustering and ranking for diversified image search", Multimedia Systems, vol 23, no 1, pp 41-52, 2017 28 B B Z Yao, et al "I2T: Image Parsing to Text Description" in Proceedings of the IEEE 2010 IEEE SEMANTIC-BASED IMAGE RETRIEVAL BASED ON CLUSTER GRAPH Nguyen Van Thinh, Nguyen Thi Dinh, Van The Thanh ABSTRACT: The Semantic-Based Image Image (SBIR) problem is of interest in recent years because this approach can extract image semantics and overcome the disadvantages of Text-Based Image Retrieval (TBIR) and Content-Based Image Retrieval (CBIR) methods Therefore, in this paper, we propose methods retrieval and extracting images semantics with a visual feature graph of images and a cluster graph To accomplish this problem, the visual feature graph clustering method is proposed to create the cluster graph from which to extract image semantics First of all, we propose a structure of image description graphs and similarity measure based on low-level features along with spatial relationships among regions in the image Then, cluster graphs were created using a method of clustering the visual feature graphs of the images on the basis of the proposed similarity measure; At the same time, we build the ontology that describes the semantics for the image dataset and create the SPARQL query rely on the visual word vector to perform image retrieval on the ontology Based on the built cluster graph and ontology, we propose an image retrieval and semantic extraction algorithm In order to illustrate the proposed theory, experiments were built and evaluated on ImageCLEF dataset; Experimental results are evaluated compared to other recently published methods on the same dataset From the experimental results show that our proposed method is effective and can be applied in many multimedia data systems Keywords: SBIR, image retrieval, clustering, ontology, SPARQL  ... vùng ảnh, tạo đồ thị đặc trưng thị giác mơ tả nội dung hình ảnh, đồ thị tương ứng với ảnh Do đó, đồ thị đặc trưng thị giác hình ảnh định nghĩa sau: Định nghĩa Đồ thị đặc trưng thị giác đồ thị. .. trưng thị giác ảnh cần phải phân bố vào cụm Do đó, cần phải có quy tắc phân bố đồ thị đặc trưng ảnh vào cụm Quy tắc phân bố định nghĩa sau: TÌM KIẾM ẢNH THEO NGỮ NGHĨA DỰA TRÊN ĐỒ THỊ CỤM 480... đồ thị đặc trưng thị giác hình ảnh độ đo tương tự hai hình ảnh Chúng đề xuất cấu trúc đồ thị cụm thuật toán gom cụm đồ thị đặc trưng thị giác theo độ đo tương tự để tạo đồ thị cụm Đồ thị cụm