Nâng cao hiệu quả truy vấn hình ảnh theo ngữ nghĩa trên cây phân cụm C-Tree

Bài viết trình bày đề xuất xây dựng cấu trúc cây phân cụm C-tree nhằm lưu trữ hình ảnh và nâng cao hiệu quả tìm kiếm hình ảnh tương tự, trích xuất ngữ nghĩa của các hình ảnh tương tự dựa trên véctơ từ thị giác đã được tạo ra, xây dựng mô hình truy vấn hình ảnh dựa trên cây phân cụm C-tree và ứng dụng dựa trên mô hình đã nghiên cứu

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XI Nghiên cứu ứng dụng Công nghệ thông tin (FAIR); Hà Nội, ngày 09-10/8/2018 DOI: 10.15625/vap.2018.00049 NÂNG CAO HIỆU QUẢ TRUY VẤN HÌNH ẢNH THEO NGỮ NGHĨA TRÊN CÂY PHÂN CỤM C-Tree Nguyễn Thị Uyên Nhi1,3, Văn Thế Thành2, Lê Mạnh Thạnh1 Trường Đại học Khoa học, Đại học Huế Trường Đại học Công nghiệp Thực phẩm TP.HCM Trường Đại học Sài Gòn ntunhi@sgu.edu.vn, vanthethanh@gmail.com, lmthanh@hueuni.edu.vn TĨM TẮT: Dữ liệu hình ảnh gia tăng nhanh chóng hệ thống đa phương tiện gây khó khăn việc tìm kiếm thơng tin hình ảnh Trong báo này, xây dựng mô hình truy vấn ảnh theo ngữ nghĩa nhằm nâng cao hiệu tìm kiếm ảnh tương tự Để thực mơ hình này, chúng tơi sử dụng phương pháp K-means nhằm phân cụm đặc trưng thị giác hình ảnh, đề xuất khoảng cách độ đo tương tự theo ngữ nghĩa hai hình ảnh dự a đặc trưng thị giác cấp thấp, tạo véctơ từ thị giác cho hình ảnh, xây dựng cấu trúc phân cụm C-tree nhằm lưu trữ nâng cao hiệu tìm kiếm hình ảnh tương tự; từ đó, chúng tơi trích xuất ngữ nghĩa hình ảnh tương tự dựa véctơ từ thị giác tạo Nhằm minh chứng tính hiệu đề xuất, xây dựng ứng dụng đánh giá kết thực nghiệm liệu ảnh ImageCLEF gồm 20,000 hình ảnh Từ khóa: Sematic-based images retrieval, similarity measure, C-Tree, K-mean I GIỚI THIỆU Trong thập niên vừa qua, kho liệu ảnh khổng lồ chia sẻ rộng rãi Word Wide Web Các nhà khoa học giới nghiên cứu nhiều phương pháp truy vấn hình ảnh với mục đích nâng cao hiệu tính xác tìm kiếm ảnh Các kỹ thuật tìm kiếm hình ảnh thường sử dụng chủ yếu dựa từ khóa [1] Những kỹ thuật sử dụng danh sách từ khóa để mơ tả nội dung thơng tin, hệ thống tìm kiếm dựa từ khố khớp với tìm kiếm văn người dùng để mơ tả văn hình ảnh trả lại tất hình ảnh có mô tả phù hợp Tuy nhiên, nhà nghiên cứu số hạn chế kỹ thuật này, tính chủ quan mơ tả (metadata), mơ hồ ngơn ngữ tự nhiên, kết trả lại có chứa hình ảnh khơng liên quan mơ tả khơng xác… Chính thế, nhà khoa học nghiên cứu hệ thống tìm kiếm hình ảnh dựa nội dung CBIR (Content-Based Image Retrieval), sử dụng tính trực quan cấp thấp màu sắc, kết cấu, hình dạng vị trí,… trích xuất từ điểm ảnh vào mục tìm kiếm hình ảnh sử dụng kỹ thuật xử lý phân tích hình ảnh [2, 3] Việc tìm kiếm hình ảnh dựa nội dung (CBIR) nghiên cứu nhiều năm tập trung vào việc trích xuất so sánh tính từ hình ảnh [4, 5] Các tính tự động trích từ điểm ảnh cách sử dụng màu sắc chiếm ưu thế, kết cấu hình dạng chi phối (tức kỹ thuật tập trung vào tính trực quan hình ảnh) sử dụng biện pháp tương tự lựa chọn cụ thể để lấy hình ảnh tương tự Các nhà nghiên cứu thập kỷ qua chứng minh tính hiệu tính xác kỹ thuật dựa CBIR, nhiên, CBIR thiếu hiểu biết phân tích ngữ nghĩa hình ảnh, tạo nên khoảng cách ngữ nghĩa hình ảnh [6] Ví dụ: người dùng muốn tìm kiếm hình ảnh, hệ thống CBIR khơng thể ánh xạ ý tưởng người vào tính hình ảnh (tức tạo khoảng cách ngữ nghĩa tính hình ảnh mức thấp khái niệm cấp cao người) Do đó, phân tích ngữ nghĩa cần kết hợp việc tìm kiếm hình ảnh dựa nội dung để thu hẹp khoảng cách ngữ nghĩa Để giải vấn đề này, có nhiều phương pháp kết hợp nội dung hình ảnh khía cạnh ngữ nghĩa Tìm kiếm hình ảnh dựa ngữ nghĩa phương pháp hữu ích để chuyển từ tìm kiếm dựa từ khóa, nội dung sang việc thu thập hình ảnh theo khái niệm Các hình ảnh thích ngữ nghĩa tạo theo cách thủ cơng tự động chúng khác hình thức biểu diễn cách xây dựng mối quan hệ khái niệm, tất chúng đặc tả rõ ràng khái niệm hóa Trong báo này, đề xuất xây dựng cấu trúc phân cụm C-tree nhằm lưu trữ hình ảnh nâng cao hiệu tìm kiếm hình ảnh tương tự, trích xuất ngữ nghĩa hình ảnh tương tự dựa véctơ từ thị giác tạo ra, xây dựng mô hình truy vấn hình ảnh dựa phân cụm C-tree ứng dụng dựa mơ hình nghiên cứu Phần lại viết tổ chức sau Phần II trình bày tổng quan nghiên cứu có liên quan, động lực mục tiêu Phần III nêu khái niệm, kỹ thuật cấu trúc liệu truy vấn hình ảnh theo ngữ nghĩa Phần IV thuật tốn để truy vấn hình ảnh dựa C-Tree Phần V ứng dụng thực nghiệm thảo luận Cuối cùng, kết luận báo cách tóm tắt đề xuất chúng tơi trình bày số quan điểm nghiên cứu tương lai Nguyễn Thị Uyên Nhi, Văn Thế Thành, Lê Mạnh Thạnh 371 II CÁC NGHIÊN CỨU LIÊN QUAN, ĐỘNG LỰC VÀ MỤC TIÊU Hiện nay, có nhiều cơng cụ cơng trình nghiên cứu khác liên quan đến việc xây dựng hệ tìm kiếm ảnh nhằm cải tiến hiệu tìm kiếm ảnh để đáp ứng nhu cầu người dùng ngày tốt Một loạt cơng trình nhà khoa học tiến hành nghiên cứu nhằm làm giảm khoảng cách ngữ nghĩa, nâng cao hiệu truy vấn hình ảnh Trong phần này, chúng tơi trình bày tổng quan số phương pháp tiếp cận Sau đó, đề động lực mục tiêu nghiên cứu hệ thống thu hồi hình ảnh kết hợp thơng tin ngữ nghĩa 2.1 Các cơng trình nghiên cứu liên quan Một số phương pháp khai thác siêu liệu để thu thập hình ảnh đề xuất Mục đích cách tiếp cận chuyển đổi siêu liệu thành định dạng sử dụng cách tự nhiên cho vấn đề tìm kiếm hình ảnh Việc sử dụng thuật ngữ mang tính ngữ nghĩa để cung cấp mơ tả cấp cao nội dung hình ảnh Camille Kurtz cộng nghiên cứu [7], cho phép lấy hình ảnh tương tự dựa thích ảnh semantic cấp cao Nhóm nghiên cứu đưa khn khổ thu hồi hình ảnh dựa tính ngữ nghĩa dựa hai chiến lược chính: (1) dự đốn thuật ngữ mơ tả nội dung hình ảnh từ quy trình đa chiều Riesz (2) tìm kiếm hình ảnh tương tự cách đánh giá tương đồng thích, xem xét hai mối quan hệ hình ảnh Các kỹ thuật sử dụng như: bước học tập cách tiếp cận phụ thuộc vào SVMs tuyến tính, sử dụng để xây dựng chữ ký hình ảnh khơng gian đặc trưng Mức độ liên quan kết tìm kiếm đánh giá cách sử dụng hai giao thức: đánh giá tương đối so với tiêu chuẩn tham chiếu không giống xác định cho cặp hình ảnh liệu 25 số liệu đánh giá liên quan đến chẩn đoán ảnh tải liệu 72 hình ảnh Nhóm nghiên cứu Yang, Ming Dong Farshad Fotouhi [8] đề xuất mơ hình xử lý ngơn ngữ tự nhiên để thu thập hình ảnh, kết hợp thơng tin ngữ nghĩa cung cấp WordNet, hệ thống tham chiếu trực tuyến tính trực quan cấp thấp Hệ thống thứ bậc ngữ nghĩa từ nghĩa từ WordNet sử dụng để tăng cường mối liên hệ hình ảnh mơ tả ngun khái niệm Thuật toán chọn từ khoá thống kê thực giúp chọn từ khoá đại diện để thích hình ảnh khái niệm Kết thực nghiệm ảnh Corel CD với 2500 hình ảnh phong cảnh, cho thấy phương pháp tiếp cận cải thiện đáng kể độ xác tìm kiếm Các kết cho thấy tiềm cao cách tiếp cận việc cung cấp sở ngữ nghĩa để tìm kiếm cho liệu hình ảnh Các nghiên cứu rằng, việc phân tích tìm kiếm hình ảnh trở thành lĩnh vực nghiên cứu nóng hổi cấp thiết Những nghiên cứu tìm kiếm ảnh theo ngữ nghĩa, mà cụ thể tìm kiếm ảnh kết hợp ngữ nghĩa cho kết vô khả thi hiệu suất tìm kiếm nhanh chóng xác mong đợi Nghiên cứu tìm kiếm ảnh dựa vào ngữ nghĩa cịn nhiều khía cạnh mà nhà nghiên cứu chưa khám phá hết, cần sâu để tìm hiểu thực nghiệm, từ đưa đánh giá, so sánh phương pháp với Đây định hướng nghiên cứu phù hợp với xu nghiên cứu chung giới, mang tính cấp thiết cao có khả ứng dụng hiệu thực tiễn 2.2 Động lực mục tiêu nghiên cứu: Động lực nghiên cứu nâng cao hiệu tìm kiếm hình ảnh theo nội dung với tiếp cận ngữ nghĩa, nhằm đáp ứng yêu cầu người dùng cách cải tiến trình thu hồi hình ảnh dựa tri thức hình ảnh ngữ nghĩa cấp cao Chúng đề xuất hệ thống có hai mục tiêu Một mặt, hệ thống cho phép xây dựng mơ hình tìm kiếm hình ảnh theo ngữ nghĩa, nhằm nâng cao hiệu tìm kiếm Mặt khác, xây dựng cấu trúc phân cụm Ctree nhằm lưu trữ nâng cao hiệu tìm kiếm hình ảnh tương tự Các tính cấp thấp mơ tả nội dung vùng hình ảnh, tính cấp cao mơ tả nội dung ngữ nghĩa ngầm liên quan đến vùng hình ảnh Chúng tơi đề xuất hệ thống tìm kiếm hình ảnh thơng qua nội dung theo hướng ngữ nghĩa Tìm theo nội dung có nghĩa ảnh trích xuất đặc trưng, hình ảnh gán thích dựa nội dung ảnh, gom cụm lưu trữ C-tree III CÁC KHÁI NIỆM, KỸ THUẬT VÀ CẤU TRÚC DỮ LIỆU TRUY VẤN ẢNH THEO NGỮ NGHĨA Trong phần này, đưa sở lý thuyết lập thích cho hình ảnh, thu hồi hình ảnh với ngữ nghĩa, kỹ thuật phân cụm K-means, định nghĩa phân cụm C-Tree truy vấn hình ảnh C-Tree 3.1 Chú thích trích xuất ngữ nghĩa cho hình ảnh Q trình lập thích chia thành hai phần, phân tích khái niệm trình chuyển đổi, trước chiết xuất thơng tin từ tài liệu sau tạo mơ tả phù hợp với mơ tả Lập thích cho hình ảnh cần phải mơ tả hình ảnh metadata [9] Mơ tả hình ảnh bao gồm thơng tin tìm thấy cách phân tích hình ảnh Các thành phần mô tả, mô tả, thu thập cấu trúc theo mô tả 372 NÂNG CAO HIỆU QUẢ TRUY VẤN HÌNH ẢNH THEO NGỮ NGHĨA TRÊN CÂY PHÂN CỤM C-Tree Lập thích thực tay tự động theo cách thức kiểm sốt khơng kiểm sốt [10] Trong lập thích tay, chuyên gia định mơ tả, lập thích tự động thực máy tính Chú thích khơng kiểm sốt đề cập đến q trình lập thích mà khơng có giới hạn biểu mẫu nội dung mơ tả, lập thích kiểm sốt hạn chế việc mơ tả tài liệu với số lượng thông tin xác định trước, ví dụ: từ khóa, từ đồng nghĩa, … 3.2 Thuật toán phân cụm K-means Với tập liệu ảnh, ta cần phải gom cụm liệu ảnh có tính chất tượng tự vào cụm khác chưa biết trước Các liệu coi điểm không gian khoảng cách điểm coi thơng số mức độ giống chúng điểm gần chúng giống [11] Về giải thuật K-means thực sau: Đầu vào: Tập hình ảnh số lượng cluster cần tìm K Đầu ra: Các center M label vector cho điểm liệu Y Bước 1: Khởi tạo Giả sử có n điểm liệu muốn phân chia gồm n điểm liệu, có d chiều k < n số cluster Chúng ta cần tìm center Chọn ngẫu nhiên k điểm làm điểm trung tâm: Bước 2: Phân cụm liệu dựa điểm trung tâm: Nhóm điểm liệu ảnh vào cụm có điểm trung tâm gần với Sử dụng độ đo tương tự Euclid để tìm khoảng cách gần đến tâm cụm, lúc này: Nếu cụm sau phân cụm không thay đổi so với trước phân cụm giải thuật dừng lại Bước 3: Cập nhật trung tâm: Với cụm sau gom lại, ta cập nhập lại điểm trung tâm chúng cách lấy trung bình cộng | | ∑ Sau cập nhật trung tâm, quay lại bước hết liệu ảnh cần gom cụm Các hình ảnh lưu trữ theo cấu trúc gom cụm C-Tree 3.3 Cây C-Tree (Cluster tree) Cây phân cụm C-Tree (Cluster Tree) [12] phân cụm tăng trưởng, tập hợp phần tử (các nút) Mỗi nút C-Tree gồm n phần tử liệu ảnh tương đương Mỗi hình ảnh cấp định danh cặp phần tử , với f véctơ đặc tính hình ảnh, p đường dẫn hình ảnh đến link file hình ảnh Cây C-Tree tăng trưởng tự cân Cây xây dựng từ nút lá, tự tách nút đạt giới hạn nút ảnh tách tạo thành nút khác nằm độ đo xác định nút Mỗi nút C-Tree cụm riêng biệt, bao gồm n phần tử liệu ảnh tương đương Mỗi nút có đường dẫn đến nút cha chứa Mỗi hình ảnh gom cụm vào nút lá, cần xác định độ đo tương tự để đo khoảng cách vecto đặc trưng nút Khi nút với cụm có p liệu ảnh với p ≥ n, C-tree tách cụm, cập nhật lại tâm cụm, sử dụng độ đo khoảng cách tương tự Euclid để tìm cụm Đồng thời, cập nhật tâm cụm nút chứa nút Mỗi nút bên C-tree tâm cụm nút con, nút có hai nhiều m Mỗi nút cần có đường dẫn đến nút cha chứa đến nút Mỗi có nút gọi nút góc, nút gốc chứa hai cặp phần tử nhiều N cặp phần tử Mỗi nút gốc có đường dẫn đến nút Bậc nút gán Bậc nút bên nhỏ nhãn cha mẹ Với hình ảnh ch n vào trích xuất đặc trưng, sử dụng độ đo tương tự Euclid hình ảnh vào nút phù hợp Khi nút đầy (số lượng hình ảnh lớn n hình ảnh mặc định ban đầu) trình tách nút thực C-tree tăng trưởng chiều cao theo hướng gốc Nút C-Tree Nguyễn Thị Uyên Nhi, Văn Thế Thành, Lê Mạnh Thạnh 373 tâm tất cụm nút lá, nút tách cụm, nút tiến hành cập nhật tâm cụm Mỗi nút C-tree ưu tiên nhận hình ảnh có độ tương tự cao Hình Cây phân cụm tăng trưởng C-Tree 3.4 Khoảng cách Euclid Khoảng cách Euclid điểm P không gian n chiều đến gốc tọa độ tính bậc hai tổng bình phương tọa độ thành phần: √ Với hai điểm P Q, ta có khoảng cách Euclid chúng sau √ Trong không gian ba chiều Euclid, khoảng cách hai điểm (x1, y1, z1) (x2, y2, z2) √ Một cách tổng quát, khoảng cách điểm x, y không gian Euclid R với n chiều tính sau: | | √∑ | | IV TRUY VẤN HÌNH ẢNH DỰA TRÊN CÂY C-TREE 4.1 Cấu trúc liệu lưu trữ Cây tạo cách thêm vào ảnh, sau gom cụm ảnh nút Các ảnh tổ chức sau: Lable: mã ảnh đồng thời tên lưu trữ ảnh (int) File: chứa đường dẫn tới ảnh ảnh (string) Parent: nút chứa ảnh (nút) Rep: số lượng vùng ảnh có ảnh (double) Coord: mảng chứa vùng ảnh (double []) Các nút thể cho thành phần xây dựng Có ba loại nút: Nút gốc, nút nút Mỗi nút tổ chức lưu trữ bao gồm: Lable: nhãn nút, nút gốc Root -1 (int) Center []: tâm nút, bao gồm tất đặc trưng nút (double) Coord []: tâm nút, bao gồm đặc trung giống nút (double) Distance: Độ đo tương tự tính khoảng cách để ảnh chứa lá, nút (double) Bac: bậc nút (nút 0, root mang bậc cao nhất) (int) Parent: nút cha nút xét (root khơng có cha) (Nút) Rep: tổng số lượng đặc trưng nút(int) Child []: mảng chứa lable nút (child [] null nút nút lá) (Nút) Arg []: mảng chứa lable mã ảnh (Arg [] null nút root nút nhánh) (double) 4.2 Thuật toán xây dựng Input: Tập liệu hình ảnh thích, rút trích đặc trưng Output: Cây phân cụm C-tree tăng trưởng, tự cân NÂNG CAO HIỆU QUẢ TRUY VẤN HÌNH ẢNH THEO NGỮ NGHĨA TRÊN CÂY PHÂN CỤM C-Tree 374 B1: Khởi tạo Khởi tạo mảng Img [] với kiểu lưu trữ Image chứa tất ảnh Khởi tạo (tree) ban đầu với root (kiểu lưu trữ Nút) Leaf (Kiểu lưu trữ Nút) Khởi tạo đọ đo tương tự Distance (xác định để ảnh vào nút lá) B2: Lưu tất hình ảnh chứa Img [] vào B2.1: Nếu khoảng cách từ ảnh (đang xét) tới tâm Center nút bé độ đo Distance: Thêm mã ảnh mảng Arg [] nút Nếu số lượng ảnh nút lớn m=15, hình ảnh có Distance xa tâm cụm hơn, tách thành nút Cập nhật tâm cụm Center nút cha nút xét Ngược lại, khoảng cách từ ảnh (đang xét) tới tâm Center nút khơng lớn Distance: chuyển sang bước B2.2 B2.2: Tìm kiếm nút nhánh từ nút nhánh có bậc từ trở Tìm nút nhánh có khoảng cách từ ảnh (đang xét) tới tâm Coord nút lớn Distance Khởi tạo nút từ nút xét chứa ảnh Cập nhật tâm cụm nút cha chứa nút vừa thêm vào B2.3: Ngược lại, Khơng tìm nút nhánh có khoảng cách từ ảnh (đang xét) tới tâm Coord nút khơng lớn Distance: Khởi tạo nút chứa ảnh Tạo nút cha chứa nút Thêm nút nút cha vừa tạo vào B3: Duyệt ảnh Duyệt lại tất ảnh (Sử dụng cờ Flag) Nếu Khoảng cách từ ảnh đến nút chứa ảnh nhỏ giới hạn Limit_Tree  tìm kiếm Nút cho ảnh  cập nhật lại  gán cờ Flag: Nếu cờ Flag True, quay lại B3; Nếu cờ Flag False quay lại B2 4.3 Truy vấn hình ảnh dựa C-Tree: Quá trình truy vấn hình ảnh tìm véctơ đặc trưng tương tự hình ảnh dựa việc duyệt C-tree Sau tìm đặc trưng hình ảnh, dựa vào đường dẫn hình ảnh tìm cụ thể hình ảnh tương tự với hình ảnh truy vấn, với thích ngữ nghĩa cho hình ảnh Bài tốn đặt cần thực tìm véctơ đặc trưng tương tự hình ảnh đường dẫn đến hình ảnh đó, q trình truy vấn thực theo thuật toán đề xuất sau: Input: véctơ đặc trưng hình ảnh C-Tree Output: Tập hình ảnh tương tự thích ngữ nghĩa hình ảnh Tìm kiếm từ Duyệt cây, chọn tồn ảnh có khoảng cách từ tâm center đến véctơ đặc trưng ảnh xét nằm độ đo quy định Xuất hình ảnh tương tự, thích ngữ nghĩa cho hình ảnh V ỨNG DỤNG THỰC NGHIỆM VÀ THẢO LUẬN 5.1 Mơ hình truy vấn hình ảnh Dựa sở lý thuyết thuật toán đề nghị trên, xây dựng mô hình tìm kiếm ảnh theo ngữ nghĩa phân cụm C-Tree Mơ hình truy vấn ảnh bao gồm hai pha: pha thứ gọi pha tiền xử lý, thực chuyển đổi hình ảnh thích thành hình ảnh tương tự gom cụm xếp C-Tree Pha thứ hai pha thực q trình truy vấn, có hình ảnh đưa vào, truy vấn phân cụm C-tree để tìm hình ảnh tương tự, đồng thời trích xuất ngữ nghĩa cho hình ảnh Pha 1: Tiền xử lý Bộ hình ảnh có thích rút trích véctơ đặc trưng Nguyễn Thị Uyên Nhi, Văn Thế Thành, Lê Mạnh Thạnh 375 Thực thuật toán K-means với độ đo tương tự đề xuất Euclid để gom cụm hình ảnh tương tự Sắp xếp hình ảnh phân cụm C-tree với túi từ nút Tiếp tục ch n thêm hình ảnh hết liệu đầu vào để hoàn thành C-tree Pha tiền xử lý dừng lại tất ảnh đầu vào gom cụm, xếp gom cụm C-tree Pha 2: Truy vấn ảnh Với hình ảnh đầu vào cần truy vấn phân đoạn để rút trích véctơ đặc trưng Đây trình để tạo mục truy vấn Thực truy vấn hình ảnh đầu vào C-tree Hình ảnh tương tự tìm kiếm nút phân cụm thông qua độ đo Euclid Kiểm tra túi từ nút với véctơ từ thị giác hình ảnh hình ảnh tương tự Giải thích ngữ nghĩa file xml Hình Mơ hình tìm kiếm ảnh theo ngữ nghĩa C-tree 5.2 Ứng dụng thực nghiệm Trong thực nghiệm báo, sử dụng liệu ImageCLEF, bao gồm 20.000 hình ảnh, lưu trữ thành 40 nhỏ Mục tiêu ImageCLEF là: Truy vấn thông tin (văn bản, hình ảnh, âm thanh, đa phương tiện, phương tiện truyền thông xã hội, liệu cảm biến, v.v.); Học máy, học sâu; Khai phá liệu; Xử lý ngơn ngữ tự nhiên; Xử lý hình ảnh video; Thị giác máy tính…Bộ ảnh ImageCLEF tổ chức sau: Tập hình ảnh gốc tập hình ảnh phân vùng File chứa véctơ đặc trưng vùng theo ảnh Các véctơ đặc trưng lưu thành mảng có 29 chiều, giá trị giá trị cuối nhãn hình ảnh File chứa nhãn hình ảnh, bao gồm thứ tự vùng tham chiếu đến ngữ nghĩa vùng hình ảnh file vecto từ thị giác Vecto từ thị giác chứa ngữ nghĩa đánh dấu theo số thứ tự Chúng dùng 35 ảnh nhỏ để huấn luyện pha tiền xử lý, ảnh sử dụng để thử nghiệm tính xác truy vấn hình ảnh ứng dụng thực nghiệm pha truy vấn hình ảnh Mỗi hình ảnh trích xuất véctơ đặc trưng, thực phương pháp phân cụm dựa độ đo Euclid để gom cụm hình ảnh có đặc trưng tương tự C-Tree NÂNG CAO HIỆU QUẢ TRUY VẤN HÌNH ẢNH THEO NGỮ NGHĨA TRÊN CÂY PHÂN CỤM C-Tree 376 Hình Giao diện tạo C-Tree 5.3 Kết thực nghiệm Thực truy vấn hình ảnh từ hình ảnh liệu thử ImageCLEF Véctơ đặc trưng (a) (b) 1000 52  child-boy 1000 59  Cloth 1000 124  hat 1000 88  face-of-person 1000 264 wall (c) Hình Hình ảnh truy vấn (a) Hình ảnh cần tìm kiếm; (b) Hình ảnh phần vùng; (c) Chú thích vùng hình ảnh Hình Kết truy vấn ảnh Nguyễn Thị Uyên Nhi, Văn Thế Thành, Lê Mạnh Thạnh 377 5.4 Thảo luận kết ứng dụng thực nghiệm Quá trình thực nghiệm truy vấn hình ảnh liệu mẫu ImageCLEF bao gồm 20,000 hình ảnh khác Với hình ảnh truy vấn trích lọc đặc trưng liệu ảnh tìm hình ảnh có độ tương tự nhiều với hình ảnh truy vấn, từ đối sánh với danh mục chủ đề hình ảnh nhằm đánh giá độ xác phương pháp Thực nghiệm cho thấy, hình ảnh tương tự tìm có tính xác cao với hình ảnh truy vấn Các véctơ đặc trưng rút trích từ hình ảnh truy vấn có độ tương đồng cao với hình ảnh tương tự truy xuất Trong thực nghiệm chúng tơi, đưa hình ảnh khuôn mặt bé trai, đội mũ, mang đồ ấm … Các hình ảnh phân cụm C-tree giúp cho thời gian tìm kiếm nhanh độ xác cao, đường trình tìm kiếm theo tâm nút theo chủ đề (a) (b) Hình (a) Thời gian tạo C-Tree (ms); (b) Thời gian truy vấn hình ảnh C-Tree (ms) IV KẾT LUẬN Trong báo, đề xuất khoảng cách độ đo tương tự Euclid theo ngữ nghĩa hai hình ảnh dựa đặc trưng thị giác cấp thấp, tạo véctơ từ thị giác hình ảnh, đồng thời xây dựng cấu trúc phân cụm C-tree nhằm lưu trữ nâng cao hiệu tìm kiếm hình ảnh tương tự, trích xuất ngữ nghĩa hình ảnh tương tự dựa véctơ từ thị giác tạo Từ đó, chúng tơi xây dựng mơ hình tìm kiếm ảnh theo ngữ nghĩa dựa phân cụm C-tree xây dựng ứng dụng, đánh giá thực nghiệm liệu ảnh ImageCLEF Trong hướng phát triển tương lai, xây dựng hệ truy vấn liệu dựa cấu trúc liệu thuật toán đề xuất, nhằm so sánh đánh giá với phương pháp công bố gần Đồng thời cải tiến thuật tốn xây dựng C-tree truy vấn hình ảnh để nâng cao hiệu tìm kiếm TÀI LIỆU THAM KHẢO [1] Yihun Alemu, Jong-bin Koh, Muhammed Ikram and Dong-Kyoo Kim “Image Retrieval in Multimedia Databases: A Survey” 2009 Fifth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, IEEE, 2009 [2] D C Pedronette, J Almeida (201z4), R S Torres “A scalable re-ranking method for content-based image retrieval” Information Sciences, Volume 265, May 2014, Pages 91-104 
 [3] Benavent, Joan, et al “Experiences at ImageCLEF 2010 using CBIR and TBIR Mixing Information Approaches” CLEF (Notebook Papers/LABs/Workshops) 2010 [4] Daniel Carlos Guimarães Pedronette, Jurandy Almeida, Ricardo da S Torres “A scalable re-ranking method for content-based image retrieval” Information Sciences, Volume 265, May 2014, Pages 91-104 
 [5] Hong Ying Yang, Yong Wei Li, Wei Yi Li, Xiang Yang Wang, Fang Yu Yang “Content-based image retrieval using local visual attention feature” Journal of Visual Communication and Image Representation, Volume 25, Issue 6, August 2014, Pages 1308-1323 [6] Smeulders AWM, Worring M, Santini S, Gupta A, Jain R “Content-based image retrieval at the end of the early years” IEEE Trans Pattern Anal Mach Intell 22(12):1349-1380, 2000 
 [7] Kurtz Camille, et al “On combining image-based and ontological semantic dissimilarities for medical image retrieval applications” Medical image analysis 18.7 (2014): 1082-1100 [8] Yihun Alemu, Jong-bin Koh, Muhammed Ikram and Dong-Kyoo Kim “Image Retrieval in Multimedia Databases: A Survey” 2009 Fifth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, IEEE, 2009 378 NÂNG CAO HIỆU QUẢ TRUY VẤN HÌNH ẢNH THEO NGỮ NGHĨA TRÊN CÂY PHÂN CỤM C-Tree [9] James, Nicolas, Konstantin Todorov, and Céline Hudelot “Ontology matching for the semantic annotation of images” Fuzzy Systems (FUZZ), 2010 IEEE International Conference on IEEE, 2010 [10] A Olfa, et al (2017) “Pattern graph-based image retrieval system combining semantic and visual features” Multimedia Tools and Applications: 1-30 [11] Slamet, Cepy, Ali Rahman, Muhammad Ali Ramdhani, and Wahyudin Darmalaksana “Clustering the Verses of the Holy Qur'an using K-Means Algorithm” Asian Journal of Information Technology 15, no 24 (2016): 51595162 [12] Velmani, Ramasamy, and Balakrishnan Kaarthick “An efficient cluster-tree based data collection scheme for large mobile wireless sensor networks” IEEE sensors journal 15.4 (2015): 2377-2390 IMPROVE EFFICIENCY IMAGE RETRIEVAL IN SEMATIC APPROACH ON C-Tree Nguyen Thi Uyen Nhi, Van The Thanh, Le Manh Thanh ABSTRACT: Image data is growing rapidly in multimedia systems, making it difficult to find image information In this article, we build a semantic image query model to improve the efficiency of similar image retrieval In order to implement this model, we propose K-means method for clustering visual features of the image, including: determining the center of clusters based on the method of moving to the data region dense, suggesting a semantically similar measure of distance between two images based on low-level visual features, generating visual vector word for images, constructing a C-tree clustering tree structure for storage and improve the efficiency of the same image search; From there, we extracted the semantics of similar images based on the visual vector word that was generated  ... cụm hình ảnh có đặc trưng tương tự C-Tree NÂNG CAO HIỆU QUẢ TRUY VẤN HÌNH ẢNH THEO NGỮ NGHĨA TRÊN CÂY PHÂN CỤM C-Tree 376 Hình Giao diện tạo C-Tree 5.3 Kết thực nghiệm Thực truy vấn hình ảnh. .. LIỆU TRUY VẤN ẢNH THEO NGỮ NGHĨA Trong phần này, đưa sở lý thuyết lập thích cho hình ảnh, thu hồi hình ảnh với ngữ nghĩa, kỹ thuật phân cụm K-means, định nghĩa phân cụm C-Tree truy vấn hình ảnh C-Tree. .. xếp gom cụm C-tree Pha 2: Truy vấn ảnh Với hình ảnh đầu vào cần truy vấn phân đoạn để rút trích véctơ đặc trưng Đây trình để tạo mục truy vấn Thực truy vấn hình ảnh đầu vào C-tree Hình ảnh tương