(Luận văn) xây dựng hệ thống truy vấn ảnh tương tự theo nội dung dựa trên cấu trúc cây r tree

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU lu an n va gh tn to p ie BÁO CÁO nl w ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG d oa XÂY DỰNG HỆ TRUY VẤN ẢNH TƯƠNG TỰ THEO lu nf va an NỘI DUNG DỰA TRÊN CẤU TRÚC CÂY R-TREE z at nh oi lm ul Chủ nhiệm đề tài: Nguyễn Anh Tuấn z Giáo viên hướng dẫn: ThS Lê Thị Vĩnh Thanh m co l gm @ an Lu BÀ RỊA-VŨNG TÀU, 2020 n va ac th si THÔNG TIN ĐỀ TÀI Tên đề tài: Xây dựng hệ truy vấn ảnh tương tự theo nội dung dựa cấu trúc RTree Mã đề tài: SV2020-189 Thời gian nghiên cứu: Từ 02-2020 đến 10-2020 Chủ nhiệm: lu - Họ tên: NGUYỄN ANH TUẤN - Đơn vị công tác: Lớp DH18LT, Khoa CNKT-NNCNC - Mã số sinh viên: 18033747 - Điện thoại: 0333326585 - Email: anhtuan3675@outlook.com Các thành viên tham gia: an Nguyễn Anh Tuấn, sinh viên lớp DH18LT (MSSV: 18033747) va n ThS Lê Thị Vĩnh Thanh, giảng viên Khoa Công nghệ Kỹ thuật – Nông nghiệp gh tn to Cơng nghệ cao Nội dung chính: ie p Hình ảnh mang thơng điệp truyền tải ý nghĩa có tính xã hội cao Khơng nl w thế, giúp người cập nhật thơng tin giữ liên lạc với Với liệu oa hình ảnh phát triển ngày, nhu cầu chia sẻ tìm kiếm ảnh lớn d lợi ích mà hình ảnh mang lại lĩnh vực ứng dụng Chính vậy, chúng lu nf va an nghiên cứu xây dựng mơ hình cho tốn truy vấn ảnh tương tự Điều giúp cải thiện khả tìm kiếm truy xuất ảnh kho ảnh ngày mở rộng lm ul z at nh oi Để thực hiện, xây dựng phát triển mơ hình tìm kiếm ảnh dựa cấu trúc R-Tree; thuật toán tạo cây; thuật toán duyệt tìm kiếm Vận dụng kiến thức tích lũy hướng dẫn, hỗ trợ từ Giảng viên hướng dẫn, kế thừa z @ cải tiến cấu trúc liệu R-Tree, tính chất phân bố liệu lên để đảm m co l gm bảo hiệu hệ truy vấn ảnh tương tự theo nội dung an Lu n va ac th si LỜI NÓI ĐẦU Ngày nay, cách mạng công nghiệp 4.0 bùng nổ ngành Công nghệ thông tin, điện tử… Đã làm cho đời sống người ngày nâng cao Trong đó, Trí tuệ nhân tạo, ngày chứng tỏ giá trị có ứng dụng vào nhiều lĩnh vực đời sống hàng ngày đem lại kết vượt trội Trí tuệ nhân tạo có nhiều ứng dụng cách triển khai Nhưng bật số giải tốn tìm kiếm ảnh tương tự Đó đưa hình ảnh mong muốn tìm hình ảnh khác có tính chất tương đồng Nó ứng dụng vào nhiều lĩnh vực như: Y khoa để chẩn đoán bệnh, thực phẩm để phát hàng thật/giả/kém chất lượng, nông nghiệp để phát sâu bệnh, lu an toán điểm danh nhận diện khuôn mặt… n va Là sinh viên thuộc Khoa CNKT-NNCNC Trường Đại học Bà Rịa-Vũng tn to Tàu, việc nghiên cứu áp dụng học vào đời sống thực tiễn điều gh cần thiết bối cảnh người làm chủ cơng nghệ Để góp phần tạo nên p ie tảng đam mê việc học tập nghiên cứu Trí tuệ nhân tạo, em lựa w chọn nghiên cứu toán “XÂY DỰNG HỆ TRUY VẤN ẢNH TƯƠNG TỰ THEO oa nl NỘI DUNG DỰA TRÊN CẤU TRÚC CÂY R-TREE” với hướng dẫn ThS Lê d Thị Vĩnh Thanh (Giảng viên Khoa CNKT-NNCNC) an lu Trong trình thực hiện, có nhiều khó khăn vấp phải, điều kích thích sinh viên nf va khả tư logic sáng tạo để tìm phương án tối ưu, đồng thời chủ động tìm lm ul hiểu, học hỏi từ người trước thân thiếu Tuy nhiên với hạn chế kinh nghiệm thực tế, nên tránh khỏi sai sót Do em z at nh oi mong nhận góp ý Q Thầy/Cơ bạn sinh viên để em hồn thiện mục tiêu z m co l gm @ an Lu n va ac th si MỤC LỤC CHƯƠNG I MỞ ĐẦU 1.1 Đặt vấn đề .1 1.2 Phương pháp nghiên cứu .1 1.3 Tính cấp thiết đề tài 1.4 Mục tiêu, nhiệm vụ giới hạn phần mềm CHƯƠNG II TỔNG QUAN BÀI TỐN TÌM KIẾM ẢNH THEO NỘI DUNG 2.1 Giới thiệu .5 2.2 Tra cứu ảnh dựa vào văn 2.3 Tra cứu ảnh dựa vào nội dung .7 lu 2.4 Trích xuất đặc trưng ảnh .8 an 2.5 Độ đo tương đồng vector đặc trưng va 2.6 Thuật toán gom cụm K-Means 10 n tn to CHƯƠNG III HỆ TRA CỨU ẢNH DỰA TRÊN CẤU TRÚC CÂY R-TREE 11 gh 3.1 Các khái niệm R-Tree [20] 11 p ie 3.1.1 Giới thiệu .11 w 3.1.2 Cây R-Tree nguyên thủy .11 nl 3.1.3 R-Tree liệu không gian 13 d oa 3.1.4 R-Tree liệu đa phương tiện 14 nf va an lu 3.1.5 R-Tree kho liệu (Data Warehousing) khai phá liệu (Data Mining) 15 lm ul 3.1.6 Kết hợp kỹ thuật khai phá liệu vào R-Tree ứng dụng cho toán truy vấn ảnh 15 3.2 Một phương pháp cải tiến cho tốn tìm kiếm ảnh dựa R-Tree .17 z at nh oi 3.2.1 Cấu trúc RG-Tree 17 3.2.2 Một cải tiến cấu trúc RG-Tree 20 z 3.3 Cài đặt cấu trúc KNN_R-Tree 23 @ 3.4 Các thuật toán xử lý KNN_R-Tree .24 gm l 3.4.1 Thuật toán chèn phần tử vào KNN_R-Tree 24 co 3.4.2 Thuật toán cập nhật tâm cụm 26 m 3.4.3 Thuật tốn Tìm kiếm ảnh tương tự KNN_R-Tree 27 an Lu 3.5 Kết thực nghiệm 29 va 3.5.1 Cài đặt thực nghiệm 29 n 3.5.2 Các giao diện thực nghiệm 30 ac th si 3.5.3 Phân tích kết thực nghiệm 33 CHƯƠNG IV KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .37 4.1 Những mặt làm 37 4.2 Những mặt tồn 37 4.3 Hướng phát triển 37 4.4 Kết luận .38 TÀI LIỆU THAM KHẢO 39 lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si DANH MỤC HÌNH ẢNH Hình Minh họa tìm kiếm ảnh tương tự theo văn Hình Minh họa tìm kiếm ảnh dựa nội dung Hình Mơ tả vùng khơng gian lưu trữ liệu bên 12 Hình Cây R-Tree tương ứng 12 Hình Minh họa độ đo giảm sai biệt KNN_R-Tree 21 Hình Internal (In) Node .23 Hình Leaf Node 23 Hình Cây KNN_R-Tree .24 Hình Mơ tả ảnh gốc phân vùng 27 lu Hình 10 Mơ hình truy vấn ảnh .28 an Hình 11 Giao diện thiết lập thông số để thực việc tạo KNN_R-Tree .30 n va Hình 12 Giao diện đọc liệu vector từ DataSet tiền xử lý .31 to tn Hình 13 Giao diện thêm vector từ DataSet vào KNN_R-Tree 31 ie gh Hình 14 Giao diện tìm kiếm ảnh tương tự dựa KNN_R-Tree 32 p Hình 15 Giao diện xuất kết thực nghiệm với DataSet 32 nl w Hình 16 Giao diện kết tìm kiếm ảnh tương tự .33 d oa Hình 17 Giá trị trung bình Precision, Recall, F-measure tập liệu ImageCLEF 34 nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si DANH MỤC TỪ VIẾT TẮT lu an Content-based Image Retrieval CNN Convolution Neural Network DCC Dynamical Clustering Center DIS Distributed Information Systems DNN Deep Neural Network GEMINI Generic Multimedia Indexing GIS Geographic Information System KNN K - Nearest Neighbors LBS Location Based Service RG-Tree Region Growth Tree SOM Self-Organizing Maps n va CBIR p ie gh tn to Text-based Image Retrieval w TBIR Very Large Scale Integrated d oa nl VLSI nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si DANH MỤC BẢNG BIỂU Bảng Các giá trị ngưỡng áp dụng cho chương trình thực nghiệm ……… 33 Bảng Hiệu suất truy vấn ảnh phương pháp đề xuất tập ảnh ImageCLEF………………………………………………………………… 34 Bảng Hiệu suất truy vấn ảnh trung bình tập ảnh ImageCLEF ……… 36 Bảng So sánh độ xác phương pháp liệu ImageCLEF.………………………………………………………………….36 lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si CHƯƠNG I MỞ ĐẦU 1.1 Đặt vấn đề Một vấn đề quan trọng cần phải nghiên cứu hệ thống sử dụng khối liệu số lớn, đặc biệt liệu ảnh số (image) Nhu cầu sử dụng để phân tích mơ tả cho ngữ nghĩa hình ảnh giới Việt Nam tăng cao Theo đó, liệu số tồn cầu gia tăng không ngừng đạt đến khối lượng khổng lồ dẫn đến toán khai phá liệu tra cứu thông tin cần phải giải Theo IDC (International Data Corporation), liệu toàn cầu năm 2012, 2013 đạt 2.8 zettabytes 4.4 zettabytes; ước tính đến cuối năm 2020 liệu toàn cầu gấp 300 lần so với năm 2005, tức tăng từ 130 exabytes lên đến 40,000 exabytes (40 lu an nghìn tỷ gigabytes = 40 zettabytes), liệu tạo từ thiết bị mobile n va chiếm 27%; đến năm 2025, liệu toàn cầu khoảng 163 zettabytes - tăng gấp 10 lần so Mặt khác, liệu đa phương tiện (văn bản, hình ảnh, âm video) gh tn to với năm 2017 [8] p ie phát triển nhanh chóng nhiều hệ thống khác nhau, điện thoại thông minh, hệ thống mô đối tượng 2D, 3D, WWW, thiết bị viễn thông nl w Ảnh số trở nên thân thuộc với sống người ứng dụng d oa nhiều hệ thống tra cứu thông tin đa phương tiện Hệ thống thông tin bệnh viện an lu (Hospital Information System), Hệ thống thông tin địa lý (Geographic Information nf va System), Hệ thống thư viện số (Digital Library System), ứng dụng y sinh, phân tích hình ảnh thực phẩm, phân tích loại động thực vật, giáo dục đào tạo, giải trí… z at nh oi 1.2 Phương pháp nghiên cứu lm ul [10, 13] Tổng hợp lý thuyết cơng trình nghiên cứu liên quan phương pháp thực z nghiệm Dữ liệu thông tin khoa học thu thập tổng hợp từ báo, tạp chí gm @ khoa học chuyên ngành Trường Đại học nước nước, qua trao l đổi, định hướng Thầy/Cô hướng dẫn lĩnh vực nghiên cứu co Việc tổng hợp lý thuyết, lựa chọn cách tiếp cận thông tin áp dụng m thành cơng, thử nghiệm phân tích sở khách quan để đưa nhận định, kết luận an Lu phù hợp cho đề tài n va ac th si Thực nghiệm phương pháp đưa chứng minh kết tìm kiếm mức độ khả thi nghiên cứu Đây phương pháp quan trọng tạo định tính khả thi đề tài 1.3 Tính cấp thiết đề tài Theo WordStream, năm 2019, ngày có 8.95 triệu ảnh, video chia sẻ Instagram có 40 tỷ hình ảnh Theo thống kê Google, khoảng 93 triệu ảnh tạo ngày kể từ 2014; theo tổ chức Gigaom, năm 2017, người trung bình tạo 630 ảnh điện thoại; theo tổ chức Mylio, năm 2017, năm người tạo 1000 ảnh, năm tạo nghìn tỷ hình ảnh… Năm 2015, tổng số hình ảnh tồn cầu đạt 3.2 nghìn tỷ; năm 2016, có 3.5 triệu hình ảnh chia sẻ phút có 2.5 nghìn tỷ hình ảnh chia sẻ lưu trữ trực lu an tuyến Trong năm 2017, giới tạo 1.2 nghìn tỷ hình ảnh tổng số ảnh toàn cầu n va đến năm 2017 4.7 nghìn tỷ; đó, hình ảnh tạo từ thiết bị moblie Kích thước số lượng ảnh ngày gia tăng nên cần phải có nhiều gh tn to 90% [2, 6, 7] p ie hệ thống xử lý phức tạp nhằm đáp ứng yêu cầu người dùng Vì vậy, cần phải có hệ thống truy vấn ảnh số tự động thiết bị hệ thống đa phương nl w tiện Việc tra cứu ảnh để tìm tập ảnh tương tự trích xuất ngữ nghĩa hình ảnh d oa toán quan trọng hệ thống đa phương tiện phù hợp với xu xã hội an lu đại Bài toán khai phá liệu tra cứu thông tin liên quan đến hình ảnh phải nf va quan tâm giải quyết; việc phân loại tra cứu ngữ nghĩa toán quan trọng nhiều hệ thống đa phương tiện [5] lm ul Nhiều hệ truy vấn ảnh theo ngữ nghĩa công bố ứng dụng nhiều z at nh oi lĩnh vực khác như: truy vấn hình ảnh dựa đặc trưng ngữ nghĩa mức cao áp dụng cho ảnh y khoa [9], truy vấn ảnh y khoa sử dụng mạng nơ-ron tích chập CNN z (Convolutional Neural Network) [4], ứng dụng ngữ nghĩa hình ảnh hệ thống thơng gm @ tin phân tán DIS (Distributed Information Systems) [1], hệ truy vấn ảnh y khoa theo nội co thông tin hình ảnh ontology [11]… l dung M-CBIR (Medical Content-based Image Retrieval) dựa cấu trúc vân ảnh m Trong lĩnh vực khác nhau, hệ thống đa phương tiện cần phải trích xuất ngữ an Lu nghĩa đối tượng nhằm mô tả nội dung Bài tốn tìm kiếm ảnh theo ngữ nghĩa n va thực cách trích xuất đặc trưng hình ảnh tạo ngữ nghĩa; sau tra cứu ac th si End Mệnh đề 2: Thuật toán UCKNNRT có độ phức tạp O(M x h) Với h, M chiều cao số phần tử tối đa nút KNN_R-Tree Chứng minh: Trường hợp xấu nhất, thuật toán UCKNNRT phải cập nhật tâm cụm từ nút đến nút gốc Mỗi lần cập nhật tâm, thuật toán duyệt qua M phần tử nút Do đó, thuật tốn UCKNNRT có độ phức tạp O(M x h) 3.4.3 Thuật tốn Tìm kiếm ảnh tương tự KNN_R-Tree Dữ liệu ảnh Mỗi ảnh chia thành nhiều vùng theo phương pháp Hugo Jair Escalante Mỗi vùng trích xuất thành vector đặc trưng bao gồm: Đặc trưng vùng: diện tích, chiều rộng, chiều cao lu an Đặc trưng vị trí: giá trị trung bình độ lệch chuẩn theo trục x, trục y n va Đặc trưng hình dạng p ie gh tn to Đặc trưng màu sắc không gian RGB CIE-Lab oa nl w d Hình Mơ tả ảnh gốc phân vùng lu an Thuật tốn tìm kiếm nf va Mục đích cuối việc áp dụng cấu trúc KNN_R-Tree “Tìm kiếm lm ul ảnh tương tự” Quá trình diễn sau: Từ ảnh người dùng đưa vào, tiến hành phân vùng trích xuất vector đặc trưng ảnh Từ tập vector đặc z at nh oi trưng ấy, vector đem duyệt KNN_R-Tree gặp nút lấy tồn vector có nút này, tiếp tục cho vector khác z Gọi: S ảnh cần truy vấn Đầu vào: vector đặc trưng fi ảnh S cần truy vấn, KNN_R-Tree, m co l Function KNNRTIR (𝑓𝑖, 𝑟𝑜𝑜𝑡, 𝜀, 𝜃, 𝜇, 𝜉 ) gm @ ngưỡng 𝜀, 𝜃, 𝜇, 𝜉 Đầu ra: tập ảnh tương tự với S an Lu Begin n va 𝑁 = 𝑟𝑜𝑜𝑡; ac th 27 si If (𝑁 = 𝑛𝑢𝑙𝑙) then Return 𝑛𝑢𝑙𝑙; Else 𝑖 = 𝑎𝑟𝑔s𝑚𝑖𝑛{𝑒𝑢𝑐𝑙𝑖𝑑𝑒(𝑁 E[𝑘] 𝑓, 𝐸 𝑓), 𝑘 = .count)}; // a list 𝑑 = e𝑢𝑐𝑙𝑖𝑑𝑒min{euclide(𝑁 E[𝑖] 𝑓, 𝐸𝑡 𝑓), i = count}; r = Rediffmin(d, i, 𝜇, ε); If (N.links = null) then // nút lá, lấy vector node SI = N.E; Return SI; Else lu If (r ≤ 𝜃) then // nút nằm khoảng an KNNRTIR (𝑓𝑖 , 𝑁 𝑙𝑖𝑛𝑘𝑠𝑘, 𝜀, 𝜃, 𝜇, 𝜉 ); va n End tn to Mệnh đề 3: Thuật tốn KNNRTIR có độ phức tạp O(h x M) Với h, M ie gh chiều cao số phần tử tối đa nút KNN_R-Tree p Chứng minh: Thuật toán KNNRTIR duyệt phần tử từ gốc đến lá, d oa O(h x M) nl w lần duyệt qua M phần tử nút hành Vì vậy, KNNRTIR có độ phức tạp nf va an lu z at nh oi lm ul z m co l gm @ an Lu Hình 10 Mơ hình truy vấn ảnh n va ac th 28 si Q trình tìm kiếm ảnh dựa mơ hình đề xuất thực gồm hai pha, pha thứ thực gom cụm liệu lưu trữ KNN_R-Tree, pha thứ hai thực tiến trình tìm kiếm hình ảnh tương tự theo nội dung Quá trình thực mơ tả sau: Pha tiền xử lý: Kết pha tiền xử lý xây dựng gom cụm RG- Tree dựa vector đặc trưng tập liệu ảnh gồm bước sau: Bước 1: Thực việc trích xuất tập véc-tơ đặc trưng fi tập liệu ảnh ban đầu Bước 2: Dựa độ đo tương tự đề xuất tạo cấu trúc gom cụm mục với nút KNN_R-Tree tập véc-tơ fi mô tả đặc trưng thị giác hình ảnh lu an Pha tìm kiếm: Việc tìm kiếm ảnh tương tự thực với đầu vào hình ảnh n va truy vấn đầu tập ảnh tương tự theo nội dung dựa gom cụm mục Bước 1: Trích xuất véc-tơ đặc trưng ảnh cần truy vấn gh tn to KNN_R-Tree Quá trình tìm kiếm ảnh tương tự thực theo bước sau: p ie Bước 2: Thực truy vấn ảnh tương tự dựa RG-Tree Bước 3: Tra cứu tập ảnh tương tự dựa tập mục truy vấn nl w 3.5 Kết thực nghiệm d oa 3.5.1 Cài đặt thực nghiệm an lu Kết thực nghiệm thự máy PC CPU 2.3GHz 8-core 9th- nf va generation Intel Core i9, 16GB 2666MHz memory, 1TB flash storage Pha tìm kiếm lm ul thực nghiệm máy PC CPU Intel Core i7-6500U CPU @ 2.50GHz, 8.0GB RAM, hệ điều hành Windows 10 Pro 64 bit Kết thực nghiệm đánh giá z at nh oi liệu imageCLEF chứa 20,000 ảnh, chia thành 276 lớp lưu trữ 41 thư mục (từ thư mục đến thư mục 40); liệu kích thước 1.64 GB Để đánh giá z hiệu phương pháp tìm kiếm ảnh, phần thực nghiệm đánh giá giá trị @ gm gồm: độ xác (precision), độ phủ (recall) độ đo dung hịa F-measure Cơng thức l tính giá trị sau: m an Lu 𝑟𝑒𝑐𝑎𝑙𝑙 = |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠 ∩ 𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠| |𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠| co 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠 ∩ 𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠| |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠| n va ac th 29 si 𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = × (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑟𝑒𝑐𝑎𝑙𝑙) (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙) Trong đó, relavant images tập ảnh tương tự với ảnh truy vấn có tập liệu ảnh, retrieved images tập ảnh tìm kiếm Các giá trị độ xác, độ phủ độ dung hịa tính theo tỷ lệ % quy đổi thành giá trị đoạn [0, 1] Số lượng ảnh tương tự lấy dựa ảnh để lấy giá trị TopK ảnh truy vấn để tính độ xác độ phủ Dựa kết truy vấn này, tiến hành đánh giá so sánh với cơng trình có thời gian gần Bằng việc áp dụng công nghệ “C# dotNet Windows Form”, chương trình thực nghiệm gồm Forms thực chức năng: lu • Tạo KNN_R-Tree, xuất KNN_R-Tree an va • Truy vấn ảnh theo nội dung dựa KNN_R-TREE n • Thực việc xuất kết thực nghiệm theo ảnh to gh tn Một số hình ảnh mơ tả q trình thực thi trình bày sau p ie 3.5.2 Các giao diện thực nghiệm d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu Hình 11 Giao diện thiết lập thông số để thực việc tạo KNN_R-Tree Khi chọn xong ảnh, loại ngưỡng để tạo cây, nhấn nút Start để n va bắt đầu trình tạo ac th 30 si lu an Hình 12 Giao diện đọc liệu vector từ DataSet tiền xử lý n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z gm @ Hình 13 Giao diện thêm vector từ DataSet vào KNN_R-Tree m co l an Lu n va ac th 31 si lu an Hình 14 Giao diện tìm kiếm ảnh tương tự dựa KNN_R-Tree n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z @ Hình 15 Giao diện xuất kết thực nghiệm với DataSet m co l gm an Lu n va ac th 32 si Hình 16 Giao diện kết tìm kiếm ảnh tương tự lu an 3.5.3 Phân tích kết thực nghiệm n va Trong đề tài này, chúng tơi đề xuất cải tiến thuật tốn tạo KNN_R-Tree tn to nhằm phân cụm liệu tăng trưởng số cụm theo liệu Để thực điều gh này, sử dụng giá trị ngưỡng đo độ tương tự đối tượng liệu cụ p ie thể sau: w Bảng Các giá trị ngưỡng áp dụng cho chương trình thực nghiệm Tên gọi 𝜉 Slack 0.25 Theta 0.35 Nuy 0.005 Giá trị lm ul Epsilon 0.15 Alpha 0.15 z at nh oi 𝛼 nf va 𝜀 an 𝜇 lu 𝜃 d oa nl Ngưỡng Để đánh giá hiệu phương pháp tìm kiếm ảnh, phần thực nghiệm z đánh giá giá trị gồm: độ xác (precision), độ phủ (recall) độ đo dung hòa F- m co l gm @ measure Kết thực nghiệm thể Hình 17 an Lu n va ac th 33 si Hiệu suất thực thi mơ hình tìm kiếm ảnh liệu ImageCLEF Recall Precision Measure 0.95 0.9 0.85 0.8 0.75 0.7 0.65 0.6 0.55 0.5 lu 00 02 04 06 08 10 12 14 16 18 20 22 24 26 30 32 34 36 38 40 an n va Hình 17 Giá trị trung bình Precision, Recall, F-measure tập liệu Hiệu suất truy vấn thuật toán đề xuất biểu diễn Bảng 1, Bảng gh tn to ImageCLEF p ie Để đánh giá hiệu suất hệ tìm kiếm ảnh tương tự đề xuất, so sánh với kết cơng trình liên quan trước tập liệu mô tả Bảng nl w d oa Bảng Hiệu suất truy vấn ảnh phương pháp đề xuất tập ảnh ImageCLEF lu Độ phủ Độ xác 0.7873 192 0.8686 0.7720 228 0.7720 0.6864 163 0.7746 0.6885 164 0.6731 0.8415 0.7480 203 05 0.6022 0.7529 0.6691 178 06 0.6115 0.7646 @ 01 0.6948 02 0.6181 03 0.6196 04 (ms) 0.8858 0.6794 86 07 0.6527 0.8161 0.7253 202 08 0.6582 0.8229 0.7314 09 0.6590 0.8235 0.7320 10 0.6109 0.7623 0.6779 90 174 199 n va 0.7118 an Lu 0.8007 218 m 0.7179 194 co 0.8077 l 0.6408 gm 11 0.6462 z Trung bình z at nh oi 0.7085 Thời gian Truy vấn Độ trung hoà lm ul 00 nf va an Tập ảnh ac th 34 si Tập ảnh Độ phủ Độ xác Thời gian Truy vấn Độ trung hoà (ms) 12 0.6688 0.8362 0.7432 210 13 0.6068 0.7587 0.6742 85 14 0.6034 0.7545 0.6705 82 15 0.6544 0.8182 0.7272 182 16 0.6380 0.7968 0.7084 151 17 0.6208 0.7762 0.6899 100 18 0.6657 0.8317 0.7394 181 19 0.6699 0.8375 0.7444 201 20 0.6247 0.7811 0.6941 80 Trung bình 0.6393 0.7992 0.7103 147 lu an n va 0.6109 0.7639 0.6789 86 22 0.6388 0.7972 0.7091 160 23 0.6552 0.8192 0.7280 202 24 0.6062 0.7580 0.6736 90 25 0.6086 0.7610 0.6762 88 0.6720 0.8401 0.7467 176 0.6420 0.8025 0.7133 195 0.5822 0.7266 0.6462 83 gh tn to 21 26 ie p 29 Trung bình 0.7835 oa 31 0.6270 nl w 30 0.6246 0.6965 135 0.6939 69 0.6540 73 0.6529 88 0.7084 0.6295 171 0.7659 0.6807 128 0.7553 0.6711 68 d 0.7805 0.5885 lu 0.7359 33 0.5875 0.7347 34 0.5665 35 0.6126 36 0.6040 37 0.6311 0.7891 0.7013 114 38 0.5827 0.7285 0.6474 85 39 0.5637 0.7048 0.6263 66 40 0.5952 0.7442 @ 70 z at nh oi lm ul z 0.6613 0.7447 0.6618 gm 0.5956 nf va Trung bình an 32 93 m co l an Lu n va ac th 35 si Bảng Hiệu suất truy vấn ảnh trung bình tập ảnh ImageCLEF Tập ảnh Độ phủ Độ xác Độ trung hoà Thời gian Truy vấn (ms) 00-10 0.6462 0.8077 0.7179 174 11-20 0.6393 0.7992 0.7103 147 21-30 0.6270 0.7835 0.6965 135 31-40 0.5956 0.7447 0.6618 93 Average 0.6271 0.7838 0.6966 137 Bảng So sánh độ xác phương pháp liệu ImageCLEF Phương pháp Mean Average Precision (MAP) lu an n va 0.4678 C.A Hernández-Gracidas, 2013 [29] 0.5826 Nguyễn Minh Hải, 2019 [30] 0.6753 ie gh tn to Hakan Cevikalp, 2017 [28] Lê Thị Vĩnh Thanh, 2020 [27] p 0.7110 Phương pháp đề xuất d oa nl w 0.7838 nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th 36 si CHƯƠNG IV KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1 Những mặt làm Nghiên cứu mô hình, phương pháp tìm kiếm ảnh tương tự theo nội dung dựa phân cụm liệu KNN_R-Tree thực thời gian dài thực nghiệm ứng dụng tra cứu ảnh tương tự với số liệu thống kê cho kết khả thi Những nội dung làm được: - Tìm hiểu kỹ thuật trích xuất đặc trưng hình ảnh - Tìm hiểu kỹ thuật học máy K-Means, KNN áp dụng vào toán truy vấn ảnh lu an - Phát triển cấu trúc liệu R-Tree nhằm phân cụm liệu dựa kỹ n va thuật học bán giám sát Xây dựng thuật toán tra cứu ảnh sở cấu trúc R-Tree - Thiết kế hệ tra cứu ảnh dựa R-Tree gh tn to - Viết chương trình ngơn ngữ lập trình C#.Net tạo hệ truy vấn ảnh p ie - theo nội dung nl w 4.2 Những mặt tồn d oa Bên cạnh việc tối ưu tốn tìm kiếm, chúng tơi nhận thấy cịn tồn hạn an lu chế chưa khắc phục nghiên cứu, ví dụ: thời gian tìm kiếm, ảnh truy vấn phụ nf va thuộc vào tập ImageCLEF, rút trích đặc trưng hình ảnh, phân lớp hình ảnh, ngữ nghĩa hình ảnh Do đề tài cịn số hạn chế sau: lm ul Thời gian truy vấn chậm - Chưa trích xuất phân lớp hình ảnh - Chưa trích xuất ngữ nghĩa cấp cao hình ảnh z 4.3 Hướng phát triển z at nh oi - gm @ Chính vậy, hướng phát triển chúng tơi tập trung vào: l • Cải thiện thuật tốn truy vấn để tăng tốc độ tìm kiếm m co • Tăng trưởng số lượng hình ảnh từ nhiều liệu mẫu khác để tạo cho cấu trúc KNN_R-Tree an Lu • Tiếp tục nghiên cứu, cải thiện thuật toán học máy phân tích ngữ nghĩa hình n va ảnh áp dụng vào toán truy vấn ảnh ac th 37 si • Nghiên cứu thuật tốn trích xuất đặc trưng vec-tơ hình ảnh phân lớp ảnh đầu vào nhằm nâng cao độ xác cho tốn truy vấn ảnh • Nghiên cứu cơng nghệ ngữ nghĩa Ontology để áp dụng cho tốn tìm kiếm ảnh theo tiếp cận ngữ nghĩa 4.4 Kết luận Với kết mang lại từ mơ hình, phương pháp đề xuất đề tài, xây dựng phần mềm tìm kiếm ảnh tương tự theo nội dung dựa phân cụm liệu KNN_R-Tree Như vậy, nghiên cứu đóng góp phần với mơ hình phương pháp tìm kiếm vào tốn tìm kiếm ảnh tương tự theo nội dung mang lại hiệu thiết thực áp dụng cho hệ truy vấn ảnh lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th 38 si TÀI LIỆU THAM KHẢO [1] C Bobed, R Yus, F Bobillo, S Ilarri, J Bernad, E Mena, R Trillo-Lado, Á.L Garrido, "Emerging Semantic-Based Applications", Semantic Web, Cham, pp.3983, 2016 [2] BusinessInsider, "www.businessinsider.com ", 2018 [3] Y Cao, M Long, J Wang, Q Yang, P.S Yu, "Deep Visual-Semantic Hashing for Cross-Modal Retrieval", Proceedings of the 22nd ACM SIGKDD International Conf on Knowledge Discovery and Data Mining, San Francisco, California, USA, pp.1445-1454, 2016 [4] Y Chou, D.J Lee, D Zhang, "Semantic-Based Brain MRI Image Segmentation Using Convolutional Neural Network", ISVC: Advances in Visual Computing, lu an Cham, pp.628-638, 2016 va [5] L Deligiannidis, H.R Arabnia, "Emerging Trends in Image Processing, Computer n tn to Vision, and Pattern Recognition", ed S Elliot, Elsevier, USA: Morgan Kaufmann, gh Waltham, MA 02451, 2015 p ie [6] Deloitte, "Photo sharing: trillions and rising", Deloitte Touche Tohmatsu Limited, w Deloitte Global, 2016 oa nl [7] Deloitte, "https://www2.deloitte.com", 2018 d [8] J Gantz, D Reinsel, "THE DIGITAL UNIVERSE IN 2020: Big Data, Bigger Digi lu nf va 2012 and 2014 an tal Shadows, and Biggest Growth in the Far East", IDC iView, EMC Corporation, lm ul [9] C Kurtz, A Depeursinge, C.F Beaulieu, "A semantic framework for the retrieval of similar radiological images based on medical annotations", IEEE International z at nh oi Conference on Image Processing (ICIP), Paris, France, 2014 [10] P Muneesawang, N Zhang, L Guan, "Multimedia Database Retrieval: z Technology and Applications", Springer, New York Dordrecht London, 2014 @ gm [11] A.B Spanier, D Cohen, L Joskowicz, "A new method for the automatic retrieval l of medical cases based on the RadLex ontology", International Journal of Computer m co Assisted Radiology and Surgery, vol 12, no 3, pp.471–484, 2017 an Lu [12] V Vijayarajan, M Dinakaran, P Tejaswin, M Lohani, "A generic framework for ontology‑based information retrieval and image retrieval in web data", Human- va centric Computing and Information Sciences, vol 6, no 18, pp.1-30, 2016 n ac th 39 si [13] X Xie, X Cai, J Zhou, N Cao, Y Wu, "A Semantic-based Method for Visualizing Large Image Collections", IEEE Transactions on Visualization and Computer Graphics, IEEE Computer Society, vol xx, no xx, pp.xx-xx, 2018 [14] [14] B.B.Z Yao, X Yang, L Lin, M.W Lee, S.-C Zhu, "I2T: Image Parsing to Text Description", Proceedings of the IEEE, pp.1485-1508, 2010 [15] Li, Wen, et al "Text-based image retrieval using progressive multi-instance learning." 2011 International Conference on Computer Vision IEEE, 2011 [16] Tollari, Sabrina, et al "Exploiting visual concepts to improve text-based image retrieval." European Conference on Information Retrieval Springer, Berlin, Heidelberg, 2009 [17] Karthikeyan, T., P Manikandaprabhu, and S Nithya "A survey on text and lu an content-based image retrieval system for image mining." International Journal of n va Engineering (2014) tn to [18] Al-Mohamade, Abeer, Ouiem Bchir, and Mohamed Maher Ben Ismail "Multiple Query Content-Based Image Retrieval Using Relevance Feature Weight Learning." gh p ie Journal of Imaging 6.1 (2020): [19] Douik, Ali, Mehrez Abdellaoui, and Leila Kabbai "Content based image retrieval oa nl w using local and global features descriptor." 2016 2nd International Conference on Advanced Technologies for Signal and Image Processing (ATSIP) IEEE, 2016 d an lu [20] Manolopoulos, Yannis, et al R-trees: Theory and Applications Springer Science nf va & Business Media, 2010 [21] Chandresh Pratap Singh, "R-Tree implementation of image databases " Signal & lm ul Image Processing: An International Journal (SIPIJ) Vol.2, No.4, December 2011 z at nh oi [22] Shifeng Wu1, Huazhu Song, Gui Cheng1, Xian Zhong, “Civil engineering supervision video retrieval method optimization based on spectral clustering and R- z tree” The Natural Computing Applications Forum, 2018 gm @ [23] Xia Tiantian, Lin Hong, Li Yuqiang, “Spatio-temporal Trajectory Gatherings co Convergence in Technology (I2CT), 2018 l Pattern Mining Method Based on R* tree Index” 3rd International Conference for m [24] Xinlu Wang, Weiming Meng, Mingchuan Zhang, “A novel information retrieval an Lu method based on R-tree index for smart hospital information system” International n va Journal of Advanced Computer Research, Vol 9(42), 2019 ac th 40 si [25] Yang Yang, Pengwei Bai, Ningling Ge, “LAZY R-tree: The R-tree with lazy splitting algorithm” Journal of Information Science, pp 1–15, 2019 [26] Yuan Qiu, Xinhong Hei, Tadashi Ohmori, Hideyuki Fujita, “An Object-Pair Driven Approach for Top-k mCK Query Problem by Using Hilbert R-tree” 18th IEEE International Conference On-Trust, Security And Privacy In Computing And Communications/13th IEEE International Conference On Big Data Science And Engineering, 2019 [27] L.T.V Thanh cộng sự, “Một phương pháp cải tiến cho tốn tìm kiếm ảnh dựa R-Tree”, Tạp chí Khoa học Cơng nghệ, Trường Đại học khoa học Đại học Huế, T 129, S 2A, 2020 [28] H Cevikalp, M Elmas, S Ozkan (2017), "Large-scale image retrieval using lu an transductive support vector machines", Computer Vision and Image Understanding, n va vol no pp.1-11 tn to [29] C.A Hernández-Gracidas, Sucar, L.E & Montes-y-Gómez (2013), "Improving image retrieval by using spatial relations", Multimed Tools Application, vol 62, no gh p ie 2, pp 479–505 [30] Nguyễn Minh Hải, Lê Thị Vĩnh Thanh, Văn Thế Thành, Trần Văn Lăng, “Tra cứu nl w ảnh theo ngữ nghĩa dựa phân cụm phân cấp”, Kỷ yếu Hội thảo Quốc gia d oa Nghiên cứu ứng dụng CNTT (FAIR), ĐH Huế, Nhà xuất Khoa học nf va an lu Tự nhiên Công nghệ, ISBN: 978-604-913-915-4, tr.502-511, 2019 z at nh oi lm ul z m co l gm @ an Lu n va ac th 41 si