(Luận văn thạc sĩ) xây dựng hệ thống truy vấn ảnh tương tự theo nội dung dựa trên cấu trúc cây r tree

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU BÁO CÁO ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG XÂY DỰNG HỆ TRUY VẤN ẢNH TƯƠNG TỰ THEO NỘI DUNG DỰA TRÊN CẤU TRÚC CÂY R-TREE Chủ nhiệm đề tài: Nguyễn Anh Tuấn Giáo viên hướng dẫn: ThS Lê Thị Vĩnh Thanh BÀ RỊA-VŨNG TÀU, 2020 THÔNG TIN ĐỀ TÀI Tên đề tài: Xây dựng hệ truy vấn ảnh tương tự theo nội dung dựa cấu trúc RTree Mã đề tài: SV2020-189 Thời gian nghiên cứu: Từ 02-2020 đến 10-2020 Chủ nhiệm: - Họ tên: NGUYỄN ANH TUẤN Đơn vị công tác: Lớp DH18LT, Khoa CNKT-NNCNC Mã số sinh viên: 18033747 Điện thoại: 0333326585 Email: anhtuan3675@outlook.com Các thành viên tham gia: Nguyễn Anh Tuấn, sinh viên lớp DH18LT (MSSV: 18033747) ThS Lê Thị Vĩnh Thanh, giảng viên Khoa Công nghệ Kỹ thuật – Nơng nghiệp Cơng nghệ cao Nội dung chính: Hình ảnh mang thơng điệp truyền tải ý nghĩa có tính xã hội cao Khơng thế, giúp người cập nhật thông tin giữ liên lạc với Với liệu hình ảnh phát triển ngày, nhu cầu chia sẻ tìm kiếm ảnh lớn lợi ích mà hình ảnh mang lại lĩnh vực ứng dụng Chính vậy, chúng tơi nghiên cứu xây dựng mơ hình cho tốn truy vấn ảnh tương tự Điều giúp cải thiện khả tìm kiếm truy xuất ảnh kho ảnh ngày mở rộng Để thực hiện, xây dựng phát triển mơ hình tìm kiếm ảnh dựa cấu trúc R-Tree; thuật toán tạo cây; thuật tốn duyệt tìm kiếm Vận dụng kiến thức tích lũy hướng dẫn, hỗ trợ từ Giảng viên hướng dẫn, kế thừa cải tiến cấu trúc liệu R-Tree, tính chất phân bố liệu lên để đảm bảo hiệu hệ truy vấn ảnh tương tự theo nội dung LỜI NÓI ĐẦU Ngày nay, cách mạng công nghiệp 4.0 bùng nổ ngành Công nghệ thông tin, điện tử… Đã làm cho đời sống người ngày nâng cao Trong đó, Trí tuệ nhân tạo, ngày chứng tỏ giá trị có ứng dụng vào nhiều lĩnh vực đời sống hàng ngày đem lại kết vượt trội Trí tuệ nhân tạo có nhiều ứng dụng cách triển khai Nhưng bật số giải tốn tìm kiếm ảnh tương tự Đó đưa hình ảnh mong muốn tìm hình ảnh khác có tính chất tương đồng Nó ứng dụng vào nhiều lĩnh vực như: Y khoa để chẩn đoán bệnh, thực phẩm để phát hàng thật/giả/kém chất lượng, nông nghiệp để phát sâu bệnh, toán điểm danh nhận diện khuôn mặt… Là sinh viên thuộc Khoa CNKT-NNCNC Trường Đại học Bà Rịa-Vũng Tàu, việc nghiên cứu áp dụng học vào đời sống thực tiễn điều cần thiết bối cảnh người làm chủ công nghệ Để góp phần tạo nên tảng đam mê việc học tập nghiên cứu Trí tuệ nhân tạo, em lựa chọn nghiên cứu toán “XÂY DỰNG HỆ TRUY VẤN ẢNH TƯƠNG TỰ THEO NỘI DUNG DỰA TRÊN CẤU TRÚC CÂY R-TREE” với hướng dẫn ThS Lê Thị Vĩnh Thanh (Giảng viên Khoa CNKT-NNCNC) Trong q trình thực hiện, có nhiều khó khăn vấp phải, điều kích thích sinh viên khả tư logic sáng tạo để tìm phương án tối ưu, đồng thời chủ động tìm hiểu, học hỏi từ người trước thân thiếu Tuy nhiên với hạn chế kinh nghiệm thực tế, nên tránh khỏi sai sót Do em mong nhận góp ý Q Thầy/Cơ bạn sinh viên để em hồn thiện mục tiêu MỤC LỤC CHƯƠNG I MỞ ĐẦU 1.1 Đặt vấn đề 1.2 Phương pháp nghiên cứu 1.3 Tính cấp thiết đề tài 1.4 Mục tiêu, nhiệm vụ giới hạn phần mềm CHƯƠNG II TỔNG QUAN BÀI TỐN TÌM KIẾM ẢNH THEO NỘI DUNG 2.1 Giới thiệu 2.2 Tra cứu ảnh dựa vào văn 2.3 Tra cứu ảnh dựa vào nội dung 2.4 Trích xuất đặc trưng ảnh 2.5 Độ đo tương đồng vector đặc trưng 2.6 Thuật toán gom cụm K-Means 10 CHƯƠNG III HỆ TRA CỨU ẢNH DỰA TRÊN CẤU TRÚC CÂY R-TREE 11 3.1 Các khái niệm R-Tree [20] 11 3.1.1 Giới thiệu 11 3.1.2 Cây R-Tree nguyên thủy 11 3.1.3 R-Tree liệu không gian 13 3.1.4 R-Tree liệu đa phương tiện 14 3.1.5 R-Tree kho liệu (Data Warehousing) khai phá liệu (Data Mining) 15 3.1.6 Kết hợp kỹ thuật khai phá liệu vào R-Tree ứng dụng cho toán truy vấn ảnh 15 3.2 Một phương pháp cải tiến cho tốn tìm kiếm ảnh dựa R-Tree .17 3.2.1 Cấu trúc RG-Tree 17 3.2.2 Một cải tiến cấu trúc RG-Tree 20 3.3 Cài đặt cấu trúc KNN_R-Tree 23 3.4 Các thuật toán xử lý KNN_R-Tree 24 3.4.1 Thuật toán chèn phần tử vào KNN_R-Tree 24 3.4.2 Thuật toán cập nhật tâm cụm 26 3.4.3 Thuật tốn Tìm kiếm ảnh tương tự KNN_R-Tree 27 3.5 Kết thực nghiệm 29 3.5.1 Cài đặt thực nghiệm 29 3.5.2 Các giao diện thực nghiệm 30 3.5.3 Phân tích kết thực nghiệm 33 CHƯƠNG IV KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 37 4.1 Những mặt làm 37 4.2 Những mặt tồn 37 4.3 Hướng phát triển 37 4.4 Kết luận 38 TÀI LIỆU THAM KHẢO 39 DANH MỤC HÌNH ẢNH Hình Minh họa tìm kiếm ảnh tương tự theo văn Hình Minh họa tìm kiếm ảnh dựa nội dung Hình Mô tả vùng không gian lưu trữ liệu bên 12 Hình Cây R-Tree tương ứng 12 Hình Minh họa độ đo giảm sai biệt KNN_R-Tree 21 Hình Internal (In) Node 23 Hình Leaf Node 23 Hình Cây KNN_R-Tree 24 Hình Mơ tả ảnh gốc phân vùng 27 Hình 10 Mơ hình truy vấn ảnh 28 Hình 11 Giao diện thiết lập thông số để thực việc tạo KNN_R-Tree 30 Hình 12 Giao diện đọc liệu vector từ DataSet tiền xử lý 31 Hình 13 Giao diện thêm vector từ DataSet vào KNN_R-Tree .31 Hình 14 Giao diện tìm kiếm ảnh tương tự dựa KNN_R-Tree .32 Hình 15 Giao diện xuất kết thực nghiệm với DataSet 32 Hình 16 Giao diện kết tìm kiếm ảnh tương tự 33 Hình 17 Giá trị trung bình Precision, Recall, F-measure tập liệu ImageCLEF 34 DANH MỤC TỪ VIẾT TẮT CBIR Content-based Image Retrieval CNN Convolution Neural Network DCC Dynamical Clustering Center DIS Distributed Information Systems DNN Deep Neural Network GEMINI Generic Multimedia Indexing GIS Geographic Information System KNN K - Nearest Neighbors LBS Location Based Service RG-Tree Region Growth Tree SOM Self-Organizing Maps TBIR Text-based Image Retrieval VLSI Very Large Scale Integrated DANH MỤC BẢNG BIỂU Bảng Các giá trị ngưỡng áp dụng cho chương trình thực nghiệm ……… 33 Bảng Hiệu suất truy vấn ảnh phương pháp đề xuất tập ảnh ImageCLEF………………………………………………………………… 34 Bảng Hiệu suất truy vấn ảnh trung bình tập ảnh ImageCLEF ……… 36 Bảng So sánh độ xác phương pháp liệu ImageCLEF.………………………………………………………………….36 CHƯƠNG I MỞ ĐẦU 1.1 Đặt vấn đề Một vấn đề quan trọng cần phải nghiên cứu hệ thống sử dụng khối liệu số lớn, đặc biệt liệu ảnh số (image) Nhu cầu sử dụng để phân tích mơ tả cho ngữ nghĩa hình ảnh giới Việt Nam tăng cao Theo đó, liệu số tồn cầu gia tăng khơng ngừng đạt đến khối lượng khổng lồ dẫn đến tốn khai phá liệu tra cứu thơng tin cần phải giải Theo IDC (International Data Corporation), liệu toàn cầu năm 2012, 2013 đạt 2.8 zettabytes 4.4 zettabytes; ước tính đến cuối năm 2020 liệu toàn cầu gấp 300 lần so với năm 2005, tức tăng từ 130 exabytes lên đến 40,000 exabytes (40 nghìn tỷ gigabytes = 40 zettabytes), liệu tạo từ thiết bị mobile chiếm 27%; đến năm 2025, liệu toàn cầu khoảng 163 zettabytes tăng gấp 10 lần so với năm 2017 [8] Mặt khác, liệu đa phương tiện (văn bản, hình ảnh, âm video) phát triển nhanh chóng nhiều hệ thống khác nhau, điện thoại thông minh, hệ thống mô đối tượng 2D, 3D, WWW, thiết bị viễn thông Ảnh số trở nên thân thuộc với sống người ứng dụng nhiều hệ thống tra cứu thông tin đa phương tiện Hệ thống thông tin bệnh viện (Hospital Information System), Hệ thống thông tin địa lý (Geographic Information System), Hệ thống thư viện số (Digital Library System), ứng dụng y sinh, phân tích hình ảnh thực phẩm, phân tích loại động thực vật, giáo dục đào tạo, giải trí… [10, 13] 1.2 Phương pháp nghiên cứu Tổng hợp lý thuyết cơng trình nghiên cứu liên quan phương pháp thực nghiệm Dữ liệu thông tin khoa học thu thập tổng hợp từ báo, tạp chí khoa học chuyên ngành Trường Đại học nước nước, qua trao đổi, định hướng Thầy/Cô hướng dẫn lĩnh vực nghiên cứu Việc tổng hợp lý thuyết, lựa chọn cách tiếp cận thông tin áp dụng thành cơng, thử nghiệm phân tích sở khách quan để đưa nhận định, kết luận phù hợp cho đề tài Thực nghiệm phương pháp đưa chứng minh kết tìm kiếm mức độ khả thi nghiên cứu Đây phương pháp quan trọng tạo định tính khả thi đề tài 1.3 Tính cấp thiết đề tài Theo WordStream, năm 2019, ngày có 8.95 triệu ảnh, video chia sẻ Instagram có 40 tỷ hình ảnh Theo thống kê Google, khoảng 93 triệu ảnh tạo ngày kể từ 2014; theo tổ chức Gigaom, năm 2017, người trung bình tạo 630 ảnh điện thoại; theo tổ chức Mylio, năm 2017, năm người tạo 1000 ảnh, năm tạo nghìn tỷ hình ảnh… Năm 2015, tổng số hình ảnh tồn cầu đạt 3.2 nghìn tỷ; năm 2016, có 3.5 triệu hình ảnh chia sẻ phút có 2.5 nghìn tỷ hình ảnh chia sẻ lưu trữ trực tuyến Trong năm 2017, giới tạo 1.2 nghìn tỷ hình ảnh tổng số ảnh tồn cầu đến năm 2017 4.7 nghìn tỷ; đó, hình ảnh tạo từ thiết bị moblie 90% [2, 6, 7] Kích thước số lượng ảnh ngày gia tăng nên cần phải có nhiều hệ thống xử lý phức tạp nhằm đáp ứng yêu cầu người dùng Vì vậy, cần phải có hệ thống truy vấn ảnh số tự động thiết bị hệ thống đa phương tiện Việc tra cứu ảnh để tìm tập ảnh tương tự trích xuất ngữ nghĩa hình ảnh toán quan trọng hệ thống đa phương tiện phù hợp với xu xã hội đại Bài toán khai phá liệu tra cứu thơng tin liên quan đến hình ảnh phải quan tâm giải quyết; việc phân loại tra cứu ngữ nghĩa toán quan trọng nhiều hệ thống đa phương tiện [5] Nhiều hệ truy vấn ảnh theo ngữ nghĩa công bố ứng dụng nhiều lĩnh vực khác như: truy vấn hình ảnh dựa đặc trưng ngữ nghĩa mức cao áp dụng cho ảnh y khoa [9], truy vấn ảnh y khoa sử dụng mạng nơ-ron tích chập CNN (Convolutional Neural Network) [4], ứng dụng ngữ nghĩa hình ảnh hệ thống thơng tin phân tán DIS (Distributed Information Systems) [1], hệ truy vấn ảnh y khoa theo nội dung M-CBIR (Medical Content-based Image Retrieval) dựa cấu trúc vân ảnh thơng tin hình ảnh ontology [11]… Trong lĩnh vực khác nhau, hệ thống đa phương tiện cần phải trích xuất ngữ nghĩa đối tượng nhằm mô tả nội dung Bài tốn tìm kiếm ảnh theo ngữ nghĩa thực cách trích xuất đặc trưng hình ảnh tạo ngữ nghĩa; sau tra cứu