[LUẬN VĂN THẠC SĨ] Một cấu trúc cây phân cụm không gian R-Tree áp dụng cho bài toán tìm kiếm ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÀ RỊA – VŨNG TÀU VIỆN ĐÀO TẠO SAU ĐẠI HỌC

NGUYỄN THỊ QUỲNH HƯƠNG

MỘT CẤU TRÚC CÂY PHÂN CỤM KHÔNG GIAN R-TREE ÁP DỤNG CHO

BÀI TOÁN TÌM KIẾM ẢNH

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Bà Rịa Vũng Tàu, tháng 08 năm 2023

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÀ RỊA – VŨNG TÀU VIỆN ĐÀO TẠO SAU ĐẠI HỌC

NGUYỄN THỊ QUỲNH HƯƠNG

MỘT CẤU TRÚC CÂY PHÂN CỤM KHÔNG GIAN R-TREE ÁP DỤNG CHO

BÀI TOÁN TÌM KIẾM ẢNH

LUẬN VĂN THẠC SĨ

Chuyên ngành: Công nghệ thông tin Mã ngành: 8480201

CÁN BỘ HƯỚNG DẪN KHOA HỌC: TS Văn Thế Thành

Bà Rịa Vũng Tàu, tháng 08 năm 2023

LỜI CAM ĐOAN

Tôi xin cam đoan, đây là bài luận văn, là công trình nghiên cứu nghiêm túc của riêng

tôi Các kết quả, số liệu đưa ra trong luận văn “Một cấu trúc cây phân cụm không

gian R-Tree áp dụng cho bài toán tìm kiếm ảnh” là trung thực và không trùng lặp hay

sao chép bất kỳ công trình nào khác

Tôi xin cam đoan mọi sự giúp đỡ trong quá trình hoàn thành luận văn này đã được cảm ơn và các thông tin trích dẫn trong luận văn đã được chỉ rõ nguồn gốc

Học viên thực hiện Luận văn

Nguyễn Thị Quỳnh Hương

LỜI CÁM ƠN

Để hoàn thành luận văn “Một cấu trúc cây phân cụm không gian R-Tree áp dụng cho bài toán tìm kiếm ảnh”, đầu tiên, tôi xin bày tỏ sự biết ơn, lời cảm ơn sâu sắc đến Ts.Văn Thế Thành - Giáo viên hướng dẫn khoa học đã trực tiếp hướng dẫn tôi Thầy luôn quan tâm, chỉ bảo, giúp đỡ và động viên tôi trong suốt thời gian xây dựng bài luận

Tôi cũng xin gửi lời cảm chân thành tới chị Lê Thị Vĩnh Thanh vì đã luôn bên cạnh hỗ trợ, động viên, giúp đỡ tôi trong quá trình tìm hiểu và nghiên cứu luận văn Tôi cũng muốn cảm ơn các thầy, các cô là giảng viên của trường Đại học Bà Rịa Vũng Tàu đã tạo điều kiện thuận lợi cho tôi trong suốt quá trình học tập tại trường

Trong luận văn, mặc dù đã cố gắng hết sức nhưng sẽ không tránh khỏi những thiếu sót và hạn chế Tôi rất mong muốn sẽ nhận được sự chia sẻ, đóng góp quý báu của Quý Thầy Cô trong hội đồng và các bạn để luận văn được hoàn thiện hơn

Tôi xin chân thành cảm ơn.

MỤC LỤC

Chương 1 TỔNG QUAN VỀ BÀI TOÁN TÌM KIẾM ẢNH 3

1.1 Giới thiệu 3

1.2 Vai trò và ứng dụng của bài toán tìm kiếm ảnh 4

1.3 Đối tượng và phương pháp nghiên cứu 5

1.3.1 Đối tượng nghiên cứu 5

1.3.2 Phương pháp nghiên cứu 6

1.4 Tổng quan về bài toán tìm kiếm ảnh 7

1.5 Các công trình liên quan cho bài toán tìm kiếm ảnh 9

1.6 Nội dung tiếp cận cho bài toán tìm kiếm ảnh 13

1.7 Tổng kết chương 13

Chương 2 CÁC KỸ THUẬT KHAI PHÁ DỮ LIỆU CHO BÀI TOÁN TÌM KIẾM ẢNH TƯƠNG TỰ 14

2.1 Mở đầu 14

2.2 Một số kỹ thuật khai phá dữ liệu cho bài toán tìm kiếm ảnh 14

2.3 Phân cụm phân hoạch K-Means 15

3.2 Cây R-Tree nguyên thủy 27

3.3 Đề xuất cấu trúc HM-RST dựa trên sự kết hợp RS-Tree và bảng băm 29

3.3.1 Mô tả cấu trúc cây RS-Tree 29

3.3.2 Một cấu trúc gom cụm kết hợp cây RS-Tree và bảng băm 30

3.3.3 Các thuật toán trên cấu trúc cây HM-RST 32

3.4 Thuật toán xoá phần tử trên cấu trúc HM-RST 35

3.5 Thuật toán tìm kiếm ảnh tương tự 37

3.6 Tổng kết chương 38

Chương 4 THỰC NGHIỆM TÌM KIẾM ẢNH 39

4.1 Giới thiệu mô hình tìm kiếm ảnh dựa trên cấu trúc HM-RST 39

4.7.1 Thực nghiệm trích xuất đặc trưng ảnh 44

4.7.2 Thực nghiệm tìm kiếm ảnh dựa trên cấu trúc HM-RST 47

4.7.3 Kết quả thực nghiệm tìm kiếm ảnh trên cấu trúc HM-RST 52

4.7.4 So sánh kết quả với các công trình liên quan 60

4.8 Tổng kết 61

KẾT LUẬN 62

TÀI LIỆU THAM KHẢO 63

DANH MỤC CÁC TỪ VIẾT TẮT

TBIR (Text-based Image Retrieval) Tìm kiếm ảnh theo từ khóa CBIR (Content-based Image Retrieval) Tìm kiếm ảnh theo nội dung DLS (Digital Libray System) Hệ thống thư viện số

K-NN (K-Nearest Neighbors) K láng giềng gần nhất GIS (Geographic Information System) Hệ thống thông tin địa lý HIS (Hospital Information System) Hệ thống thông tin bệnh viện DLS (Digital Library System) Hệ Thống thư viện số

CT (computerized tomography) Chụp cắt lớp vi tính MRI (Magnetic resonance imaging) Chụp cộng hưởng từ

CBS (Corner-based Splitting) Thuật toán phân tách dựa trên góc VLSI (Very Large Scale Integrated) Ứng dụng thiết kế

MBR (Minimum Bound Rectangle) Hình chữ nhật bao phủ tối thiểu MBS (Minimum Bound Sphere) Khối cầu bao phủ tối thiểu

Hình 4.1 Mô hình tìm kiếm ảnh dựa trên HM-RST và mạng học sâu Faster R-CNN Hình 4.2 Minh họa trích xuất đặc trưng cấp thấp của hình ảnh

Hình 4.3 Minh hoạ trích xuất đặc trưng cho bộ dữ liệu ảnh COREL

Hình 4.4 Minh hoạ trích xuất đặc trưng cho bộ dữ liệu ảnh OxfordFlowers-17 Hình 4.5 Minh hoạ trích xuất đặc trưng cho bộ dữ liệu ảnh MS-COCO

Hình 4.6 Giao diện tạo cấu trúc HM-RST

Hình 4.7 Giao diện tìm kiếm ảnh của bộ dữ liệu COREL trên cấu trúc HM-RST

Hình 4.8 Kết quả tìm kiếm cho ảnh 429.jpg của phân lớp dinosaur

Hình 4.9 Giao diện tìm kiếm ảnh của bộ OxfordFlowers-17 trên cấu trúc HM-RST Hình 4.10 Kết quả tìm kiếm cho ảnh image_1202.jpg của phân lớp Windflower Hình 4.11.Giao diện tìm kiếm ảnh trên cấu trúc HM-RST trên bộ ảnh MS-COCO Hình 4.12 Kết quả tìm kiếm cho ảnh 000000000154.jpg của phân lớp zebra Hình 4.13 Hiệu suất truy vấn trung bình trên bộ dữ liệu COREL

Hình 4.14 Hiệu suất truy vấn trung bình trên bộ dữ liệu OxfordFlowers-17 Hình 4.15 Hiệu suất truy vấn trung bình trên bộ dữ liệu MS-COCO

Hình 4.16 Thời gian tìm kiếm trung bình của tập ảnh COREL

Hình 4.17 Thời gian tìm kiếm trung bình của tập ảnh OxfordFlowers-17 Hình 4.18 Thời gian tìm kiếm trung bình của tập ảnh MS-COCO

Hình 4.19 Độ chính xác, độ phủ và đường cong ROC của bộ COREL

Hình 4.20 Độ chính xác, độ phủ và đường cong ROC của bộ OxfordFlowers-17

Hình 4.21 Độ chính xác, độ phủ và đường cong ROC của bộ dữ liệu MS-COCO

DANH SÁCH BẢNG BIỂU

Bảng 4.1 Mô tả bộ dữ liệu ảnh thực nghiệm

Bảng 4.2 Mô tả các tham số thực nghiệm xây dựng cấu trúc HM-RST Bảng 4.3 Kết quả thực nghiệm xây dựng cấu trúc HM-RST

Bảng 4.4 Hiệu suất tìm kiếm của hệ CBIR_HMRST trên tập ảnh COREL

Bảng 4.5 Hiệu suất tìm kiếm của hệ CBIR_HMRST trên tập ảnh OxfordFlowers-17 Bảng 4.6 Hiệu suất tìm kiếm của hệ CBIR_HMRST trên tập ảnh MS-COCO

Bảng 4.7 So sánh độ chính xác giữa các phương pháp trên tập ảnh COREL Bảng 4.8 So sánh độ chính xác giữa các phương pháp trên tập ảnh Flowers-17 Bảng 4.9 So sánh độ chính xác giữa các phương pháp trên tập ảnh MS-COCO

MỞ ĐẦU

Bài toán tìm kiếm ảnh tương tự là một trong những bài toán có tính thời sự và được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau Nhiều công bố về bài toán này đã được xuất bản trong những năm gần đây Trong luận văn này, một mô hình tìm kiếm ảnh dựa trên cấu trúc cây R-Tree được thực hiện nhằm nâng cao hiệu suất về độ chính xác cũng như thời gian tìm kiếm Để tiếp cận được mô hình tìm kiếm ảnh này, nội dung luận văn lần lượt khảo sát các đối tượng nghiên cứu liên quan cũng như các phương pháp nghiên cứu nhằm làm cơ sở cho quá trình thực hiện luận văn Đối với phương pháp nghiên cứu, luận văn dựa trên hai nhóm phương pháp chính đó là khảo sát lý thuyết để đưa ra đề xuất và phương pháp thực nghiệm nhằm minh chứng cho cơ sở lý thuyết

Trên cơ sở việc phân tích và đánh giá các phương pháp khai phá dữ liệu, đại diện là kỹ thuật gom cụm và kỹ thuật phân lớp, nội dung luận văn lần lượt phân tích ưu và nhược điểm của các kỹ thuật liên quan, cụ thể là thuật toán K-Means, phân cụm phân cấp và thuật toán KNN Các kỹ thuật này đều có thể áp dụng được cho bài toán tìm kiếm ảnh, nhưng có một số hạn chế nhất định khi áp dụng cho bộ dữ liệu tăng trưởng cũng như cân bằng thời gian tìm kiếm Sau quá trình phân tích này, cây R-Tree được sử dụng nhằm vượt qua các hạn chế của các phương pháp phân cụm phân hoạch và phân cụm phân cấp Vì vậy, nội dung luận văn lần lượt thực hiện áp dụng cấu trúc cây R-Tree cho bài toán phân cụm dữ liệu hình ảnh, đồng thời đưa ra các cải tiến cho cây R-Tree nhằm nâng cao độ chính xác cũng như giảm chi phí khi thực hiện các thao tác trên cây

Quá trình cải tiến cây R-Tree mà mỗi điểm dữ liệu trên cây là một khối cầu để từ đó hình thành các khối cầu trung gian nhằm thực hiện các phép toán trên các khối cầu này Việc tách nút trên cây có thể gây ra sự thay đổi lớn cho cấu trúc cây R-Tree, nên nội dung luận văn đã đề xuất cải tiến vùng không gian tại nút lá dựa trên một bộ nhớ đệm kết hợp với ngưỡng tương tự nhằm hạn chế việc tách nút cũng như đưa các phần tử gần nhau về cùng một nút lá Dựa trên cơ sở đề xuất này, luận văn tiến hành thực nghiệm tìm kiếm ảnh tương tự trên các bộ ảnh thông dụng khác nhau để từ đó làm cơ sở đánh giá và so sánh với các phương pháp khác nhằm minh chứng tính hiệu quả của phương pháp đã đề xuất

Chương 1 TỔNG QUAN VỀ BÀI TOÁN TÌM KIẾM ẢNH 1.1 Giới thiệu

Bài toán tìm kiếm ảnh tương tự là một bài toán quan trọng và được ứng dụng trong nhiều lĩnh vực khác nhau, đặc biệt là trong các hệ thống xử lý dữ liệu đa phương tiện nhằm áp dụng giải quyết việc tìm kiếm các đối tượng ảnh tương tự nhau về mặt nội dung dựa trên đặc trưng cấp thấp hoặc đặc trưng ngữ nghĩa cấp cao Trong chương này, các nội dung cơ sở cho bài toán tìm kiếm ảnh tương tự lần lượt được tiếp cận, bao gồm: (1) các đối tượng cần được nghiên cứu tập trung vào đặc trưng hình ảnh, phương pháp phân cụm nhằm tạo thành các nhóm ảnh tương tự cho bài toán tìm kiếm, các cấu trúc phân cụm phân hoạch, phân cụm phân cấp… để từ đó nội dung luận văn tiếp cận cấu trúc R-Tree và đề xuất cải tiến nhằm giảm chi phí tách nút, tăng hiệu suất của quá trình tìm kiếm ảnh, (2) các phương pháp nghiên cứu lần lượt được tiếp cận theo cơ sở lý thuyết từ các công trình đã công bố, để từ đó đưa ra cấu trúc tiếp cận mới cho cây R-Tree Trên cơ sở lý thuyết này, phương pháp thực nghiệm được xây dựng nhằm minh chứng tính khả thi của cấu trúc đề xuất Thực nghiệm của luận văn dựa trên các bộ ảnh phổ dụng nhằm đánh giá và so sánh kết quả với một số công trình đã công bố gần đây để minh chứng tính hiệu quả của cơ sở lý thuyết đề xuất, (3) việc khảo sát tính ứng dụng và tính thời sự của bài toán tìm kiếm ảnh cũng được thực hiện trong nội dung chương này nhằm minh chứng sự cần thiết cũng như ý nghĩa về mặt khoa học, tính ứng dụng

Trên cơ sở các nội dung tổng quát được tiếp cận, nội dung của chương lần lượt đi vào các phần như sau: (1) vai trò và ứng dụng của bài toán tìm kiếm ảnh nhằm minh chứng tính thời sự và tính ứng dụng của bài toán, (2) đối tượng nghiên cứu nhằm định hướng quá trình tìm hiểu, nghiên cứu cũng như đề xuất cải tiến cho một cấu trúc mới dựa trên cấu trúc R-Tree đã có, (3) phương pháp nghiên cứu để mô tả các bước thực hiện cũng như quá trình đánh giá cho các đề xuất, (4) các công trình liên quan được khảo sát và phân tích nhằm minh chứng tính khả thi và sự kế thừa kết quả cơ sở, (5) nội dung tổng quát của các chương cũng lần lượt được tiếp cận và định hướng phát triển các nội dung này trong các chương tiếp theo

1.2 Vai trò và ứng dụng của bài toán tìm kiếm ảnh

Nhiều ứng dụng của bài toán tìm kiếm ảnh tương tự đã được công bố rộng rãi

dựa trên các hệ thống như: hệ thống thông tin địa lý GIS (Geographic Information

System), hệ thống thông tin bệnh viện HIS (Hospital Information System), hệ thống

thư viện số DLS (Digital Library System)… Dữ liệu ảnh có vai trò quan trọng trong

nhiều lĩnh vực khác nhau, liên quan đến lĩnh vực tìm kiếm ảnh tương tự theo nội dung, làm cơ sở cho bài toán phân tích hình ảnh theo nội dung, kết xuất đối tượng gần nhất theo đặc trưng hình ảnh, phân nhóm các hình ảnh theo chủ đề… [29] Dữ liệu ảnh được ứng dụng trong các lĩnh vực khác nhau như thiết kế kiến trúc (Yue và cộng sự, 2011) [46], phòng chống tội phạm (Kekre và cộng sự, 2011) [23], kiểm tra an ninh (Iqbal và cộng sự, 2012) [22], viễn thám (Kekre và cộng sự, 2010) [24], chẩn đoán bệnh trong y tế (Muller và cộng sự, 2004) [30], v.v

Trong lĩnh vực y tế, ảnh số được sử dụng với số lượng ngày càng tăng, tại Khoa X-quang của Bệnh viện Đại học Geneva có hơn 12.000 hình ảnh mỗi ngày vào năm 2002; Tổng lượng dữ liệu hình ảnh tim mạch được tạo ra tại Bệnh viện Đại học Geneva khoảng 1 TB vào năm 2002 [30] Các loại hình ảnh khác nhau cũng đang được tạo ra bởi các thiết bị hình ảnh y tế như chụp cắt lớp vi tính (CT), chụp cộng hưởng từ (MRI), hình ảnh hạt nhân, v.v ngày càng được gia tăng và trở thành các kho dữ liệu lớn và được coi là nguồn dữ liệu hỗ trợ chẩn đoán [35] Tuy nhiên, do sự gia tăng nhanh chóng của số lượng hình ảnh y tế từng ngày, nên việc khai phá dữ liệu giúp chẩn đoán bệnh nhân tại các cơ sở y tế và bệnh viện ngày càng trở nên khó khăn hơn và đòi hỏi các phương pháp tìm kiếm, lập chỉ mục và truy xuất hình ảnh chính xác và hiệu quả hơn vì vậy việc truy xuất và lập chỉ mục hình ảnh dựa trên nội dung cần được thực hiện Các hệ thống truy xuất hình ảnh y tế áp dụng bài toán tìm kiếm ảnh tương tự để truy xuất các hình ảnh giống nhất từ một tập ảnh tương tự nhằm hỗ trợ quá trình chẩn đoán bệnh nhân từ các nội dung tham chiếu đối với hình ảnh đã có Để có thể thực hiện được việc tìm kiếm hình ảnh một cách nhanh chóng, các đặc trưng cấp thấp được sử dụng làm cơ sở đối sánh độ tương tự như: màu sắc, kết cấu, hình dạng, cấu trúc, v.v [17]

Dữ liệu số trên toàn cầu được gia tăng không ngừng, theo tổ chức IDC

(International Data Corporation) dự đoán dữ liệu toàn cầu có kích thước 175ZB vào

năm 2025 (1ZB ⁓ 1 nghìn tỷ GB) [48] Theo thống kê năm 2020, Google xử lý 3.9 tỷ lượt tìm kiếm mỗi ngày Một phần ba tổng số tìm kiếm được thực hiện trên Google dành cho hình ảnh và 12.5% hiển thị kết quả hình ảnh [52] Hơn 70% lượt truy cập trên Instagram để xem ảnh vào năm 2023 [50].Người dùng chia sẻ 6.9 tỷ hình ảnh trên WhatsApp mỗi ngày, 3.8 tỷ trên Snapchat, 2.1 tỷ trên Facebook và 1.3 tỷ trên Instagram [51] Cùng với sự phát triển của Internet, ảnh số đã được sử dụng trên nhiều thiết bị khác nhau như: camera, mobile, smartphone, tablet,… Số liệu thống kê về tăng trưởng Internet từ Statista cho thấy tính đến tháng 4 năm 2022, có năm tỷ người dùng Internet trên toàn thế giới, chiếm 63% dân số toàn cầu Trong tổng số này, 4.65 tỷ là người dùng mạng xã hội và thiết bị mobile có đến 4.28 tỷ người dùng [49]

Kích thước và số lượng ảnh ngày càng được gia tăng nên cần phải có nhiều hệ thống xử lý đáp ứng yêu cầu của người dùng Do đó, hệ thống tìm kiếm ảnh phải được xây dựng với mục đích nâng cao hiệu quả và độ chính xác của quá trình tìm kiếm ảnh Bài toán khai phá dữ liệu ảnh để tìm ra tập ảnh tương tự là một bài toán quan trọng có tính thời sự và phù hợp với các hệ thống tìm kiếm ảnh hiện nay [15]

1.3 Đối tượng và phương pháp nghiên cứu 1.3.1 Đối tượng nghiên cứu

Nội dung luận văn tiếp cận xây dựng một mô hình tìm kiếm ảnh tương tự dựa trên đặc trưng cấp thấp như: màu sắc, hình dạng, kích thước, cấu trúc bề mặt… Các đặc trưng này được trích xuất trực tiếp từ một hình ảnh truy vấn đầu vào để từ đó tạo thành một véc-tơ đặc trưng làm cơ sở cho việc đối sánh, tra cứu và tìm kiếm hình ảnh tương tự Các véc-tơ đặc trưng của bộ dữ liệu ảnh được trích xuất và lưu trữ trên một cấu trúc R-Tree nhằm tăng hiệu suất của quá trình tìm kiếm ảnh

Để tiếp cận được đối tượng nghiên cứu như trên, đề tài luận văn lần lượt nghiên cứu các đối tượng gồm:

- Ảnh số và phương pháp trích xuất đặc trưng hình ảnh số để làm cơ sở phân cụm cũng như tổ chức dữ liệu trên cấu trúc cây R-Tree

- Cấu trúc dữ liệu về cây R-Tree, một cấu trúc tìm kiếm hiệu quả cho bài toán tìm kiếm ảnh theo nội dung Từ đó, một cấu trúc cải tiến được tiếp cận nhằm tăng hiệu suất cho bài toán tìm kiếm

- Các thuật toán thao tác trên cây cũng được tiếp cận nhằm thực hiện quá trình truy xuất và truy hồi các hình ảnh tương tự đối với ảnh đầu vào Các thuật toán này thực hiện các thao tác trên cây R-Tree bao gồm: tạo cây, thêm phần tử, xóa phần tử, tách nút Bên cạnh đó, thuật toán tìm kiếm tập ảnh tương tự trên cây R-Tree được đề xuất

- Các phương pháp phân cụm và độ đo tương tự giữa hai hình ảnh được tiếp cận nghiên cứu nhằm so sánh, đánh giá ưu và nhược điểm của phương pháp đề xuất với các phương pháp đã có

- Mô hình tìm kiếm ảnh được đề xuất dựa trên cây R-Tree và cải tiến

1.3.2 Phương pháp nghiên cứu

Trên cơ sở các tài liệu có liên quan đã được công bố, nội dung luận văn lần lượt tiếp cận nhằm phân tích, đánh giá các ưu và nhược điểm để từ đó đưa ra một mô hình phù hợp nhằm nâng cao hiệu suất tìm kiếm ảnh theo nội dung Nhằm thực hiện được các phân tích cũng như đưa ra các đề xuất về cơ sở lý thuyết, quá trình nghiên cứu lần lượt được thực hiện như sau:

- Thực hiện việc phân tích hình ảnh và trích xuất đặc trưng hình ảnh nhằm tạo ra dữ liệu mô tả dạng chỉ mục cho mỗi hình ảnh Trong vấn đề này, mỗi hình ảnh được rút gọn trở thành một dạng chỉ mục mô tả đặc trưng cho hình ảnh để nâng cao hiệu suất về độ chính xác cũng như thời gian tìm kiếm

- Phân tích, nghiên cứu cấu trúc cây phân cụm đa nhánh cân bằng R-Tree để từ đó đưa ra các cải tiến cho quá trình lưu trữ và tìm kiếm hình ảnh

- Thực hiện các thuật toán thao tác trên cây gồm: thêm, xóa, cập nhật, tách nút nhằm đáp ứng việc tăng trưởng dữ liệu và nâng cao độ chính xác cho kết quả tìm kiếm hình ảnh tương tự

- Xây dựng một mô hình tìm kiếm ảnh dựa trên cơ sở các đề xuất về cấu trúc cây R-Tree và các thuật toán trên cây cho bài toán tìm kiếm ảnh tương tự Để thực hiện phương pháp nghiên cứu này, hai nhóm phương pháp chính được

- Phương pháp nghiên cứu lý thuyết: Nghiên cứu các công trình đã công bố có liên quan về vấn đề truy vấn thông tin thị giác máy tính, truy vấn hình ảnh tương tự; nghiên cứu về độ đo tương tự giữa các hình ảnh, không gian khoảng cách giữa các đối tượng Sau đó đánh giá những ưu điểm và các khiếm khuyết của các công trình trong những điều kiện dữ liệu cụ thể Từ đó, đề tài đưa ra cải tiến mới để khắc phục những khiếm khuyết trong các ngữ cảnh cụ thể

- Phương pháp thực nghiệm: Mỗi tiếp cận được thử nghiệm trên một công cụ lập trình cụ thể nhằm minh họa tính đúng đắn của phương pháp Từ đó, đề tài luận văn mô tả số liệu thực nghiệm nhằm minh chứng cho cơ sở lý thuyết Trong phương pháp nghiên cứu này, đề tài mô tả thực nghiệm trên tập dữ liệu ảnh mẫu COREL, OXFORD FLOWER, COCO

1.4 Tổng quan về bài toán tìm kiếm ảnh

Có hai tiếp cận tìm kiếm ảnh tương tự thông dụng hiện nay bao gồm: tìm kiếm

ảnh tương tự theo từ khóa TBIR (Text-based Image Retrieval), và tìm kiếm ảnh tương tự theo nội dung CBIR (Content-based Image Retrieval) được thực hiện và có nhiều

cải tiến trong những năm gần đây nhằm tăng tính hiệu quả về độ chính xác cũng như thời gian tìm kiếm [21], [4] Đối với bài toán tìm kiếm hình ảnh dựa trên văn bản

TBIR được thực hiện theo mô tả của người dùng và theo các từ khóa đã được chỉ định

Do đó, cách tiếp cận này tốn nhiều chi phí về tài nguyên con người cũng như phụ thuộc vào yếu tố chủ quan trong việc tạo các mô tả cho hình ảnh Vì vậy, kết quả tìm kiếm ảnh có thể nhận được các hình ảnh không liên quan đến hình ảnh ban đầu Ngoài ra, đối với các bộ dữ liệu ảnh lớn và có tính chất tăng trưởng thì chi phí cho quá trình gắn nhãn hình ảnh là tương đối lớn Để vượt qua hạn chế này, các đặc trưng của hình ảnh phải được trích xuất tự động và tạo ra được một tập dữ liệu chỉ mục lưu trữ trên một cấu trúc tìm kiếm nhằm tăng tốc độ thực hiện quá trình tìm kiếm ảnh tương tự Phương pháp tìm kiếm ảnh dựa trên nội dung CBIR được phát triển và tập trung vào việc trích xuất, so sánh các đặc trưng cấp thấp từ hình ảnh như: màu sắc, kết cấu, hình dạng, vị trí… để đưa ra kết quả là một tập ảnh tương tự Nhiều công bố đã được thực hiện trong thập kỷ qua đã chứng minh tính hiệu quả của tiếp cận CBIR cũng như việc ứng dụng trong nhiều hệ thống khác nhau [2, 21, 33]

Đối với bài toán tìm kiếm ảnh dựa trên nội dung CBIR, mỗi hình ảnh đầu vào hệ thống trả về một kết quả là một tập các hình ảnh tương tự dựa trên đặc trưng cấp thấp Trong hệ tìm kiếm ảnh CBIR, độ đo đánh giá sự tương đồng của các hình ảnh được áp dụng nhằm mục đích tìm ra các hình ảnh gần nhất cũng như thực hiện việc

sắp xếp các hình ảnh theo thứ tự độ tương đồng Hình 1.1 mô tả kiến trúc tổng quan

cho một hệ tìm kiếm ảnh theo nội dung CBIR Trong mô hình này, tập dữ liệu ảnh được tạo chỉ mục để trở thành tập các nhóm chỉ mục đặc trưng và lưu trữ trên một cấu trúc dữ liệu Với mỗi hình ảnh cần truy vấn đầu vào, hệ thống thực hiện việc đối sánh, truy xuất tập hình ảnh tương tự dựa trên đặc trưng cấp thấp đã được trích xuất

Hình 1.1:Mô hình tìm kiếm ảnh tương tự theo nội dung

1.5 Các công trình liên quan cho bài toán tìm kiếm ảnh

Nhiều công trình nghiên cứu đã tiếp cận cấu trúc cây nhằm tăng hiệu suất tìm kiếm ảnh tương tự, các cấu trúc cây cho bài toán này gồm: R*-Tree, X-Tree, SS-Tree, SR-Tree.v.v [3], [42], [7], [39] Nhiều công trình đã ứng dụng cấu trúc cây đa nhánh vào các bài toán tìm kiếm ảnh dựa trên nội dung và được thực nghiệm trên các bộ dữ liệu khác nhau nhằm minh chứng tính hiệu quả của phương pháp Kết quả thực nghiệm này được so sánh với các công trình khác trên cùng bộ ảnh nhằm đánh giá tính đúng đắn của mô hình đề xuất

Năm 2013, Timothy Chappell và Shlomo Geva tiếp cận bài toán tìm kiếm ảnh tương tự sử dụng độ đo Hamming và chuỗi đặc trưng nhị phân đối với mỗi hình ảnh Nhóm tác giả đã thực nghiệm và đánh giá tính hiệu quả của phương pháp về tốc độ tìm kiếm ảnh trên bộ dữ liệu ảnh lớn [10] Tuy nhiên trong bài báo này, nhóm tác giả chưa xây dựng hoặc đề ra một cấu trúc dữ liệu nhằm gom nhóm và tiền xử lý cho bài toán tìm kiếm ảnh

Năm 2017, Thanh TV và Thanh ML đã trình bày cách truy xuất hình ảnh dựa trên nội dung dựa trên đồ thị cụm chữ ký nhị phân Theo kết quả thực nghiệm và các phân tích, với các so sánh khác cho thấy phương pháp đã đề xuất là hiệu quả về độ chính xác cũng như thời gian truy vấn [38]

Li Yu và cộng sự (2018) giải quyết bài toán truy xuất hình ảnh hàng hóa dựa trên nội dung hình ảnh có gắn trọng số cho đặc trưng hình ảnh Quá trình xử lý cho bài toán tìm kiếm hình ảnh gồm ba giai đoạn: (1) Hình ảnh được tiền xử lý để trích xuất đối tượng và ảnh nền (2) Trích xuất đặc trưng cho mỗi hình ảnh gắn với trọng số tương ứng (3) Một bản chỉ mục được tạo ra để truy xuất các hình ảnh tương tự dựa trên việc tra cứu Kết quả thực nghiệm của bài báo trên tập dữ liệu hình ảnh hàng hóa thực tế cho thấy thuật toán đạt được độ chính xác cao trên tập dữ liệu hình ảnh lớn [44] Đối với cách tiếp cận này, quá trình tìm kiếm ảnh được thực hiện qua một cấu trúc tra cứu nên việc đối sánh dữ liệu tăng tính hiệu quả về thời gian thực hiện nhưng độ chính xác của tập hình ảnh kết quả vẫn còn hạn chế vì tập ảnh tương tự chưa được phân cụm cũng như chưa được tiền xử lý trước

F Duan và Q Zhang (2020) đã tiếp cận phương pháp truy dựa trên cây hậu tố và cây phân cụm phân cấp Các đặc trưng hình dạng và màu sắc được trích xuất nhằm thực hiện lưu trữ trên các nút lá của cây phân cụm phân cấp Các đặc trưng này được ánh xạ vào tọa độ hai chiều đồng thời được gán nhãn dựa trên cây hậu tố Trong bài báo này, nhóm tác giả cũng đã đề xuất các thuật toán về việc lập chỉ mục cho đặc trưng hình ảnh và thuật toán tìm kiếm ảnh dựa trên nội dung [14] Tuy nhiên, việc kết hợp hai cấu trúc cây cho bài toán tìm kiếm ảnh sẽ tốn kém nhiều chi phí tìm kiếm

Chandresh Pratap Singh (2011) đã sử dụng phương pháp tiếp cận ma trận khoảng cách và thuật toán phát hiện cạnh Sobel để tìm kiếm hình ảnh tương tự dựa trên cấu trúc R-Tree [36] Tuy nhiên, việc áp dụng cây R-Tree nguyên thủy gây tốn kém về mặt tính toán cũng như sắp xếp các vùng không gian khi thực hiện các thao tác thêm hoặc tách Vì vậy cần có một cấu trúc cây R-Tree giảm độ phức tạp trong việc tính toán này nhưng vẫn đảm bảo về không gian các vùng lưu trữ hình ảnh cũng như đảm bảo về độ chính xác cho bài toán tìm kiếm ảnh

L Haldurai và V Vinodhini (2015) đã đề xuất một cách tiếp cận về lập chỉ mục dựa trên đặc trưng màu sắc và đặc trưng kết cấu theo hướng tiếp cận mờ kết hợp cây R-Tree để truy xuất hình ảnh dựa trên nội dung Kết quả thực nghiệm trên bộ ảnh COREL cho thấy rằng cách tiếp cận trên có hiệu quả [20] Trong cách tiếp cận này, cây R-Tree cần được cải tiến để giảm số phép toán thao tác trên cây, đồng thời các quá trình tách nút, thêm phần tử cũng cần được cải tiến để tăng độ chính xác cũng như tính hiệu quả về thời gian tìm kiếm

Vanitha J., Senthilmurugan M (2018) đã tiếp cận một cấu trúc cây chỉ mục Tree (Sphere Rectangle Tree) dựa trên sự kết hợp giữa cây R-Tree, R* -Tree và SS-Tree để đánh chỉ mục hình ảnh Để áp dụng cấu trúc cây SR-Tree cho các tập dữ liệu lớn, Vanitha J và cộng sự đã tạo các cấu trúc chỉ mục đa chiều, hỗ trợ truy vấn láng giềng gần nhất Trong bài báo này, cấu trúc SR-Tree được sử dụng để lưu trữ các giá trị đặc trưng cấp thấp của hình ảnh trên không gian màu HSV gồm: sắc độ (Hue), độ bão hòa (Saturation), và giá trị màu sắc (Value), lược đồ màu [40] Tuy nhiên, cấu trúc lưu trữ này chỉ xem các hình ảnh là một điểm dữ liệu để từ đó tạo thành một cụm tại các nút lá, việc so sánh các hình ảnh về độ tương tự dựa trên độ tương đồng

SR-Yang SR-Yang và cộng sự (2019) đã trình bày một thuật toán phân tách nút sử dụng vùng nhớ tạm thời tại các nút lá nhằm hạn chế thao tác tách nút trên cây R-Tree Quá trình thực hiện của phương pháp này bao gồm các bước: (1) Khi một nút bị đầy, một vùng nhớ đệm được tạo ra nhằm tạo ra một bảng băm để có thể thực hiện tìm kiếm và bổ sung kết quả (2) Nếu tiếp tục chèn dữ liệu vào nút lá đó, dữ liệu được thêm vào nút tràn tương ứng với nút lá đó Việc này hạn chế được quá trình tách nút của cây nếu như bộ nhớ đệm đủ lớn và hiệu quả trong trường hợp cấu trúc cây đã đạt độ ổn định (3) Khi nút tràn bị vượt quá số lượng cho phép, nút này được tách thành 2 nút tương ứng với hai vùng nhớ đệm Kết quả thực nghiệm cho thấy thuật toán được đề xuất trong bài báo này ưu việt hơn cả thuật toán R-Tree ban đầu Và thuật toán phân tách dựa trên góc CBS (Corner-based Splitting) được ứng dụng hiệu quả cho các truy vấn vùng và truy vấn k-láng giềng gần nhất (k-NN) [43] Tuy nhiên mỗi vùng nhớ đệm có hạn chế về số lượng lưu trữ, nên cần tổ chức vùng nhớ đệm trở thành một cấu trúc liên kết sao cho có thể lưu trữ được nhiều các tập ảnh tương tự và nếu một hình ảnh có độ tương đồng vượt một ngưỡng cho phép thì việc tách nút được thực hiện

Xinlu Wang và cộng sự (2019) [41] đã đề xuất một phương pháp truy vấn động trên cấu trúc R-Tree Đây là phương pháp tổ chức lưu dữ liệu cùng một không gian con thành cùng cây con và xây dựng một cây chỉ mục R-Tree trên không gian con này Kết quả thực nghiệm cho thấy phương pháp được đề xuất cải thiện tính ổn định của hệ thống và hiệu quả cao, bên cạnh đó, phương pháp còn ứng dụng cho hệ thống tra cứu thông tin bệnh viện

Lê Thị Vĩnh Thanh và cộng sự (2021) đã giới thiệu một mô hình tìm kiếm ảnh theo nội dung dựa trên cấu trúc RS-Tree để nâng cao hiệu suất tìm kiếm ảnh Cấu trúc này cho phép lưu trữ dữ liệu tăng trưởng và tạo ra các cụm tại nút lá của cây Quá trình gom cụm tại nút lá dựa trên các thao tác thêm, tách nút và phép lọc dựa trên ngưỡng 𝜃 Kết quả thực nghiệm trên bộ ảnh COREL có độ chính xác 76.29%, độ phủ 68.75%; bộ ảnh Oxford Flowers 102 có độ chính xác 73.16%, độ phủ 65.36%; bộ ảnh CUB-2011-200 có độ chính xác 68.17%, độ phủ 61.55% Theo kết quả thực nghiệm

cho thấy tính hiệu quả so với các công trình khác trên cùng một tập dữ liệu ảnh và phương pháp đề xuất đã làm tăng đáng kể hiệu suất tìm kiếm ảnh theo nội dung [28] Lê Mạnh Thạnh và cộng sự (2022) đưa ra một phương pháp kết hợp cấu trúc R-Tree và KD-Tree Random Forest nhằm cải tiến hiệu suất phân lớp và tìm kiếm ảnh Mỗi ảnh đầu vào sẽ được phân lớp bằng KD-Tree Random Forest, kỹ thuật gom cụm trên R-Tree kết hợp các thuật toán xây dựng rừng ngẫu nhiên, phân lớp được thực hiện và tìm kiếm tập ảnh tương tự Thực nghiệm được thực hiện trên các bộ ảnh COREL và Caltech101; đồng thời so sánh với các công trình trước đây, thực nghiệm trên cùng bộ dữ liệu rồi đối sánh với kết quả tìm kiếm ảnh khi sử dụng một cấu trúc riêng lẻ Kết quả thực nghiệm cho thấy phương pháp đề xuất trên là hiệu quả, có thể áp dụng được cho các hệ tìm kiếm ảnh với nhiều bộ dữ liệu khác nhau [27]

Từ kết quả khảo sát cho thấy, phương pháp tìm kiếm ảnh trên cây R-Tree có tính thời sự và được nhiều nhóm nghiên cứu quan tâm Bài toán tìm kiếm ảnh dựa trên cấu trúc R-Tree là một bài toán khả thi và có nhiều cải tiến cũng như ứng dụng trong nhiều lĩnh vực khác nhau Cấu trúc cây R-Tree là phù hợp cho việc lưu trữ các đặc trưng hình ảnh cũng như phù hợp cho quá trình phân cụm các hình ảnh tương tự Việc cải tiến cấu trúc cây trở thành các khối cầu nhằm tăng độ chính xác và giảm thời gian tìm kiếm là một bài toán khả thi và hiệu quả Từ đó, nội dung luận văn hướng tới một cấu trúc cây RS-Tree đa nhánh cân bằng mà mỗi nút của cây là một khối cầu lưu trữ các phần tử dữ liệu sao cho mỗi phần tử dữ liệu là một khối cầu Với mỗi nút lá, cấu trúc cây này được cải tiến bằng cách bổ sung vùng nhớ nhằm vượt qua các hạn chế về tách nút Bên cạnh đó, với mỗi nút lá thực hiện bổ sung một ngưỡng về độ đo tương tự của ảnh nhằm gom nhóm các hình ảnh có xu hướng tương đồng nhau Việc cải tiến này bao gồm ba vấn đề cơ sở: (1) cải tiến các nút lá và nút trong trở thành khối cầu nhằm giảm độ phức tạp trong tính toán cũng như đánh giá độ tương đồng dựa trên các phần tử giao nhau giữa các khối cầu, (2) bổ sung vùng nhớ đệm cho mỗi nút lá để giảm quá trình tách nút cũng như tăng số lượng kết quả cho bài toán tìm kiếm, (3) bổ sung ngưỡng tương tự để tăng độ chính xác tìm kiếm

1.6 Nội dung tiếp cận cho bài toán tìm kiếm ảnh

Trên cơ sở các đối tượng và phương pháp nghiên cứu, nội dung các chương còn lại được tập trung vào các vấn đề như sau:

Chương 2: Nội dung chương này tiếp cận các phương pháp khai phá dữ liệu và

ứng dụng cho bài toán tìm kiếm ảnh tương tự, đồng thời thực hiện các phân tích, đánh giá về ưu nhược điểm cho bài toán Mỗi phương pháp được mô tả và xây dựng theo định hướng cho bài toán tìm kiếm ảnh để từ đó phân tích, so sánh với cấu trúc R-Tree nhằm làm cơ sở tiếp cận cho bài toán tìm kiếm ảnh dựa trên R-Tree

Chương 3: Nội dung chương 3 mô tả và tiếp cận cấu trúc cây R-Tree nguyên

thủy để từ đó đưa ra các cải tiến phù hợp cho bài toán tìm kiếm ảnh Mỗi cải tiến trên cây R-Tree cho bài toán này được phân tích đánh giá cũng như đề xuất thuật toán nhằm minh chứng tính khả thi và tính hiệu quả cho bài toán

Chương 4: Việc thực nghiệm cũng như mô hình thực nghiệm trên các bộ ảnh

khác nhau lần lượt được trình bày trong chương 4 Các cơ sở lý thuyết và cấu trúc đề xuất lần lượt được ứng dụng để xây dựng một hệ tìm kiếm ảnh Kết quả thực nghiệm được so sánh và đánh giá trên các công trình liên quan nhằm minh chứng tính hiệu quả của phương pháp đề xuất

1.7 Tổng kết chương

Trong chương này, các nội dung tổng quan và các đối tượng nghiên cứu, phương pháp nghiên cứu đã lần lượt được tiếp cận Đối với bài toán tìm kiếm ảnh dựa trên nội dung CBIR nhằm vượt qua các hạn chế của bài toán tìm kiếm ảnh theo văn bản TBIR Để thực hiện bài toán CBIR, các đối tượng nghiên cứu lần lượt được phân tích bao gồm: các đặc trưng về hình ảnh, cấu trúc chỉ mục, cấu trúc cây đa nhánh R-Tree và các thuật toán Nội dung chương đã tiếp cận phương pháp nghiên cứu và thực hiện phương pháp nghiên cứu theo lý thuyết và thực nghiệm Ngoài ra, các khảo sát về bài toán tìm kiếm ảnh và các cấu trúc dữ liệu liên quan được thực hiện nhằm minh chứng tính thời sự và tính khả thi của nội dung luận văn Từ cơ sở định hướng tiếp cận của

chương 1, các nội dung của các chương tiếp theo được thực hiện để làm rõ các đề

xuất cũng như quá trình thực thi cho mô hình tìm kiếm ảnh trên cấu trúc cây R-Tree

Chương 2 CÁC KỸ THUẬT KHAI PHÁ DỮ LIỆU CHO BÀI TOÁN TÌM KIẾM ẢNH TƯƠNG TỰ 2.1 Mở đầu

Hiện nay, việc lựa chọn một hướng tiếp cận xử lý bài toán tìm kiếm ảnh tương tự để đạt được kết quả tối ưu nhất là vấn đề quan tâm đầu tiên Hướng tiếp cận đóng một vai trò quan trọng trong quá trình thực thi cho một bài toán Có nhiều cách tiếp cận bài toán tìm kiếm ảnh tương tự nhằm nâng cao chất lượng truy vấn, việc nâng cao hiệu suất, giảm thời gian tìm kiếm cũng như tối ưu hóa không gian lưu trữ là cần thiết trong thực tiễn Chương 2 giới thiệu một số phương pháp khác nhau cho bài toán tìm kiếm ảnh tương tự như sử dụng phương pháp phân cụm phân hoạch K-Means, phương pháp láng giềng gần nhất là thuật toán K-Means kết hợp với thuật toán KNN, thuật toán gom cụm phân cấp sử dụng cây Bên cạnh đó, nội dung chương này đã đưa ra một số ưu khuyết điểm của các phương pháp dựa trên khai phá dữ liệu và đưa ra

hướng tiếp cận chính của luận văn là sử dụng cấu trúc cây R-Tree cải tiến

2.2 Một số kỹ thuật khai phá dữ liệu cho bài toán tìm kiếm ảnh

Nhiều công trình nghiên cứu trong thực tế sử dụng phương pháp gom cụm dựa trên K-Means nhằm giải quyết bài toán tìm kiếm ảnh đã được công bố gần đây như:

Tongtong Yuan và cộng sự (2019) đề xuất một phương pháp nhằm giảm số chiều cho véc-tơ đặc trưng của hình ảnh để thực hiện tìm kiếm ảnh tương tự đó là phương pháp băm thích ứng Tuy nhiên, phương pháp này tốn chi phí trong việc phân cụm vì phải xác định lại tâm [45]

Xiao Dong và cộng sự (2020) đã tiếp cận phương pháp băm dựa trên K-Means để truy xuất và phân cụm hình ảnh hiệu quả Trong tính năng này, nhóm đã tập trung vào cách chọn số cụm phù hợp một cách thích ứng thông qua học tích cực để học hàm băm tốt hơn [13]

Lan và cộng sự (2021) đã sử dụng thuật toán K-Means và ngưỡng 𝜃 áp dụng cho bài toán tìm kiếm ảnh tương tự theo nội dung Nhóm tác giả thực nghiệm và đánh giá kết quả trên tập dữ liệu ảnh COREL cho thấy sự hiệu quả của phương [26]

HTC Lan và cộng sự (2022) đã tiếp cận phương pháp phân lớp cho bài toán truy vấn ảnh dựa trên thuật toán KNN Thực nghiệm được xây dựng trên tập dữ liệu ảnh COREL nhằm đánh giá độ chính xác [25]

H Zhang và cộng sự (2017) đã áp dụng thuật toán KNN để thực hiện bài toán tìm kiếm ảnh Thực nghiệm của nhóm tác giả xây dựng trên bộ dữ liệu gồm 1 triệu mẫu và hơn 190 nghìn nhãn đã chứng minh được tính hiệu quả của phương pháp [47] Fachrurrozi và cộng sự (2017) đã giải quyết bài toán tìm kiếm ảnh trái cây dựa trên đặc trưng màu sắc và hình dạng bằng phương pháp K-Means kết hợp KNN Kết quả thực nghiệm đạt độ chính xác 92.5% đối với ảnh đơn đối tượng và 90% đối với ảnh đa đối tượng [16]

Deole và cộng sự (2014) đã đề xuất mô hình tìm kiếm ảnh theo nội dung dựa trên thuật toán KNN Nhóm tác giả đã thực nghiệm và đánh giá kết quả dựa trên các bộ ảnh thông dụng nhằm chứng minh tính hiệu quả phương pháp [12]

Qua các khảo sát, bài toán tìm kiếm ảnh tương tự dựa trên phương pháp phân cụm cũng như kết hợp việc phân lớp là hoàn toàn khả thi Các công trình cũng đã thực hiện và chứng minh tính hiệu quả Vì vậy, nội dung của luận văn lần lượt thực hiện việc áp dụng hai thuật toán đại diện cho nhóm phân cụm và nhóm phân lớp là K-Means và KNN Từ đó, các phân tích được đưa ra để cho thấy tính ưu và nhược điểm của các phương pháp này khi áp dụng cho bài toán tìm kiếm ảnh

2.3 Phân cụm phân hoạch K-Means

Phương pháp phân cụm phân hoạch K-Means, là phương pháp phân cụm phân hoạch thông dụng Với số K cụm được xác định trước (K > 0), thuật toán K-Means phân nhóm các đối tượng dữ liệu đã cho vào K cụm bằng cách đối sánh khoảng cách giữa các đối tượng đến tâm mỗi cụm để tìm tâm cụm gần nhất

Đối với bài toán tìm kiếm ảnh, thuật toán K-Means là một trong những thuật toán thường được ứng dụng cho quá trình phân cụm đối với các hình ảnh tương tự Với một tập ảnh cho trước, các đặc trưng của hình ảnh được trích xuất để từ đó áp dụng thuật toán K-Means gom cụm các dữ liệu đặc trưng này Quá trình tìm kiếm

được thực hiện bằng cách tìm ra cụm gần nhất (mô tả tại Hình 2.1)

Hình 2.1: Mô hình tìm kiếm ảnh K-Means

Quá trình tìm kiếm ảnh được thực hiện gồm hai giai đoạn, giai đoạn 1 thực hiện gom cụm K-Means, giai đoạn 2 thực hiện tìm kiếm các hình ảnh tương tự cho ảnh đầu vào Các bước cụ thể được thực hiện như sau:

Giai đoạn 1: Phân cụm dữ liệu

Bước 1: Trích xuất đặc trưng hình ảnh cho tập ảnh ban đầu Bước 2: Thực hiện phân cụm bằng thuật toán K-Means

Giai đoạn 2: Tìm kiếm ảnh

Bước 1: Trích xuất đặc trưng của ảnh cần truy vấn

Bước 2: Tìm tâm cụm gần nhất dựa trên thuật toán K-Means

Bước 3: Sắp xếp các hình ảnh theo độ đo tương tự và xuất ra kết quả

Trên cơ sở các bước thực hiện đã mô tả, thuật toán K-Means áp dụng cho bài toán tìm kiếm ảnh được mô tả như sau:

Thuật toán: K-MIR

Đầu vào: Tập dữ liệu ảnh 𝐼 = {𝑓𝑗, 𝑗 = 1 𝑁}

Đầu ra: Tập các cụm hình ảnh tương tự Ω = {Ω1, , Ωk, K là số cụm} Begin

Khởi tạo tâm cụm

(1) For ⅈ = 1 to K do

(2) 𝐶𝑖 = 𝑓𝑗 𝑣ớⅈ 𝑗 = 𝑟𝑎𝑛𝑑𝑜𝑚 [1, 𝑁] (3) 𝛺𝑖 = ∅

(4) EndFor

Phân bố theo tâm cụm

(5) Foreach (𝑓𝑗 ∈ 𝐼, 𝑗 = 1 𝑁) do

(6) 𝑚 = 𝐴𝑟𝑔𝑚ⅈ𝑛 {𝐸𝑢𝑐𝑙ⅈ𝑑(𝑓𝑗, 𝐶𝑖)| 𝐶𝑖 ∈ 𝐶} 𝑣ớⅈ 𝐶 = {𝐶1, , 𝐶𝑘} (7) 𝛺𝑚 = 𝛺𝑚 ∪ {𝑓𝑗}

(8) EndForeach Cập nhật tâm cụm

(9) For ⅈ = 1 to K do

(10) 𝐶𝑖′ = 𝐴𝑣𝑒𝑟𝑎𝑔𝑒 {𝑓𝑡 ∈ 𝐶𝑖 |𝑡 = 1 |𝐶𝑖|} (11) EndFor

Kiểm tra tâm cụm

(12) For ⅈ = 1 to K do

(13) If (𝐶𝑖 ≠ 𝐶𝑖′) then (14) Quay lại bước 2 (15) EndIf

(16) EndFor

(17) Return Ω = {Ω1, , Ωk} End

Thuật toán K-MIR với đầu vào là tập dữ liệu ảnh 𝐼, đầu ra là 𝐾 cụm ảnh tương tự Ω (1) và (4) duyệt các cụm thứ i với ⅈ = 1 𝐾, các tâm cụm 𝐶𝑖 được xác định

ngẫu nhiên tại dòng lệnh (2) K cụm rỗng được khởi tạo tại dòng lệnh (3) Tại dòng lệnh (5) và (8) duyệt các phần tử thứ j của tập dữ liệu với 𝑗 = 1 𝑁, duyệt các tâm

cụm 𝐶𝑖 với ⅈ = 1 𝐾, các phần tử thứ j được gom về các cụm 𝐶𝑖 dựa vào độ đo khoảng cách Euclid tại dòng (7) và (8) Duyệt các cụm thứ ⅈ 𝑣ớⅈ ⅈ = 1 𝐾 tại dòng lệnh (9) và (11), các tâm cụm 𝐶𝑖′ được cập nhật dựa vào việc tính trung bình cộng các trọng số các phần tử 𝑓𝑡 𝑣ớⅈ 𝑡 = 1 |𝐶𝑖| tại dòng lệnh (10) (12) và (16) duyệt các cụm thứ i với ⅈ = 1 𝐾, đối sánh tâm cụm 𝐶𝑖′ ≠ 𝐶𝑖 tại dòng lệnh (13) thì quay lại dòng (5) để phân bổ lại các phần tử trong cụm tại dòng lệnh (16) (17) trả về 𝐾 cụm gồm các phần tử đã được phân bổ vào các cụm Với 𝐾, 𝑚 là các hằng số do đó độ phức tạp là 𝑂(𝑁)

Sau khi thực hiện phân cụm K-Means, kết quả là một tập các cụm Ω, mỗi cụm là các phần tử tương đồng nhau về đặc trưng Vấn đề đặt ra là tìm ra 1 tập ảnh tương tự với ảnh đầu vào trên các cụm này Thuật toán tìm kiếm ảnh tương tự dựa trên phân cụm K-Means được mô tả như sau:

Thuật toán IRK-Means (Tìm kiếm ảnh trên cụm)

Đầu vào: Tập các cụm Ω = {Ω1, , Ωk} Tập tâm cụm 𝐶 = {𝐶1, , 𝐶𝑘} Ảnh truy vấn 𝐼 = {𝑓}

Đầu ra: Tập ảnh tương tự SI Begin

(1) 𝑆𝐼 = ∅

(2) 𝑚 = 𝐴𝑟𝑔𝑚ⅈ𝑛 {𝐸𝑢𝑐𝑙ⅈ𝑑(𝑓, 𝐶𝑖) | ⅈ = 1 𝑘} (3) For t = 1 to |𝐶𝑚| do

(4) 𝑆𝐼 = 𝑆𝐼 ∪ {𝑓𝑡} (5) EndFor

(6) Return SI End

Thuật toán IRK-Means với đầu vào là tập 𝐾 cụm, tập tâm 𝐾 cụm và ảnh truy vấn 𝐼 thì tập ảnh tương tự 𝑆𝐼 được thực hiện như sau: Tập ảnh tương tự 𝑆𝐼 được khởi tạo là tập rỗng tại dòng lệnh (1) Tại dòng lệnh (2), duyệt các tâm cụm 𝐶𝑖 với ⅈ =1 𝐾, khoảng cách m nhỏ nhất được xác định dựa vào độ đo khoảng cách Euclid từ

véc-tơ f đến tâm cụm 𝐶𝑖 Duyệt các phần tử t trong cụm được chọn với 𝑡 = 1 |𝐶𝑚| tại dòng lệnh (3) và (5), các phần tử t được gom về tập 𝑆𝐼 tại dòng lệnh (4) Trả về tập 𝑆𝐼 với các phần tử tương đồng nhau về đặc trưng tại dòng lệnh (6) Với 𝐾 và 𝑚 là hằng số có giá trị không đáng kể nên độ phức tạp là hằng số, nghĩa là độ phức tạp là 𝑂(1)

Thuật toán K-Means có ưu điểm là phân hoạch được tập dữ liệu ban đầu thành các cụm Bên cạnh đó, thuật toán K-Means có nhiều khuyết điểm cho bài toán gom cụm hình ảnh như sau:

- Với dữ liệu ban đầu có nhiều phân tán về đặc trưng khác nhau nên việc xác định số cụm là một bài toán khó

- Việc xác định tâm cụm tốn kém về chi phí tính toán, so sánh, chọn lựa - Khi dữ liệu tăng trưởng bộ dữ liệu ban đầu phải thực hiện gom cụm lại từ

đầu Điều này tốn nhiều chi phí về thực hiện gom cụm

Vì vậy, cần có một phương pháp phân cụm cho dữ liệu tăng trưởng, nghĩa là khi dữ liệu tăng trưởng thì số cụm có thể tăng trưởng theo và có thể kế thừa các cụm đã có, đồng thời nếu số lượng cụm đủ lớn thì có thể dùng phương pháp tìm kiếm trên một cấu trúc cây thay vì thực hiện tìm kiếm tuyến tính

2.4 Phương pháp láng giềng gần nhất

Thuật toán KNN là một trong những thuật toán thông dụng nhằm phân lớp các đối tượng dựa vào các phần tử láng giềng Đối với bài toán tìm kiếm ảnh, thuật toán KNN kết hợp với thuật toán K-Means có thể nâng cao được độ chính xác, đồng thời xác định được các phân lớp của hình ảnh dựa vào các hình ảnh láng giềng Tuy nhiên, nếu chỉ sử dụng thuật toán KNN cho bài toán tìm kiếm ảnh thì việc tìm kiếm dựa trên các phần tử láng giềng và duyệt tất cả các phần tử dữ liệu Điều này tốn kém nhiều chi phí tính toán trong quá trình duyệt tất cả các phần tử đã có trong bộ dữ liệu ban đầu Vì vậy, việc kết hợp thuật toán K-Means và KNN nhằm thực hiện tìm kiếm và phân lớp ảnh, đồng thời vượt qua hạn chế tính toán về việc duyệt tất cả các phần tử trong tập dữ liệu

Đối với tập dữ liệu ảnh ban đầu, thuật toán K-Means thực hiện gom cụm nhằm tiền xử lý cho thuật toán KNN Sau khi có tập cụm hình ảnh, thuật toán KNN xác định các phần tử láng giềng là tập ảnh tương tự với hình ảnh đầu vào, đồng thời phân

lớp của đầu vào được xác định dựa trên các phần tử láng giềng Tại Hình 2.2, quá

trình phân cụm kết hợp dựa trên K-Means và KNN được mô tả Việc tìm kiếm ảnh được thực hiện dựa trên cụm gần nhất và các phần tử láng giềng

Hình 2.2: Mô hình tìm kiếm ảnh K-NN

Tại Hình 2.2, quá trình tìm kiếm ảnh được thực hiện dựa trên hai pha bao gồm:

tiền xử lý dựa trên thuật toán K-Means để phân cụm tập hình ảnh đầu vào, tìm kiếm ảnh tương tự và phân lớp ảnh dựa trên thuật toán KNN Quá trình này được mô tả như sau:

Pha 1: Phân cụm tập ảnh đầu vào

Bước 1: Trích xuất đặc trưng mỗi ảnh trong tập ảnh ban đầu Bước 2: Thực hiện phân cụm K-Means cho tập đặc trưng hình ảnh

Pha 2: Tìm kiếm và phân lớp ảnh

Bước 1: Trích xuất đặc trưng của ảnh truy vấn đầu vào Bước 2: Tìm cụm gần nhất trên cơ sở thuật toán K-Means

Bước 3: Tìm các láng giềng gần nhất trên cụm đã có tại bước 2 và phân lớp hình ảnh bằng thuật toán KNN

Bước 4: Kết xuất các hình ảnh tương tự dựa trên các láng giềng

Quá trình tìm kiếm và phân lớp ảnh dựa trên thuật toán KNN được mô tả theo thuật toán như sau:

Thuật toán K-NNIR

Đầu vào: Tập các cụm Ω = {Ω1, , Ωk} Tập tâm cụm 𝐶 = {𝐶1, , 𝐶𝑘}

Ngưỡng giới hạn 𝜃, Ảnh truy vấn I = {𝑓} Đầu ra: Tập ảnh tương tự SI

Thuật toán K-NNIR với đầu vào là tập 𝐾 cụm, tập tâm 𝐾 cụm, ngưỡng giới hạn

𝜃 và ảnh truy vấn 𝐼 thì tập ảnh tương tự 𝑆𝐼 được thực hiện như sau: Tập ảnh tương tự 𝑆𝐼 được khởi tạo là tập rỗng tại dòng lệnh (1) Tại dòng lệnh (2), duyệt các tâm cụm

𝐶𝑖 𝑣ớⅈ ⅈ = 1 𝐾, khoảng cách m nhỏ nhất được xác định dựa vào độ đo khoảng cách

Euclid từ véc-tơ 𝑓 đến tâm cụm 𝐶𝑖 Duyệt tất cả các phần tử 𝐼𝑖 trong cụm được chọn tại dòng lệnh (3) và (7), các phần tử 𝐼𝑖 được gom về tập 𝑆𝐼 tại dòng lệnh (5) nếu khoảng cách Euclid từ ảnh truy vấn đến các phần tử trong cụm được chọn nhỏ hơn ngưỡng giới hạn 𝜃 tại dòng lệnh (4) và (6) Trả về tập 𝑆𝐼 với các phần tử tương đồng nhau về đặc trưng tại dòng lệnh (8) Với 𝐾 và 𝑚 là hằng số có giá trị không đáng kể nên độ phức tạp là hằng số, nghĩa là độ phức tạp là 𝑂(1)

Thuật toán K-NN không yêu cầu quá trình huấn luyện trước khi áp dụng để phân loại hoặc dự đoán dữ liệu mới Điều này có nghĩa là thuật toán K-NN có thể được sử dụng dễ dàng và nhanh chóng với dữ liệu mới Nhưng với bài toán tìm kiếm ảnh tương tự, mỗi điểm dữ liệu là một hình ảnh, ứng với một ảnh sẽ tham chiếu vào bộ dữ liệu để tìm ra tập dữ liệu tương tự Khi dùng thuật toán K-NN cho bài toán này thì phải duyệt toàn bộ dữ liệu, mất thời gian tính toán Nếu không duyệt toàn bộ dữ liệu thì lại tốn chi phí gom cụ phẳng (gom cụm phân hoạch) và thuật toán K-Means được sử dụng để gom cụm, bài toán lại gặp phải những khuyết điểm tương tự như K-Means Ngoài ra, mỗi khi dữ liệu tăng trưởng cần phân cụm lại, điều này không khả thi

Như vậy, cần phải có một phương pháp vừa đúng cho dữ liệu tăng trưởng mà không phải phân cụm lại như K-Means hoặc cho kết quả khác dẫn đến bài toán không khả thi như thuật toán KNN, không cần xác định số tâm cụm trước, không cần duyệt hết các dữ liệu trong bộ dữ liệu mà lúc này dữ liệu phải được gom cụm theo từng nhóm và phân cấp

2.5 Gom cụm phân cấp

Nhằm vượt qua hạn chế của phương pháp phân cụm phân hoạch cho việc xác định số cụm cũng như phân cụm lại đối với dữ liệu tăng trưởng, nội dung luận văn tiếp tục tiếp cận phương pháp phân cụm phân cấp để giải quyết cho bài toán tìm kiếm ảnh tương tự Đối với phương pháp phân cụm phân cấp, các phần tử dữ liệu gần nhau được nhóm lại để tạo thành một cụm tại nút lá, sau đó hai nút lá gần nhau được gom nhóm để tạo thành một nút trong, nút gốc của cây là tập dữ liệu lớn ban đầu chứa các

liên kết để đi đến các nhánh cây con Tại Hình 2.3, quá trình thực hiện phân cụm phân

cấp được xây dựng trong pha tiền xử lý nhằm làm cơ sở cho việc tìm kiếm ảnh tương tự Kết quả tìm kiếm ảnh tương tự sẽ là một nút lá gần nhất với hình ảnh đầu vào Đồng thời có thể kết hợp với các cụm láng giềng để gia tăng số lượng tập tương tự

Hình 2.3: Mô hình tìm kiếm ảnh dựa trên cây phân cụm phân cấp

Tại Hình 2.3, quá trình tìm kiếm ảnh tương tự được thực hiện dựa trên hai pha

bao gồm: tiền xử lý thực hiện cây gom cụm phân cấp cho tập hình ảnh đầu vào và tìm

kiếm ảnh tương tự dựa trên cây phân cụm phân cấp, kết quả của việc tìm kiếm là một tập ảnh tương tự với ảnh đầu vào Quá trình này được mô tả như sau:

Pha 1: Phân cụm phân cấp tập ảnh đầu vào

Bước 1: Trích xuất đặc trưng mỗi ảnh trong tập ảnh ban đầu Bước 2: Thực hiện phân cụm phân cấp cho tập đặc trưng hình ảnh

Pha 2: Tìm kiếm ảnh dựa trên cây phân cụm phân cấp

Bước 1: Trích xuất đặc trưng của ảnh truy vấn đầu vào

Bước 2: Tìm cụm gần nhất trên cây bằng cách đi từ nút gốc đến nút lá Bước 3: Kết xuất các hình ảnh tương tự và sắp xếp theo độ đo

Cây phân cụm phân cấp chỉ cần thêm nhánh mới khi dữ liệu tăng trưởng mà không phải phân cụm lại, không làm ảnh hưởng đến cụm đã có hoặc nếu một phần tử đi vào cụm sẽ thêm nhánh mới mà không ảnh hưởng đến cụm cũ Tuy nhiên, quá trình phân cụm phân cấp có thể tạo ra một cây không cân bằng, nghĩa là chi phí tìm kiếm có thể tốn nhiều thời gian Ngoài ra, việc tạo cây phân cụm phân cấp được thực hiện từ các điểm dữ liệu nên độ tương tự được đánh giá qua khoảng cách giữa hai đặc trưng, do đó mức độ giao nhau về không gian của hai hình ảnh không tính toán được Vì vậy, cần phải có một cấu trúc đáp ứng được cho dữ liệu tăng trưởng và cân bằng thời gian tìm kiếm, đồng thời thực hiện được việc đánh giá độ đo tương tự dựa trên các vùng không gian giao nhau Nhằm đáp ứng được điều này, các cấu trúc cây cân bằng có thể được xem xét, tuy nhiên cần phải đáp ứng được dữ liệu đa chiều cũng như thực hiện được quá trình liên kết từ nút gốc đến nút lá Vì vậy, một cấu trúc cây đa nhánh cân bằng R-Tree là phù hợp cho bài toán tìm kiếm ảnh

Vậy vấn đề đặt ra là luận văn sử dụng cây R-Tree là cây phân cụm và phân cụm tại nút lá nên cây R-Tree sẽ tăng trưởng theo chiều cao Sử dụng cây R-Tree không cần phải xác định số tâm cụm trước và nó đúng cho dữ liệu tăng trưởng với số bước tìm kiếm đơn giản Do đó, cây R-Tree phù hợp cho bài toán tìm kiếm ảnh

Trong phân cụm phân cấp có nhiều cây như cây R-Tree, B-Tree, C-Tree Luận văn sử dụng cây R-Tree cho bài toán tìm kiếm ảnh vì:

1 Cây R-Tree lưu trữ dữ liệu tại nút lá, mọi hướng đi đều cân bằng, chi phí đi mọi hướng là bằng nhau (cây cân bằng)

2 Cây R-Tree lưu trữ được dữ liệu đa chiều

3 Cây R-Tree đảm bảo hơn về vấn đề phân cụm K-Means và phương pháp láng giềng gần nhất KNN

4 Cây R-Tree vượt qua được khuyết điểm của phân cụm phân hoạch K-Means và phương pháp láng giềng gần nhất KNN

5 Cây R-Tree phân cụm dựa trên vùng không gian Với mỗi điểm có một vùng không gian nên dễ phân biệt được vùng không gian giao nhau, đánh giá được sự gần bằng của hai vùng không gian Dựa vào vùng không gian này, quá trình tìm kiếm được thực hiện dựa trên vùng không gian phù hợp để từ đó tìm ra được dữ liệu mong muốn Điều này đã vượt qua được các hạn chế của quá trình phân cụm nhằm tối ưu cho bài toán tìm kiếm

2.6 Tổng kết chương

Trong chương này, các kỹ thuật khai phá dữ liệu được ứng dụng cho bài toán tìm kiếm ảnh mà đại diện là kỹ thuật gom cụm và phân lớp tương ứng với thuật toán K-Means, phân cụm phân cấp, KNN Đối với kỹ thuật gom cụm, thuật toán K-Means đã được mô tả và phân tích nhằm áp dụng cho bài toán tìm kiếm ảnh Tuy nhiên, kỹ thuật này có những hạn chế nhất định trong việc chọn số cụm và khi bộ dữ liệu tăng trưởng Đối với thuật toán K-Means kết hợp với thuật toán KNN cho bài toán tìm kiếm ảnh nhằm giải quyết việc nâng cao độ chính xác cũng như phân lớp ảnh, tuy nhiên vẫn bị các hạn chế về việc phân cụm cho bộ dữ liệu tăng trưởng Để vượt qua hạn chế này, phương pháp phân cụm phân cấp được phân tích và áp dụng cho bài toán tìm kiếm ảnh tương tự Cây phân cụm phân cấp cũng đã đáp ứng đối với dữ liệu tăng trưởng nhưng vẫn bị mất cân bằng khi thực hiện quá trình tìm kiếm Vì vậy, một cấu trúc phù hợp đáp ứng được dữ liệu tăng trưởng cho bài toán tìm kiếm ảnh đó là cây đa nhánh cân bằng R-Tree Do đó, trong luận văn này, cấu trúc cây R-Tree được ứng dụng cho bài toán tìm kiếm ảnh, đồng thời đưa ra các cải tiến để nâng cao độ chính xác cũng như tối ưu quá trình tạo cây

Chương 3 CẤU TRÚC CÂY R-TREE CHO BÀI TOÁN TÌM KIẾM ẢNH 3.1 Mở đầu

Tìm kiếm ảnh tương tự là một bài toán được các nhà khoa học quan tâm và đề xuất nhiều phương pháp tìm kiếm khác nhau để nâng cao độ chính xác tìm kiếm đáp ứng nhu cầu người dùng Trong đó, phương pháp tìm kiếm ảnh dựa trên nội dung được phát triển mạnh mẽ và được ứng dụng nhiều trong các hệ tìm kiếm ảnh Phương pháp này thực hiện việc tìm kiếm dựa trên các đặc trưng cấp thấp của hình ảnh bao gồm: màu sắc, hình dạng, kết cấu, vị trí và nhiều đặc trưng khác Việc tìm kiếm ảnh

tương tự thay vì đối sánh từng điểm ảnh (pixel) thì quá trình tìm kiếm sẽ thực hiện so

sánh các đặc trưng cấp thấp được trích xuất của hình ảnh dựa trên độ đo tương đồng Vấn đề đặt ra là với một kho dữ liệu ảnh lớn, để thực hiện tìm kiếm tuần tự sẽ mất rất nhiều thời gian và không khả thi trong các hệ thống thực tế Do đó, cần có một cấu trúc dữ liệu để lưu trữ và gom cụm các dữ liệu đặc trưng cấp thấp mô tả hình ảnh giúp tìm kiếm nhanh và chính xác dữ liệu Nhiều cấu trúc dữ liệu được nghiên cứu và sử dụng cho việc gom cụm và phân hoạch các dữ liệu chỉ mục mô tả hình ảnh Trong đó, cấu trúc dữ liệu dạng cây một trong những cấu trúc dữ liệu được sử dụng phổ biến để thực hiện lưu trữ gom cụm dữ liệu và phục vụ cho qua trình tìm kiếm được hiệu quả về thời gian cũng như độ chính xác Một trong những cấu trúc dạng cây được sử dụng phổ biến đó là cấu trúc R-Tree [19] được Guttman đề xuất vào năm 1984 là một giải pháp hiệu quả để lập chỉ mục các đối tượng không gian đa chiều Trên cơ sở cấu trúc này, nhiều biến thể khác nhau được cải tiến để truy xuất và xử lý hiệu quả hơn các dữ liệu không gian đa chiều áp dụng trong trong bài toán tìm kiếm ảnh tương tự Trong chương này, một cấu trúc cây phân cụm HM-RST được đề xuất để lưu trữ và phân các hình ảnh được lập chỉ mục tự động từ đặc trưng cấp thấp của hình ảnh dựa trên sự kết hợp cấu trúc RS-Tree và bảng băm HM-RST là cấu trúc đa nhánh cân bằng, mỗi nút trên cây được phân cụm dựa vào độ đo tương tự theo phương pháp phân hoạch và phân cấp, đảm bảo khả năng lưu trữ và tăng trưởng của cây Tại tầng nút lá của cây được cài đặt thêm bộ nhớ đệm để lưu trữ các nút tràn của mỗi nút lá Quá trình thêm phần tử vào cây, nếu một nút lá vượt quá số lượng phần tử tối đa

Thay vì thực hiện tách nút thì hệ thống tạo ra một vùng nhớ đệm lưu trữ nút tràn của nút lá hiện hành Khi đó, các phần tử thêm vào nút lá hiện hành sẽ được lưu vào nút tràn của nó Khi nào nút tràn vượt quá số lượng phần tử tối đa thì hệ thống thực hiện gom các phần tử trong nút tràn và nút hiện hành lại và thực hiện quá trình tách nút Việc sử dụng vùng nhớ đệm lưu trữ dữ liệu giúp hạn chế quá trình tách nút xảy ra thường xuyên trên cấu trúc R-Tree đồng thời giúp cân bằng dữ liệu trong các nút hạn chế các nút lưu trữ thưa thớt dữ liệu

3.2 Kỹ thuật lập chỉ mục cho dữ liệu đa chiều

Dữ liệu không gian là dữ liệu tồn tại trong không gian hai chiều, ba chiều hoặc không gian đa chiều Một đối tượng dữ liệu không gian có thể bao gồm một điểm hoặc vài nghìn đa giác, được phân phối tùy ý trong không gian Vì các tập dữ liệu không gian thường rất lớn, việc kiểm tra kiểm tra tuần tự không được chấp nhận trong thực tế đối với việc sử dụng tương tác và hầu hết các ứng dụng khác Do đó, một chỉ mục không gian được yêu cầu để tìm các đối tượng cần thiết một cách hiệu quả mà không cần vét cạn hết mọi đối tượng Cấu trúc lập chỉ mục thường tuân theo cách tiếp cận phân cấp Cách tiếp cận này rõ ràng là phù hợp với một hệ thống cơ sở dữ liệu mà không gian bộ nhớ bị hạn chế Cấu trúc phân cấp rất phù hợp trong việc tìm kiếm theo phạm vi [6]

Chỉ mục là một cấu trúc lưu trữ dữ liệu thích hợp nhằm tạo điều kiện cho ứng dụng xử lý dữ liệu nhanh chóng Lập chỉ mục dựa trên véc-tơ đặc trưng của đối tượng rất hữu ích để tăng tốc độ truy vấn và được đề xuất trong trong các thập kỷ qua Vấn đề quan trọng nhất của kỹ thuật lập chỉ mục là so sánh nhanh giữa đối tượng truy vấn và các đối tượng trong cơ sở dữ liệu đa chiều Do đó, ngày càng có nhiều nỗ lực nghiên cứu nhằm phát triển các kỹ thuật lập chỉ mục mới để phân tích và lưu trữ dữ liệu Lập chỉ mục hình ảnh là một cấu trúc dữ liệu lưu trữ véc-tơ đặc trưng của hình ảnh để tạo điều kiện cho ứng dụng xử lý nhanh chóng Lập chỉ mục dựa trên đặc trưng nhằm tăng tốc độ truy vấn và hiện đang cần thiết trong giai đoạn bùng nổ dữ liệu hiện nay Trong đó, cấu trúc R-Tree là một trong những cấu trúc được lựa chọn để phát

3.3 Cây R-Tree nguyên thủy

R-Tree là cấu trúc dữ liệu phân cấp, nhằm mục đích lập chỉ mục hiệu quả các đối tượng đa chiều với phạm vi không gian Cây R được sử dụng để lưu trữ các hình

chữ nhật giới hạn tối thiểu (MBR-Minimum Bounding Rectangle) chứa các đối tượng không gian MBR của một vật thể n chiều được định nghĩa là hình chữ nhật n chiều

tối thiểu chứa đối tượng ban đầu Tương tự như cây B-Tree, cây R-Tree cân bằng và chúng đảm bảo việc sử dụng lưu trữ dễ dàng Mỗi nút cây R-Tree liên quan đến một trang đĩa và một hình chữ nhật n chiều Mỗi nút không lá chứa các mục có dạng

(MBR, ref), trong đó, MBR là hộp giới hạn tối thiểu chứa tất cả các mục trong nút con, ref liên kết đến địa chỉ của nút con Các lá chứa các mục có dạng (MBR, Oid), trong đó MBR là hộp giới hạn tối thiểu chứa tất cả các mục dữ liệu lưu trữ trong nút lá, Oid là định danh của một đối tượng cơ sở dữ liệu

Hình 3.1 Minh hoạ cấu trúc R-Tree dạng phẳng và phân cấp sử dụng MBR [32]

Cấu trúc R-Tree là một trong những cấu trúc dữ liệu thường được sử dụng trong bài toán tìm kiếm đối tượng không gian, bao gồm cả tìm kiếm ảnh Nó được thiết kế để hỗ trợ việc tìm kiếm các đối tượng trong không gian dựa trên vị trí và kích thước của chúng R-Tree thường được sử dụng trong các hệ thống quản lý cơ sở dữ liệu

không gian (spatial databases) và các ứng dụng liên quan đến dữ liệu không gian như

hình ảnh, bản đồ, và dữ liệu địa lý

Cấu trúc R-Tree hoạt động như sau:

Node gốc (root node): R-Tree bắt đầu với một node gốc, chứa tất cả các đối

tượng trong không gian cần được tìm kiếm

Node lá (leaf node): Các node lá là các node chứa các đối tượng thực sự Trong

trường hợp của bài toán tìm kiếm ảnh, các node lá sẽ chứa các thông tin và đặc trưng của các ảnh

Node trong (internal node): Các node nội kết hợp các đối tượng trong không

gian và các node con của chúng Các node trong không chứa thông tin của đối tượng

mà chỉ chứa thông tin về vùng phủ (bounding box) của các đối tượng con của nó

Bounding box: Mỗi node trong R-Tree được đại diện bằng một vùng phủ

(bounding box) xác định bởi tọa độ hai điểm, điểm góc trái dưới và điểm góc phải

trên của vùng phủ Vùng phủ của mỗi node được tính dựa trên các đối tượng con của nó

Chèn và tách node (insertion and splitting): Khi chèn một đối tượng mới vào Tree, cấu trúc sẽ thực hiện việc tách node (splitting) nếu node không còn đủ chỗ để

R-chứa thêm đối tượng Quá trình chèn và tách node này được thực hiện để duy trì tính cân bằng và hiệu quả của cấu trúc dữ liệu

Khi thực hiện tìm kiếm ảnh trong R-Tree, hệ thống sẽ truy vấn từ node gốc và tiếp tục tìm kiếm xuống các node nội và node lá để xác định những ảnh phù hợp với tiêu chí tìm kiếm (chẳng hạn như vùng phủ, kích thước, hoặc đặc trưng) Nhờ tính hiệu quả của việc phân chia không gian, R-Tree thường cho phép tìm kiếm nhanh

Để nâng cao hiệu quả của việc ứng dụng cây R-Tree cho bài toán tìm kiếm ảnh, luận văn không sử dụng cấu trúc cây R-Tree nguyên thủy mà dùng cấu trúc RS-Tree, một cải tiến của cây R-Tree vì:

- Khi sử dụng khối vuông chữ nhật để lưu dữ liệu, cần phải xác định tâm đường chéo, sau đó từ tâm, tìm khoảng cách của trục ngang và trục dọc

- Mất chi phí tính, sắp xếp và tìm kiếm phần tử nhỏ nhất và phần tử lớn nhất để tạo nên hình chữ nhật

- Khi tìm kiếm trên không gian đối với hình chữ nhật, phải xác định trọng tâm, sau đó từ tâm, xác định trục dọc và trục ngang mới xác định được không gian của vùng

Thay vào đó, cấu trúc RS-Tree sử dụng khối cầu để lưu trữ dữ liệu Với khối cầu, chỉ cần xác định tâm và bán kính nên sẽ giảm đi rất nhiều các lượt so sánh, sắp xếp so với khối hình chữ nhật

3.4 Đề xuất cấu trúc HM-RST dựa trên sự kết hợp RS-Tree và bảng băm 3.4.1 Mô tả cấu trúc cây RS-Tree

Quá trình gom cụm các véc-tơ đặc trưng dựa trên cấu trúc RS-Tree [37] Các nút trên R-Tree bao gồm:

(1) Nút trong 𝑺𝒏𝒐𝒅𝒆 là một bộ 〈𝑴𝑩𝑺, 𝒑〉, trong đó 𝑴𝑩𝑺 là một khối cầu có tâm 𝐜𝒏𝒐𝒅𝒆 và bán kính 𝒓𝒏𝒐𝒅𝒆, p là con trỏ liên kết đến các nút con Khối cầu này bao phủ

các khối cầu của các nút thuộc nhánh cây con Mỗi nút trong 𝑺𝒏𝒐𝒅𝒆 có số phần tử tối thiểu là 2 và tối đa là 𝑵;

(2) Nút lá 𝑺𝒍𝒆𝒂𝒇 là bộ 〈𝑴𝑩𝑺, 𝒆𝒏𝒕𝒊𝒕𝒚〉, trong đó 𝑴𝑩𝑺 là một khối cầu có tâm 𝒄𝒍𝒆𝒂𝒇

và bán kính 𝒓𝒍𝒆𝒂𝒇 chứa một tập thực thể 𝒆𝒏𝒕𝒊𝒕𝒚 với mỗi thực thể 𝒔𝒑𝑬𝑫 là một bộ

〈𝑴𝑩𝑺, 𝒐𝒊𝒅〉 trong đó 𝑴𝑩𝑺 là khối cầu có tâm 𝒄𝒔𝒑 và bán kính 𝒓𝒔𝒑 chứa không gian đối tượng, 𝒐𝒊𝒅 là định danh đối tượng 𝑓 = (𝑣1, 𝑣2, 𝑣3, … , 𝑣𝑑) Mỗi nút lá 𝑺𝒍𝒆𝒂𝒇 có số phần tử tối đa là 𝑴 và số phần tử tối thiểu là 𝒎 (1 < 𝑚 ≤ 𝑀 2⁄ )