Nghiên cứu phương pháp tra cứu ảnh sử dụng các cây dấu hiệu

i ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LÊ THỊ HÀ LÊ THỊ HÀ NGHIÊN CỨU PHƯƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG CÁC CÂY DẤU HIỆU NGHIÊN CỨU PHƯƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG CÁC CÂY DẤU HIỆU LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên năm 2015 ii ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LÊ THỊ HÀ NGHIÊN CỨU PHƯƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG CÁC CÂY DẤU HIỆU Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC TS NGUYỄN HỮU QUỲNH Thái Nguyên năm 2015 iii LỜI CAM ĐOAN Tôi xin cam đoan luận văn thực thiện, có hướng dẫn tận tình chu đáo người hướng dẫn TS Nguyễn Hữu Quỳnh Những số liệu bảng biểu, hình ảnh phục vụ cho việc phân tích, nhận xét, đánh giá thu thập từ nguồn khác có ghi phần tài liệu tham khảo, phạm vi hiểu biết Nếu phát có gian lận tơi xin hồn tồn chịu trách nhiệm trước Hội đồng, kết luận văn Thái nguyên, ngày tháng năm 2015 Học viên Lê Thị Hà iv LỜI CẢM ƠN Trong trình thực luận văn này, em nhận hướng dẫn, bảo tận tình TS Nguyễn Hữu Quỳnh, Khoa Cơng nghệ Thông tin thuộc trường Đại học Điện lực cán trực tiếp hướng dẫn khoa học cho em Thầy dành nhiều thời gian việc hướng dẫn cách nghiên cứu, đọc tài liệu, cài đặt thuật toán giúp đỡ xây dựng hệ thống thực nghiệm Em xin chân thành cảm ơn Thầy, Cô giáo trường Đại học Công nghệ Thông tin Truyền Thơng, Đại học Thái Ngun ln nhiệt tình giúp đỡ tạo điều kiện tốt cho em suốt trình học tập trường Xin chân thành cảm ơn anh, chị bạn học viên lớp Cao học - Trường Đại học Công nghệ Thông tin Truyền Thông thuộc Đại học Thái Nguyên ln động viên, giúp đỡ nhiệt tình chia sẻ với kinh nghiệm học tập, công tác suốt khố học Tơi xin chân thành cảm ơn vị lãnh đạo bạn đồng nghiệp Trường Dự bị Đại học Dân tộc Sầm Sơn tạo điều kiện tốt để hồn thành tốt đẹp khố học Cao học Thái nguyên, ngày tháng Lê Thị Hà năm 2015 v DANH MỤC CÁC CHỮ VIẾT TẮT Ký hiệu Diễn giải QBE Query by Example (Truy vấn ảnh mẫu) RGB Red Green Blue (Đỏ, Xanh lục, Xanh lơ) HSV Hue, Saturation, Value (Màu, sắc nét, cường độ) CCV Color Coherence Vectors (Véc tơ gắn kết màu) CBIR Content Based Image Retrieval (Tra cứu ảnh dựa vào nội dung) QBIC Query By Image Content ( virus cổ điển tra cứu ảnh) GCH Global Color Histogram ( lược đồ màu toàn cục) S-tree signature tree ( Cây dấu hiệu) JPEG Joint Photographic Experts Group (ảnh nén) MPEG Moving Picture Experts Group ( tiêu chuẩn cho việc truyền tải âm video vi DANH MỤC CÁC BẢNG Bảng 1: Tín hiệu chi tiết hình ảnh Hình 2.2 22 Bảng 2: Các dấu hiệu minh họa sai số độ đo tương tự 26 Bảng 3.1 : Bảng Images 45 Bảng 3.2 : Bảng FeatureColor 45 Bảng 3.3 : Chủ đề ảnh tập ảnh CSDL 48 Bảng 3.4 : Bảng đánh giá độ xác hệ thống 49 vii DANH MỤC CÁC HÌNH Hình 1.1 Khơng gian màu RGB HSV Hình 1.2 Hình dạng độ đo sử dụng để tính đặc trưng 12 Hình 2.1 Lấy truy vấn qua ảnh mẫu [27] 19 Hình 2.2 Tập ảnh mẫu 21 Hình 2.3 Minh họa S-tree tách nút 28 Hình 2.4 Các tệp dấu hiệu nhị phân 29 Hình 2.5 Vết sinh dấu hiệu 32 Hình 2.6.Chèn nút v vào T 33 Hình 2.7.Tìm kiếm dấu hiệu 33 Hình 2.8 Một dấu hiệu bị lệch 34 Hình 2.9 Một dấu hiệu cân 35 Hình 2.10 Sinh dấu hiệu cân 37 Hình 2.11 Minh họa tìm kiếm dấu hiệu 38 Hình 3.1 Kiến trúc chung hệ thống tra cứu ảnh dựa vào nội dung 41 Hình 3.2 Biểu đồ Use Case hệ thống 42 Hình 3.3 Biểu đồ trình tự thêm ảnh vào CSDL 44 Hình 3.4 Biểu đồ trình tự thêm tập ảnh vào CSDL 44 Hình 3.6 Giao diện tra cứu ảnh 46 Hình 3.7 Giao diện kết sau tra cứu ảnh 47 Hình 3.8 Giao diện quản lý sở liệu 47 MỤC LỤC Mở đầu CHƯƠNG :TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG 1.1 Đặc trưng 1.2 Trích rút biểu diễn đặc trưng 1.2.1.Trích rút biểu diễn đặc trưng màu 1.2.2 Trích rút biểu diễn đặc trưng kết cấu 1.2.3 Trích rút biểu diễn đặc trưng hình dạng 11 1.3 Yêu cầu hệ thống tra cứu ảnh dựa vào nội dung 13 1.4 Một số nghiên cứu liên quan 14 1.5 Kết luận chương 17 CHƯƠNG : SỬ DỤNG CÂY DẤU HIỆU TRONG TRA CỨU ẢNH DỰA VÀO MÀU 18 2.1 Các thành phần mơ hình tra cứu 18 2.2.Lược đồ cho dấu hiệu ảnh 20 2.3 Các dấu hiệu S-tree 27 2.3.1 Định nghĩa dấu hiệu 27 2.3.2 Xây dựng dấu hiệu 30 2.3.3 Tìm kiếm dấu hiệu 32 2.3.4 Các dấu hiệu cân 35 2.3.5 Số trung bình nút kiểm tra 38 2.4 Kết luận chương 39 CHƯƠNG :ỨNG DỤNG 40 3.1 Bài toán tra cứu ảnh 40 3.2 Thiết kế hệ thống 40 3.2.1 Biểu đồ Use Case hệ thống 42 3.2.2 Biểu đồ trình tự 43 3.2.3 Thiết kế CSDL 45 3.3 Mơ tả chương trình 46 3.4 Đánh giá 47 3.5 Kết luận chương 49 Mở đầu Sự phát triển nhanh chóng hồ sơ ảnh làm tăng đáng kể nhu cầu cho cố gắng nhằm mục tiêu tìm ảnh tương tự hiệu sở liệu ảnh lớn Một chiến lược phổ biến tìm kiếm ảnh sở liệu gọi truy vấn theo ví dụ (Query by Example - QBE), truy vấn biểu diễn mẫu ảnh phác thảo thường sử dụng để đưa truy vấn hầu hết hệ thống tra cứu ảnh dựa vào nội dung (CBIR) QBIC IBM, VIR Virage, hệ thống tra cứu ảnh vệ tinh IBM/NASA Một hệ thống CBIR trích rút đặc trưng trực quan từ ảnh truy vấn cho, sau đặc trưng sử dụng để so sánh với đặc trưng ảnh khác lưu trữ sở liệu Vì thế, hàm tương tự dựa vào tóm tắt nội dung ảnh thân ảnh Một điều cần lưu ý lượng liệu ảnh tăng nhanh theo thời gian sẵn có, cách tiếp cận dựa vào thích hỗ trợ người phương tiện tóm tắt ảnh khơng khả thi Phân bố màu tồn cục ảnh đặc trưng ứng dụng để tính tốn tóm tắt nội dung ảnh Các đặc trưng mong muốn độ phức tạp trích rút thấp, bất biến với quay dịch chuyển Thực tế, lược đồ màu toàn cục (GCH) thường sử dụng để biểu diễn phân bố màu ảnh Khi sử dụng cách tiếp cận GCH, lưu trữ véc tơ n chiều lược đồ màu cho ảnh sở liệu chiếm khơng gian lưu trữ đáng kể Để cực tiểu yêu cầu không gian, luận văn sử dụng biểu diễn nén véc tơ (các dấu hiệu nhị phân) Song hành với việc sử dụng dấu hiệu nhị phân trên, vấn đề hiệu (tìm kiếm ảnh tương tự nhanh sở liệu lớn) điểm nhấn luận văn Ánh xạ lược đồ màu lên điểm không gian n chiều 40 CHƯƠNG ỨNG DỤNG 3.1 Bài toán tra cứu ảnh Trong thực tế, ảnh tra cứu thường đa dạng phong phú Số lượng ảnh internet lớn Khi người sử dụng muốn tìm ảnh tương tự với ảnh biết (ảnh truy vấn) Vấn đề làm xác định tập ảnh tương tự với ảnh mà người sử dụng biết không dễ dàng Ngày với phát triển mạnh mẽ công nghệ thông tin người ta thu nhập ảnh theo mục đích Tuy nhiên sở liệu internet có kích cỡ cực lớn việc thu nhập trở nên khó khăn Để giải vấn đề sử dụng công nghệ tra cứu ảnh dựa vào nội dung để tìm ảnh tương tự với ảnh truy vấn Các kết tìm giúp người sử dụng nhanh chóng thực mục tiêu Thơng thường ảnh tra cứu theo nội dung có nhiều vùng màu sắc phong phú Chúng ta nhận thấy để so sánh phân loại ảnh điểm quan trọng màu sắc vùng ảnh Như vậy, nhiệm vụ toán xây dựng hệ thống tra cứu ảnh có chức sau: - Khi người sử dụng sưu tầm ảnh, hệ thống cho phép đưa một tập ảnh vào lưu trữ cách thuận lợi - Khi người sử dụng cung cấp ảnh mẫu cần tra cứu Hệ thống có nhiệm vụ tìm kiếm sở liệu ảnh có đưa danh sách ảnh tương tự ảnh mẫu theo thứ tự ảnh tương tự với ảnh mẫu phân hạng trước 3.2 Thiết kế hệ thống Chương trình xây dựng với mục đích tra cứu ảnh danh lam thắng cảnh dựa đặc trưng màu cục bộ, sử dụng kỹ thuật đánh số dựa vào 41 phân cụm Không gian màu sử dụng chương trình khơng gian màu RGB, khn dạng không gian màu RGB định dạng phổ biến ảnh số Với việc lượng hóa kênh màu R (Red), G (Green), B (Blue) từ 256 giá trị giảm xuống giá trị cho kênh màu tương ứng tạo thành 12 màu đơn tổ hợp từ kênh màu làm giảm khơng gian lưu trữ CSDL tăng tốc độ tra cứu hệ thống Mơ hình chung hệ thống sau : Tập ảnh Module tiền xử lý Trích rút đặc trưng Xây dựng dấu hiệu nhị phân Cơ sở liệu đặc trưng Module tra cứu Xd dấu hiệu nhị phân ảnh truy vấn Xây dựng dấu hiệu nhị phân Hệ thống truy vấn Giao diện đồ họa Ảnh truy vấn Hình 3.1 Kiến trúc chung hệ thống tra cứu ảnh dựa vào nội dung 42 Modul tiền xử lý thực sau: B1 Các bin màu ảnh tập ảnh trích rút mơ tả vector đặc trưng B2 Từ tập vector đặc trưng tiến hành xây dựng thành dấu hiệu nhị phân Modul tra cứu thực sau: Người sử dụng cung cấp cho hệ thống ảnh truy vấn thông qua giao diện đồ họa Sau hệ thống trích rút bin màu, biểu diễn ảnh vector đặc trưng từ xây dựng dấu hiệu nhị phân cho ảnh truy vấn Ảnh truy vấn so sánh với dấu hiệu nhị phân dấu hiệu nhị phân tạo nên từ tập ảnh có sở liệu Kết trả tập ảnh gần với ảnh truy vấn Tập ảnh kết phân hạng theo thứ tự giảm dần độ tương tự 3.2.1 Biểu đồ Use Case hệ thống Hình 3.2 Biểu đồ Use Case hệ thống Xác định Actor Use-Case 43 Danh sách Actor mơ hình: STT Actor Vai trò  Quản lý tập ảnh sở liệu Người dùng  Tra cứu ảnh Danh sách Use-Case mơ hình: STT Use-Case Chức  Cho phép tra cứu ảnh tập ảnh sở Tra cứu ảnh Trích liệu dựa vào ảnh mẫu truy vấn rút đặc  Thực việc lượng hóa ảnh cịn 12 màu trưng  Trích rút đặc trưng màu Xây dựng dấu  Xây dựng dấu hiệu nhị phân từ đặc trưng có tập ảnh CSDL hiệu nhị phân Thêm ảnh trưng sau trích rút ảnh vào CSDL Thêm ảnh vào CSDL 3.2.2 Biểu đồ trình tự  Lưu thông tin ảnh véc tơ đặc tập  Lưu thông tin ảnh véc tơ đặc trưng sau trích rút ảnh tập ảnh 44 Hình 3.3 Biểu đồ trình tự thêm ảnh vào CSDL Hình 3.4 Biểu đồ trình tự thêm tập ảnh vào CSDL 45 Hình 3.5 Biểu đồ trình tự tra cứu ảnh 3.2.3 Thiết kế CSDL Bảng Images Tên trường Kiểu liệu Khóa Mơ tả Images_ID Int X ID ảnh ImageName Nvarchar(150) Tên ảnh ImageWidth Int Chiều rộng ảnh ImageHeight Int Chiều cao ảnh ImageNote Nvarchar(150) Ghi ảnh Bảng 3.1 : Bảng Images Bảng FeatureColor Tên trường Kiểu liệu Khóa ImageFeature_ID Int ID_Image Int Mã ảnh Colors Int Chỉ số màu PosColor Int Vị trí màu TotalPixColor Int Tổng sơ pixel màu X Mô tả Mã đặc trưng Bảng 3.2 : Bảng FeatureColor 46 3.3 Mơ tả chương trình Qua q trình tìm hiểu phân tích thiết kế hệ thống trình bày thời gian nghiên cứu tìm hiểu thuật tốn tơi xây dựng hệ thống tra cứu ảnh thử nghiệm với tập ảnh sở liệu khoảng 2700 ảnh mẫu bao gồm thông tin liệu ảnh đặc trưng ảnh.Và đạt số kết có giao diện chương trình sau: Giao diện tra cứu ảnh: Người sử dụng lựa chọn ảnh truy vấn nhấn nút tra cứu Hình 3.6 Giao diện tra cứu ảnh 47 Hình 3.7 Giao diện kết sau tra cứu ảnh Giao diện quản lý sở liệu: Hình 3.8 Giao diện quản lý sở liệu 3.4 Đánh giá 48 Hệ thống tra cứu ảnh dựa vào dấu hiệu nhị phân tra cứu tập ảnh sở liệu thử nghiệm khoảng 2700 ảnh mẫu phong cảnh bao gồm chủ đề khác sưu tầm Internet Tập ảnh bao gồm ảnh màu với kích thước 256x256, chủ đề số lượng ảnh chủ đề biểu thị chi tiết bảng đây: Sô Tên chủ đề lượng Coast 360 Forest 328 Highway 260 Insidecity 308 Mountain 374 Opencountry 410 Street 292 Tallbuilding 356 Bảng 3.3 : Chủ đề ảnh tập ảnh CSDL Tôi thử nghiệm hiệu hệ thống chủ đề với nhiều truy vấn khác để đánh giá độ xác hệ thống Bảng đánh giá kết cho bên dưới: Tên chủ đề Độ xác Coast 75-85% forest 75-85% highway 75-85% insidecity 75-85% mountain 75-85% opencountry 75-85% street 75-85% 49 tallbuilding 75-85% Bảng 3.4 : Bảng đánh giá độ xác hệ thống 3.5 Kết luận chương Trong chương cuối này, tơi trình bày phân tích thiết kế hệ thống tra cứu ảnh dựa vào dấu hiệu nhị phân số kết thử nghiệm đạt Qua kết thu ta nhận thấy phương pháp cho kết tốt so với mong muốn tra cứu người dùng 50 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Tra cứu ảnh sử dụng dấu hiệu cho hiệu khả quan So với việc sử dụng thuật tốn xử lý lược đồ màu tồn cục, lược đồ màu cục bộ, thuật tốn kế thừa ưu điểm khắc phục nhược điểm thuật toán nêu Với sở liệu ảnh lớn, việc truy suất duyệt ảnh chiếm khoảng thời gian xử lý dài, yếu tố cần nghiên cứu khắc phục Trong bước tiền xử lý, cố gắng giữ nhiều màu sắc ảnh tốt, chia ảnh thành nhiều phần nhỏ cho kết xác nhiều Tuy nhiên, làm giảm tốc độ tình tốn nên cần xác định cho phù hợp với nhu cầu mục đích sử dụng chương trình HƯỚNG PHÁT TRIỂN ĐỀ TÀI : Cơng nghệ tìm kiếm, xử lý ảnh ngày phát triển Việc tra cứu ảnh sử dụng dấu hiệu để tìm kiếm ảnh bỏ qua nhiều yếu tố khác cấu thành nên ảnh Để ảnh tìm có nội dung sâu sắc hơn, gần gũi với tư người hơn, chương trình cần tích hợp nhiều kĩ thuật tìm kiếm dựa đặc trưng khác Hy vọng tương lai không xa, chương trình tìm kiếm ảnh đời, chương trình thơng minh, có khả nhận biết nội dung ảnh tương tự cách người quan sát chúng 51 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Lương Mạnh Bá, Nguyễn Thanh Thuỷ, Nhập môn xử lý ảnh số, NXB Khoa học Kỹ thuật; Hà Nội 1999 [2] Đỗ Năng Toàn, Phạm Việt Bình, Xử lý ảnh, Đại học Thái Nguyên, 11/2007 [3] Nguyễn Thị Nhung, Nghiên cứu phương pháp biểu diễn tra cứu ảnh hiệu ứng dụng tra cứu ảnh phong cảnh, Luận văn thạc sĩ trường Đại học Công nghệ thông tin & truyền thông Thái Nguyên, 2011 Tiếng Anh [4] E Saber, A.M Tekalp, ”Integration of color, edge and texture features for automatic region-based image annotation and retrieval,” Electronic Imaging, 7, pp 684–700, 1998 [5] C Schmid, R Mohr, ”Local grey value invariants for image retrieval,” IEEE Trans Pattern Anal Machine Intell, 19, pp 530–534, 1997 [6] A R Appas et al Image indexing using composite regional color channels features InProc SPIE – Storage and Retrieval for Image and Video Databases VII, volume 3656, pages 492–500, 1999 [7] N Beckmann et al The R -tree: an efficient and robust access method for points and rectangles In Proc ACM SIGMOD’90 Conf., pages 322–331, 1990 [8] S Berchtold, D A Keim, and H.-P Kriegel The X-tree: an index structure for high-dimensional data In Proc 22nd VLDB Conf., pages 28–39, 1996 [9] P Ciaccia, M Patella, and P Zezula M-tree: an efficient access method for similarity search in metric spaces InProc 23rd VLDB Conf., pages 426– 435, 1997 52 [10] N G Colossi and M A Nascimento Benchmarking access structures for high-dimensional multimedia data InProc IEEE Multimedia Conf and Expo, pages 1215–1218, 2000 [11] M Flickner et al Query by image and video content: The QBIC system IEEE Computer, pages 23–32,1995 [12] V Gaede and O Guenther Multidimensional access methods ACM Computing Surveys, 30(2):170–231, 1998 [13] W Hsu, T S Chua, and H K Pung An integrated color-spatial approach to content-based image retrieval InProc 3rd ACM Multimedia Conf., pages 305–313, 1995 [14] IBM IBM’s Query by Image Content http://wwwqbic.almaden.ibm.com/ [15] N Katayama and S Satoh The SR-tree: an index structure for highdimensional nearest neighbor queries InProc ACM SIGMOD’97 Conf., pages 369–380, 1997 [16] S Lin An extendible hashing structure for image similarity searches Technical Report TR-00-06, Dept of Computing Science, University of Alberta, 2000 (MSc Thesis) [17] W Niblack et al The QBIC project: Querying images by content using color, texture and shape InProc SPIE - Storage andRetrieval for Image and Video Databases, pages 173–187, 1993 [18] G Pass, R Zabih, and J Miller Comparing images using color coherence vectors In Proc 4th ACM Multimedia Conf., pages 65–73, 1996 [19] E D Sciascio, G Mingolla, and M Mongiello Content-based image retrieval over the web using query by sketch and relevance feedback InProc 4th Conf on Visual Information Systems, pages 123–130, 1999 53 [20] J R Smith and S.-F Chang Tools and techniques for color image retrieval InProc SPIE - Storage and Retrieval for Image and Video Database IV, pages 40–50, 1995 [21] R O Stehling, M A Nascimento, and A X Falcao On ’shapes’ of colors for content-based image retrieval InProc Workshop on Multimedia Information Retrieval, pages 171–174, 2000 [22] M Stricker and M Orengo Similarity of color images InProc SPIE Storage andRetrieval for Image and Video Databases III, pages 40–50, 1995 [23] C Traina et al Slim-trees: High performance metric trees minimizing overlap between nodes InProc 7th EDBT Conf., pages 51–65, 1999 [24] J Z Wang SIMPLIcity: a region-based image retrieval system for picture libraries and biomedical image databases In Proc 8th ACM Multimedia Conf., pages 483–484, 2000 (http://wang.ist.psu.edu/cgibin/zwang/regionsearchshow.cgi) [25] D A White and R Jain Similarity indexing with the SS-tree InProc 12th ICDE Conf., pages 516–523, 1996 [26] Mario A Nascimento, Eleni Tousidou, Vishal Chitkara, Yannis Manolopoulos, Color Based Image Retrieval Using Signature Trees, Technical Report TR 01-02, University of Alberta, 2001 ... mơ hình tra cứu, lược đồ cho dấu hiệu, đặc biệt luận văn trình bày chi tiết dấu hiệu cho tra cứu ảnh gồm định nghĩa cây, xây dựng dấu hiệu, tìm kiếm dấu hiệu, dấu hiệu cân 40 CHƯƠNG ỨNG DỤNG 3.1... danh dấu hiệu cho dấu hiệu khác so với dấu hiệu Hình 2.8b Hình 2.9 Một dấu hiệu cân Vấn đề cách điều khiển trình xây dựng dấu hiệu theo cách mà sinh dấu hiệu mà cân Tiếp theo, mô tả 36 phương pháp. .. chương: Chương 1: Giới thiệu tổng quan tra cứu ảnh dựa vào nội dung Chương 2: Sử dụng dấu hiệu tra cứu ảnh dựa vào màu Chương 3: Ứng dụng 4 CHƯƠNG TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG 1.1