Nghiên cứu phương pháp tăng tốc độ trong tra cứu ảnh dựa vào nội dung dùng cây dấu hiệu nhị phân

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH TRƯƠNG ĐÌNH NĂM NGHIÊN CỨU PHƯƠNG PHÁP TĂNG TỐC ĐỘ TRONG TRA CỨU ẢNH DỰA VÀO NỘI DUNG DÙNG CÂY DẤU HIỆU NHỊ PHÂN LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGHỆ AN, 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH TRƯƠNG ĐÌNH NĂM NGHIÊN CỨU PHƯƠNG PHÁP TĂNG TỐC ĐỘ TRONG TRA CỨU ẢNH DỰA VÀO NỘI DUNG DÙNG CÂY DẤU HIỆU NHỊ PHÂN Chuyên ngành: Công nghệ thông tin Mã số: 60.48.02.01 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: TS NGUYỄN NGỌC HIẾU NGHỆ AN, 2017 i LỜI CAM ĐOAN Tôi cam đoan nội dung luận văn tơi tự tìm hiểu, nghiên cứu hướng dẫn khoa học thầy TS Nguyễn Ngọc Hiếu Các kết nêu luận văn trung thực, có nguồn gốc rõ ràng, trích dẫn đầy đủ chưa cơng bố cơng trình khoa học Nếu sai tơi xin chịu hồn tồn trách nhiệm Nghệ An, tháng năm 2017 Tác giả luận văn Trương Đình Năm ii LỜI CẢM ƠN Trong trình thực luận văn này, nhận hướng dẫn, bảo tận tình Thầy TS Nguyễn Ngọc Hiếu, Khoa Công nghệ Thông tin thuộc trường Đại học Vinh cán trực tiếp hướng dẫn khoa học cho Thầy dành nhiều thời gian việc hướng dẫn cách nghiên cứu, đọc tài liệu, cài đặt thuật toán giúp đỡ xây dựng hệ thống thực nghiệm Tôi xin chân thành cảm ơn Thầy, Cô giáo trường Đại học Vinh ln nhiệt tình giúp đỡ tạo điều kiện tốt cho suốt trình học tập trường Xin chân thành cảm ơn anh, chị bạn học viên lớp Cao học - Trường Đại học Vinh ln động viên, giúp đỡ nhiệt tình chia sẻ với kinh nghiệm học tập, công tác suốt khoá học Nghệ An, tháng năm 2017 Học viên Trương Đình Năm iii MỤC LỤC Trang TRANG PHỤ BÌA LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC CHỮ VIẾT TẮT v DANH MỤC CÁC HÌNH vi DANH MỤC CÁC BẢNG vii LỜI MỞ ĐẦU 1 Sự cần thiết vấn đề nghiên cứu Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu 4 Nội dung nghiên cứu 5 Kết cấu luận văn CHƯƠNG GIỚI THIỆU TỔNG QUAN VỀ PHƯƠNG PHÁP TRA CỨU ẢNH DỰA VÀO NỘI DUNG 1.1 Giới thiệu 1.2 Đặc trưng ảnh 1.2.1 Màu sắc 1.2.2 Kết cấu 13 1.2.3 Hình dạng 14 1.3 Các hệ thống tra cứu ảnh dựa vào nội dung 15 1.4 Kết luận chương 16 Chương 2: TRA CỨU ẢNH DỰA VÀO NỘI DUNG DÙNG CÂY DẤU HIỆU NHỊ PHÂN 17 2.1 Cấu trúc mơ hình tra cứu ảnh 17 iv 2.2 Dấu hiệu nhị phân 18 2.3 Độ đo tương tự 23 2.4 Cây dấu hiệu nhị phân 26 2.4.1 Định nghĩa dấu hiệu 26 2.4.2 Tạo dấu hiệu 28 2.4.3 Tìm kiếm dấu hiệu 31 2.5 Kết luận chương 33 CHƯƠNG 3: HỆ THỐNG THỬ NGHIỆM 34 3.1 Mô tả chương trình 34 3.1.1 Khái quát chương trình 34 3.1.2 Thiết kế hệ thống tổng quát 34 3.1.3 Thiết kế CSDL 37 3.2 Mô tả giao diện chương trình 38 3.3 Kết luận chương 41 KẾT LUẬN 42 Những vấn đề giải luận văn 42 Hạn chế 42 Hướng phát triển 42 TÀI LIỆU THAM KHẢO 44 v DANH MỤC CÁC CHỮ VIẾT TẮT Chữ viết tắt VIR CBIR Giải thích Visual Information Retrieval (Tra cứu thông tin) Content Based Image Retrieval (Tra cứu ảnh dựa vào nội dung) CSDL Cơ sở liệu QBIC Query By Image Content (virus cổ điển tra cứu ảnh) QBE Query by Example (Truy vấn ảnh mẫu) RGB Red, Green, Blue (Đỏ, Xanh lục, Xanh lơ) HSV Hue, Saturation, Value (Màu, sắc nét, cường độ) CCV Color Coherence Vectors (Véc tơ gắn kết màu) IBM International Business Machines (tập đồn cơng nghệ máy tính) GCH Global Color Histogram (lược đồ màu toàn cục) S-tree Signature tree (Cây dấu hiệu) JPEG Joint Photographic Experts Group (ảnh nén) MPEG Moving Picture Experts Group (các tiêu chuẩn cho việc truyền tải âm video vi DANH MỤC CÁC HÌNH Hình 1.1: Kiến trúc hệ thống tra cứu ảnh dựa vào nội dung Hình 1.2: Khơng gian màu RGB trực quan hố hình khối 10 Hình 1.3: Mơ tả không gian màu HSV 11 Hình 2.1: Mẫu thiết lập hình ảnh 20 Hình 2.2: Các tệp dấu hiệu nhị phân 27 Hình 2.3: Vết sinh dấu hiệu 31 Hình 3.1: Kiến trúc chung hệ thống tra cứu ảnh dựa vào nội dung 35 Hình 3.2: Mơ hình chi tiết hệ thống tra cứu ảnh 36 Hình 3.3: Giao diện tra cứu ảnh 39 Hình 3.4: Giao diện kết sau tra cứu ảnh 40 Hình 3.5: Giao diện quản lý sở liệu 41 vii DANH MỤC CÁC BẢNG Bảng 2.1: Tín hiệu chi tiết hình ảnh Hình 2.3 21 Bảng 2.2: Chi tiết dấu hiệu nhị phân ảnh hình 2.1 cách sử dụng VBA 23 Bảng 2.3: Chuỗi dấu hiệu nhị phân để minh họa giống khác ảnh 25 Bảng 3.1: Bảng Images 37 Bảng 3.2: Bảng Images SQL 37 Bảng 3.3: Bảng FeatureColor 38 Bảng 3.4: Bảng FeatureColor SQL 38 LỜI MỞ ĐẦU Sự cần thiết vấn đề nghiên cứu Tăng trưởng mạnh mẽ việc lưu trữ ảnh tăng đáng kể nhu cầu tra cứu hiệu ảnh sở liệu ảnh lớn Khi số lượng ảnh tập ảnh ít, việc nhận diện ảnh hay việc so sánh giống khác ảnh thực mắt thường, nhiên có số lượng lớn ảnh việc so sánh mắt thường khó khăn, địi hỏi phải có phương pháp hiệu xác Việc tìm kiếm ảnh mong muốn hàng triệu ảnh thuộc đủ loại chủ đề khác khó khăn Vấn đề đặt phải có phương pháp tổ chức sở liệu ảnh tốt với kỹ thuật tìm kiếm, tra cứu ảnh hiệu quả, có độ xác cao có hiệu tốt Các kỹ thuật tra cứu ảnh thực chủ yếu theo hai hướng: kỹ thuật tra cứu dựa vào văn mô tả ảnh, kỹ thuật tra cứu dựa vào nội dung ảnh Kỹ thuật tra cứu ảnh dựa vào văn mô tả ảnh sử dụng từ khóa để mơ tả nội dung ảnh, kỹ thuật có hạn chế như: Sử dụng tập từ khố mơ tả ảnh lớn phức tạp, cần nguồn nhân lực xây dựng từ khố ảnh, việc mơ tả phụ thuộc vào cảm nhận chủ quan người xây dựng dẫn tới nhập nhằng nội dung câu truy vấn nội dung hiển thị ảnh trả Kỹ thuật tra cứu ảnh dựa vào văn mơ tả ảnh sử dụng từ khóa để mơ tả nội dung ảnh, kỹ thuật có hạn chế như: Sử dụng tập từ khố mơ tả ảnh lớn phức tạp, cần nguồn nhân lực xây dựng từ khố ảnh, việc mơ tả phụ thuộc vào cảm nhận chủ quan người xây dựng 30 Cr ← ChildRight(T);//Lấy phải v Insert(Sj, Cr); Count(Cr)++; Else Cl ← ChildLeft(v);Lấy trái v; Insert(Sj, Cl); Count(Cl) ++; Else //so sánh Sj với Sp(v) để tìm sk(v); For k = to Length(S) If (Sp(v)[k] != Sj[k]) sk(v) = k; break; w ← v; Replace(u,v);//thay v nút u với sk(u)=k; If Sj[k]=1 then CreatChildRight(Sj,u);//đặt Sj phải u CreatChildLeft(w,u);//đặt w trái u Else CreatChildRight(w,u);//đặt w phải u CreatChildLeft(Sj,u);//đặt Sj trái u Count(Sj)++; Count(w)++; End Chúng ta duyệt từ gốc, cho v nút đạt đến giả thiết v nút với sk(v)=i Thì Sj[i] kiểm tra Nếu Sj[i]=1, sang bên phải hàm ChildLeft Ngược lại, sang bên trái hàm ChildRight Nếu v nút lá, so sánh Sj với dấu hiệu Sp(v) trỏ p(v) để tìm sk(v) = k (Sj khác với dấu hiệu Sp(v) vị trí k) Chúng ta 31 xây dựng nút u với sk(u)=k để thay cho v (Lưu ý v khơng bị loại bỏ mà thay vị trí v u v trở thành u Lúc v w) Nếu Sj[k+1]=1, tạo Sj phải, w trái u, cịn Sj[k+1]=0 ngược lại Tiếp theo ví dụ mơ tả cách xây dựng cho ví dụ hình 2.3 Hình 2.3: Vết sinh dấu hiệu 2.4.3 Tìm kiếm dấu hiệu Chúng ta trình bày cách tìm kiếm dấu hiệu Cho S q dấu hiệu nhị phân đưa vào truy vấn, vị trí thứ i Sq biểu thị Sq[i] Với v nút đạt ta duyệt tới cho ta biết vị trí kiểm tra chuỗi Sq sk(v) Trong trình duyệt dấu hiệu nhị phân để tìm tập ảnh phù hợp với ảnh truy vấn Sq thực sau: Cho v nút đạt tới Sq[sk(v)] vị trí kiểm tra Nếu Sq[sk(v)]=1, dịch chuyển tới phải v Nếu Sq[sk(v)]=0, dịch chuyển tới trái v 32 Ngưỡng 𝜃 : Giới hạn số lượng ảnh tìm kiếm sau duyệt để tra kết ≤ 𝜃 để hiển thị hình Trong thực tế, trình tương ứng với tiêu chuẩn đối sánh dấu hiệu, tức là, với vị trí bít i s q, đặt 1, vị trí bít tương ứng s phải đặt 1; đặt 0, vị trí bít tương ứng s đặt Algorithm SBTR(Sq, T) (Sign Binary Tree Retrieval) Input: Một dấu hiệu truy vấn Sq Cây dấu hiệu nhị phân T 𝜃 Ngưỡng Ouput: Tập dấu hiệu phù hợp S Begin v ← getRoot(T) If IsNodeLeaf(v) and Count(v) > 𝜃 then i←sk(v); If Sq[i] = then, Cr ← ChildRight(T); SBTR(Sq, Cr); Else Cl ← ChildLeft(T); SBTR(Sq, Cl); Else If (Compare(Sq ,Sp(v) ) then S←S ∪ Sp(v) Cr ← ChildRight(T); SBTR (Sq, Cr); Cl ← ChildLeft(T); SBTR(Sq, Cl); End 33 Ví dụ giúp minh họa ý tưởng thuật toán Xét tệp dấu hiệu dấu hiệu Hình 2.3 Giả sử sq=000 100 100 000 Thì phần dấu hiệu (được đánh dấu với cạnh đậm) tìm kiếm Khi đạt tới nút lá, dấu hiệu trỏ nút kiểm tra so với sq Quá trình hiệu nhiều tìm kiếm chuỗi ba dấu hiệu cần kiểm tra duyệt tệp dấu hiệu kiểm tra tám dấu hiệu 2.5 Kết luận chương Chương trình bày cấu trúc mơ hình tra cứu ảnh thành phần mơ hình tra cứu ảnh, lược đồ cho dấu hiệu, đặc biệt luận văn trình bày chi tiết dấu hiệu cho tra cứu ảnh gồm định nghĩa cây, xây dựng dấu hiệu, tìm kiếm dấu hiệu Kỹ thuật gồm bước: xác định vector đặc trưng pixel màu trội, xác định chuỗi dấu hiệu nhị phân ảnh 34 CHƯƠNG 3: HỆ THỐNG THỬ NGHIỆM 3.1 Mơ tả chương trình 3.1.1 Khái qt chương trình Chương trình xây dựng với mục đích tra cứu ảnh dựa đặc trưng dấu hiệu nhị phân màu Khơng gian màu sử dụng chương trình không gian màu RGB, khuôn dạng không gian màu RGB định dạng phổ biến ảnh số Với việc lượng hóa kênh màu R (Red), G (Green), B (Blue) từ 512 giá trị giảm xuống giá trị cho kênh màu tương ứng tạo thành 27 màu đơn tổ hợp từ kênh màu làm giảm khơng gian lưu trữ sở liệu tăng tốc độ tra cứu hệ thống 3.1.2 Thiết kế hệ thống tổng quát Hệ thống thiết kế thực hệ điều hành Win 7, sử dụng ngôn ngữ lập trình ASP.Net mơi trường Visual Studio 2010 hệ thống sở liệu SQL Server 2012 Kiến trúc tồn hệ thống Hình 3.1 Mô tả chi tiết hoạt động hệ thống thể Hình 3.2 Kiến trúc gồm hai module chính: module tiền xử lý thực ngoại tuyến module tra cứu thực trực tuyến Ban đầu, CSDL ảnh tiền xử lý (bởi module tiền xử lý) để trích rút véc tơ đặc trưng Module tra cứu nhận ảnh truy vấn từ người sử dụng thơng qua giao diện đồ hoạ, trích rút véc tơ đặc trưng từ ảnh truy vấn, so sánh với cụm ảnh sở liệu ảnh trả ảnh có độ tương tự lớn với ảnh truy vấn Mơ hình chung hệ thống sau : 35 Tập ảnh Module tiền xử lý Trích rút đặc trưng Xây dựng dấu hiệu nhị phân Cơ sở liệu đặc trưng Module tra cứu Xây dựng dấu hiệu nhị phân ảnh truy vấn Xây dựng dấu hiệu nhị phân Hệ thống truy vấn Giao diện đồ họa Ảnh truy vấn Hình 3.1: Kiến trúc chung hệ thống tra cứu ảnh dựa vào nội dung 36 Dấu hiệu đặc trưng Ảnh truy vấn Trích rút đặc trưng So sánh dấu hiệu Tập ảnh Dấu hiệu đặc trưng Trích rút đặc trưng Tra cứu    Kết Hình 3.2: Mơ hình chi tiết hệ thống tra cứu ảnh Modul tiền xử lý thực sau: B1 Các bin màu ảnh tập ảnh trích rút mơ tả vector đặc trưng 37 B2 Từ tập vector đặc trưng tiến hành xây dựng thành dấu hiệu nhị phân Modul tra cứu thực sau: Người sử dụng cung cấp cho hệ thống ảnh truy vấn thông qua giao diện đồ họa Sau hệ thống trích rút bin màu, biểu diễn ảnh vector đặc trưng từ xây dựng dấu hiệu nhị phân cho ảnh truy vấn Ảnh truy vấn so sánh với dấu hiệu nhị phân dấu hiệu nhị phân tạo nên từ tập ảnh có sở liệu Kết trả tập ảnh gần với ảnh truy vấn Tập ảnh kết phân hạng theo thứ tự giảm dần độ tương tự 3.1.3 Thiết kế CSDL Bảng Images Tên trường Kiểu liệu Khóa Mơ tả Images_ID Int X ID ảnh ImageName Nvarchar(150) Tên ảnh ImageWidth Int Chiều rộng ảnh ImageHeight Int Chiều cao ảnh ImageNote Nvarchar(150) Ghi ảnh Bảng 3.1: Bảng Images Bảng 3.2: Bảng Images SQL 38 Bảng FeatureColor Tên trường Kiểu liệu Mơ tả Khóa X Mã đặc trưng ImageFeature_ID Int ID_Image Int Mã ảnh Colors Int Chỉ số màu PosColor Int Vị trí màu TotalPixColor Int Tổng sơ pixel màu Bảng 3.3: Bảng FeatureColor Bảng 3.4: Bảng FeatureColor SQL 3.2 Mô tả giao diện chương trình Qua q trình tìm hiểu phân tích thiết kế hệ thống trình bày thời gian nghiên cứu tìm hiểu thuật tốn tơi xây dựng hệ thống tra cứu ảnh thử nghiệm với tập ảnh sở liệu khoảng 2700 ảnh mẫu bao gồm thông tin liệu ảnh đặc trưng ảnh.Và đạt số kết có giao diện chương trình sau: 39 Giao diện tra cứu ảnh: Người sử dụng lựa chọn ảnh truy vấn nhấn nút tra cứu Hình 3.3: Giao diện tra cứu ảnh 40 Giao diện hiển thị ảnh kết quả: Hệ thống tiến hành tra cứu ảnh hiển thị kết hình Hình 3.4: Giao diện kết sau tra cứu ảnh 41 Giao diện quản lý sở liệu: Hình 3.5: Giao diện quản lý sở liệu 3.3 Kết luận chương Trong chương cuối này, tơi trình bày phân tích thiết kế hệ thống tra cứu ảnh dựa vào dấu hiệu nhị phân số kết thử nghiệm đạt Qua kết thu ta nhận thấy phương pháp cho kết tốt so với mong muốn tra cứu người dùng 42 KẾT LUẬN Sau thời gian tìm hiểu xây dựng hệ thống, đạt số kết sau: Những vấn đề giải luận văn  Tìm hiểu tra cứu ảnh dựa vào nội dung, đặc điểm, ứng dụng, số phương pháp tra cứu ảnh dựa vào nội dung  Áp dụng xây dựng chương trình tra cứu ảnh dựa vào nội dung sử dụng dấu hiệu nhị phân Hạn chế Do thời gian tìm hiểu đề tài chưa nhiều hạn chế khả lập trình nên số mục tiêu đặt từ bắt tay nghiên cứu chưa thực chương trình chạy thử này, bao gồm:  Không phải lúc kết thu thỏa mãn yêu cầu mong đợi người dùng mà tùy thuộc nhiều vào nội dung ảnh Nếu hình ảnh có q nhiều chi tiết phụ kết bị ảnh hưởng nhiều Trong thời gian tới, tơi hy vọng giải vấn đề tồn để xây dựng chương trình thực hữu ích, đáp ứng yêu cầu toán Hướng phát triển  Mở rộng thêm tập ảnh thử nghiệm  Áp dụng phản hồi liên quan vào hệ thống  Hiện có trang web sử dụng phương thức tìm kiếm theo hình ảnh mà tìm kiếm theo từ khóa nên việc cung cấp hình ảnh gốc để tìm 43 kiếm thực khó khăn Vì vậy, tơi nghĩ tới việc, trang web lưu trữ tạo lập sở liệu hình ảnh Người dùng cần cung cấp hình ảnh muốn tìm, trang web đưa hình ảnh tương đồng với địa trang web chứa hình ảnh Việc tìm kiếm hồn tồn dựa nội dung hình ảnh (màu sắc, hình dạng ) 44 TÀI LIỆU THAM KHẢO [1] A.V Aho, J.E Hopcroft, and J.D Ullman, The Design and Analysis of Computer Algorithms London: Addison-Wesley Publishing Company, 1974 [2] D.E Knuth, The Art of Computer Programming: Sorting and Searching London: Addison-Wesley Pub., 1973 [3] D.R Morrison, “PATRICIA-Practical Algorithm To Retrieve Information Coded in Alphanumeric,” J Assoc for Computing Machinery,vol 15, no 4, pp 514-534, Oct 1968 [4] M.K Folk and B Zoellick Files Structures Addison- Wesley, 2nd edition, 1992 [5] Park, D.-S et al, (1999), Image Indexing using Weighted Color Histogram InProc of the 10th Intl Conf on Image Analysis and Processing, Venice, Italy [6] U Deppisch, “S-Tree: A Dynamic Balanced Signature Index for Office Retrieval,” Proc ACM SIGIR Conf., pp 77-87, Sept 1986 [7] V Gaede and O Guenther Multidimensional access methods ACM Computing Surveys, 30(2):170–231, 1998 ... Tìm hiểu tra cứu ảnh dựa vào nội dung, đặc điểm, ứng dụng, số phương pháp tra cứu ảnh dựa vào nội dung  Áp dụng xây dựng chương trình tra cứu ảnh dựa vào nội dung sử dụng dấu hiệu nhị phân Hạn... thống tra cứu ảnh dựa vào nội dung, đặc biệt nhấn mạnh vào trích rút biểu diễn đặc trưng màu 17 Chương 2: TRA CỨU ẢNH DỰA VÀO NỘI DUNG DÙNG CÂY DẤU HIỆU NHỊ PHÂN 2.1 Cấu trúc mơ hình tra cứu ảnh. .. Kết cấu luận văn Nội dung luận văn gồm chương: Chương 1: Giới thiệu tổng quan phương pháp tra cứu ảnh dựa vào nội dung Chương 2: Tra cứu ảnh dựa vào nội dung dùng dấu hiệu nhị phân Chương 3: Hệ