Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)

Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)Nghiên cứu phương pháp tra cứu ảnh dựa trên phương pháp phân cụm đô thị (Luận văn thạc sĩ)

I HC THI NGUYấN TRƯờNG ĐạI HọC CÔNG NGHệ THÔNG TIN Và TRUYềN THÔNG TRN TH HNG NGHIấN CU PHNG PHÁP TRA CỨU ẢNH DỰA TRÊN PHƯƠNG PHÁP PHÂN CỤM ĐỒ THỊ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THI NGUYấN - 2020 I HC THI NGUYấN TRƯờNG ĐạI HọC CÔNG NGHệ THÔNG TIN Và TRUYềN THÔNG TRN TH HƯỜNG NGHIÊN CỨU PHƯƠNG PHÁP TRA CỨU ẢNH DỰA TRÊN PHƯƠNG PHÁP PHÂN CỤM ĐỒ THỊ Chuyên ngành: Khoa học máy tính Mã số: 48 0101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Giáo viên hướng dẫn: PGS TS Ngô Quốc Tạo Thái Nguyên - 2020 i LỜI CẢM ƠN Luận văn hoàn thành Trường Đại học Công nghệ Thông tin Truyền thông hướng dẫn PGS TS Ngô Quốc Tạo, hỗ trợ đề tài NVCC02.01/20-20 VAST01.07/19-20 Tác giả xin bày tỏ lòng biết ơn tới thầy cô giáo thuộc Trường Đại học Công nghệ Thông tin Truyền thông, thầy cô giáo thuộc Viện Công nghệ Thông tin – Viện Hàn lâm Khoa học Công nghệ Việt Nam tạo điều kiện, giúp đỡ tác giả trình học tập làm luận văn Trường Đặc biệt tác giả xin bày tỏ lịng biết ơn tới PGS TS Ngơ Quốc Tạo tận tình hướng dẫn cung cấp nhiều tài liệu cần thiết, cám ơn TS Ngô Trường Giang nhiệt tình hỗ trợ, để tác giả hồn thành luận văn thời hạn Xin chân thành cảm ơn anh chị em học viên cao học bạn bè đồng nghiệp trao đổi, khích lệ tác giả trình học tập làm luận văn Trường Đại học Công nghệ Thông tin Truyền thông – Đại học Thái Nguyên Cuối tác giả xin gửi lời cảm ơn đến gia đình, người ln bên cạnh, động viên khuyến khích tơi q trình thực đề tài Thái Nguyên, tháng năm 2020 Học viên Trần Thị Hường ii LỜI CAM ĐOAN Tơi xin cam đoan luận văn tơi thực hiện, hướng dẫn khoa học PGS TS Ngô Quốc Tạo, kết lý thuyết trình bày luận văn tổng hợp từ kết cơng bố có trích dẫn đầy đủ, kết chương trình thực nghiệm luận văn tác giả thực hồn tồn trung thực, sai tơi hồn tồn chịu trách nhiệm Thái Nguyên, tháng năm 2020 Học viên Trần Thị Hường iii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC CÁC HÌNH vii DANH MỤC BẢNG BIỂU viii MỞ ĐẦU 1 Tính khoa học cấp thiết đề tài Đối tượng phạm vi nghiên cứu đề tài Phương pháp luận nghiên cứu Nội dung bố cục luận văn CHƯƠNG TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Tra cứu ảnh dựa nội dung 1.1.1 Khái niệm tra cứu ảnh 1.1.2 Kiến trúc hệ thống CBIR 1.2 Trích chọn đặc trưng tra cứu ảnh 1.2.1 Trích chọn đặc trưng màu 1.2.2 Trích chọn đặc trưng kết cấu (texture) 12 1.2.3 Trích chọn đặc trưng hình dạng (shape) .17 1.3 Khoảng cách ngữ nghĩa tra cứu ảnh dựa nội dung 20 1.3.1 Khoảng cách ngữ nghĩa .20 1.3.2 Các phương pháp làm giảm khoảng cách ngữ nghĩa 21 1.4 Phản hồi liên quan tra cứu ảnh 22 1.4.1 Giới thiệu phản hồi liên quan 22 1.4.2 Các kỹ thuật phản hồi liên quan 23 1.5 Các lĩnh vực ứng dụng tra cứu ảnh 25 1.5.1 Một số ứng dụng tra cứu ảnh 25 1.5.2 Một số hệ thống tra cứu ảnh theo nội dung tiêu biểu 26 iv 1.6 Kết luận chương 28 CHƯƠNG TRA CỨU ẢNH DỰA TRÊN PHÂN CỤM ĐỒ THỊ 28 2.1 Phân cụm đồ thị 29 2.1.1 Giới thiệu đồ thị 29 2.1.2 Thuật toán phân cụm quang phổ 33 2.1.3 Các thuật toán phân cụm phổ .34 2.2 Phương pháp tra cứu ảnh sử dụng phân cụm phổ 35 2.2.1 Phát biểu toán 35 2.2.2 Phân tích xây dựng mơ hình 37 2.2.3 Phân cụm phổ với phản hồi liên quan 37 2.3 Kết luận chương 42 CHƯƠNG CHƯƠNG TRÌNH THỬ NGHIỆM 44 3.1 Thiết kế mơ hình thử nghiệm 44 3.1.1 Công cụ 44 3.1.2 Chuẩn bị liệu .46 3.2 Trích chọn đặc trưng 46 3.3 Độ đo tương tự 47 3.4 Mơ hình truy vấn 48 3.5 Một số kết đạt đánh giá 49 3.5.1 Tiêu chí đánh giá hiệu 49 3.5.2 Đánh giá định tính 50 3.5.3 Đánh giá định lượng 52 3.6 Kết luận chương 55 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 56 TÀI LIỆU THAM KHẢO 58 v DANH MỤC CÁC TỪ VIẾT TẮT Từ Từ tiếng Anh Từ tiếng Việt cụm từ CBIR Content-Based Image Retrieval Tra cứu ảnh dựa nội dung RF Relevance Feedback Phản hồi liên quan ST Semantic Template Định dạng ngữ nghĩa RGB Red-Green-Blue Ba màu SVM Support Vector Machine May học vecto hỗ trợ SVT Semantic Visual Template Định dạng ngữ nghĩa thị giác KL Karhunen-Loeve Biến đổi Karhunen-Loeve CSDL Data base Cơ sở liệu CCV Color Coherence Vector Véc tơ liên kết màu SIFT Scale Invariant Feature Transform Quy mơ biến đổi tính SCRF Spectral Clustering in Relevant Thuật toán tra cứu ảnh hiệu sử Feedback dụng phân cụm phổ phản hồi liên quan QBIC Query By Image Content Truy vấn ảnh nội dung PCA Principal Component Analysis Phương pháp phân tích thành phần vi vii DANH MỤC CÁC HÌNH Hình 1.1 Kiến trúc tổng quan hệ thống tra cứu ảnh Hình 1.2 Hình ảnh minh họa độ tương tự hình ảnh Hình 1.3 Sơ đồ phản hồi liên quan .8 Hình 1.4 Hình minh họa ảnh có lược đồ giống đến 70% khác ngữ nghĩa 10 Hình 1.5 Hình minh họa vector liên kết mầu 11 Hình 1.6 Cấu trúc vân 14 Hình 1.7 Decompostion để tạo frequency bands biến đổi Wavelet 16 Hình 1.8 Đường bao ảnh 18 Hình 1.9 Đường biên ảnh 19 Hình 1.10 Lược đồ hệ số góc ảnh 19 Hình 1.11 Ảnh minh họa liên kết biên cạnh 20 Hình 1.12 Lược đồ vector liên kết hệ số góc ảnh 20 Hình 2.1 Ví dụ mơ hình đồ thị 29 Hình 2.2 Phân lo ại đồ thị 30 Hình 2.3 Cấu trúc phương pháp SCRF 37 Hình 2.4 Thuật tốn CRISE [5] 40 Hình 2.5 Thuật tốn SCRF [5] 42 Hình 3.1 Giao diện chương trình thực nghiệm 44 Hình 3.2 Chọn điều kiện tra cứu ảnh 45 Hình 3.3 Các ảnh minh họa cho 10 thể loại tập ảnh Wang 46 Hình 3.4 Mơ hình truy vấn 49 Hình 3.5 Kết tra cứu chưa có phản hồi liên quan 50 Hình 3.6 Kết tra cứu phản hồi liên quan với số cụm 51 Hình 3.7 Kết tra cứu phản hồi liên quan lần với số cụm 51 viii DANH MỤC BẢNG BIỂU Bảng 3.1 Các loại đặc trưng 47 Bảng 3.2 Kết đánh giá độ đo tương tự 52 Bảng 3.3 Kết đánh giá sử dụng đặc trưng khác 53 Bảng 3.4 Kết đánh giá độ xác với số lượng ảnh trả khác 54 Bảng 3.5 Hiệu thuật toán SCRF với lần phản hồi liên quan 55 45 Hình 3.1 mơ tả giao diện chương trình thực nghiệm Chương trình gồm ba phần thiết lập điều kiện làm việc, chọn điều kiện tra cứu ảnh hiển thị ảnh kết tra cứu Phần thiết lập điều kiện cho phép người dùng lựa chọn thư mục chứa sở liệu ảnh, tạo file lưu liệu ảnh dạng mat để thực cần nạp liệu ảnh, chọn điều kiện tra cứu tiến hành tra cứu ảnh Phần chọn điều kiện tra cứu ảnh (Hình 3.2) cho phép người dùng chọn đặc trưng liệu ảnh theo nhu cầu Các đặc trưng bao gồm đặc trưng màu đặc trưng kết cấu, mơ tả chi tiết mục 3.2 Ngồi ra, người dùng lựa chọn phương pháp xác định độ đo tương tự để từ đánh giá phương pháp phù hợp sở liệu ảnh tương ứng (các phương pháp trình bày chi tiết mục 3.3) Phần cho phép lựa chọn số ảnh hiển thị tra cứu số cụm sử dụng thuật toán tra cứu ảnh hiệu sử dụng phân cụm phổ phản hồi liên quan (SCRF) Hình 3.2 Chọn điều kiện tra cứu ảnh Phần hiển thị ảnh kết tra cứu cho phép người dùng xem trực quan tối đa 20 ảnh kết thực tra cứu với điều kiện chọn trước Trên giao diện cho phép người dùng phản hồi liên quan qua thao tác click chọn vào hình ảnh mong muốn 46 3.1.2 Chuẩn bị liệu 3.1.2.1 Tập liệu thử nghiệm Nhờ chức thiết lập điều kiện làm việc, chương trình cho phép người dùng làm việc với loại sở liệu ảnh khác Tuy nhiên, khuôn khổ giới hạn luận văn thạc sĩ, tập liệu học viên sử dụng thử nghiệm tập liệu Wang bao gồm 1000 ảnh tự nhiên tổ chức thành 10 thể loại khác (10 lớp) [14] , [15] : Peoples, Beaches, Ancient architecture, Buses, Dinosaurs, Elephants, Flowers, Horses, Mountains, Foods Mỗi lớp có 100 ảnh, tất ảnh ảnh mầu, định dạng jpg, kích thước ảnh 384 pixel x 256 pixel Hình 3.3 minh họa số ảnh mẫu tập liệu Africa Beaches Ancient architecture Buses Dinosaurs Elephants Flowers Horses Mountains Foods Hình 3.3 Các ảnh minh họa cho 10 thể loại tập ảnh Wang 3.2 Trích chọn đặc trưng Các đặc trưng chia làm hai loại là: đặc trưng màu đặc trưng kết cấu (xem Bảng 3.1) Mỗi ảnh sử dụng biểu biểu diễn tối đa năm đặc trưng trực quan gồm ba đặc trưng màu hai đặc trưng kết cấu Trong trường hợp này, véctơ đặc trưng tương ứng với kênh bảng hai chiều gồm 1000 dòng (mỗi dòng chứa véctơ đặc trưng ảnh) 190 cột (độ dài tổng véctơ đặc trưng) Trong thực nghiệm, người sử dụng lựa chọn nhiều đặc trưng để từ kiểm tra ảnh hưởng đặc trưng ảnh đến chất lượng tra cứu ảnh 47 Bảng 3.1 Các loại đặc trưng Các loại đặc trưng Tên đặc trưng Độ dài Lược đồ màu hsvHistogram 32 Loại đặc trưng Tương quan màu color auto correlogram 64 màu Gắn kết màu colorMoments Loại đặc trưng Biến đổi wavelet waveletTransform 40 kết cấu gabor Wavelet gaborWavelet 48 3.3 Độ đo tương tự Khi đặc trưng hình ảnh sở liệu đầu vào tạo người dùng đưa hình ảnh dạng truy vấn để lấy hình ảnh tương tự từ sở liệu Vectơ đặc trưng hình ảnh truy vấn tính tốn lại cách sử dụng chức giải thích Đo lường độ tương đồng vấn đề quan trọng khác CBIR, hình ảnh truy vấn so sánh với ảnh sở liệu khác để tìm giống Để tính tốn giống hình ảnh truy vấn đầu vào hình ảnh sở liệu, khác biệt vectơ đối tượng hình ảnh truy vấn vectơ đặc điểm hình ảnh sở liệu tính cách sử dụng số liệu khoảng cách khác Sự khác biệt nhỏ hai hình ảnh giống Các thước đo khoảng cách đánh giá để thử nghiệm luận văn khoảng cách Euclidean, khoảng cách City block, khoảng cách Minkowski khoảng cách Mahalanobis, khoảng cách L1, L2, cosine Chebyshev Khoảng cách Euclide sử dụng rộng rãi để đo độ tương tự tra cứu hình ảnh tính khả dụng hiệu Nó đo khoảng cách hai vectơ cách tính bậc hai tổng chênh lệch tuyệt đối bình phương theo cơng thức: DE  n  I  D  i 1 i i (4.7) Khoảng cách City block gọi khoảng cách Manhattan, thị độ mạnh so với trường hợp ngoại lệ, tính theo công thức: 48 n DC   Ii  Di (4.8) i 1 Khoảng cách Minkowski có dạng tổng quát xác định sau: n p DM   Ii  Di   i 1  (4.9) Khoảng cách Mahalanobis tính theo cơng thức: DM h  x   T S 1  x    (5.0) Khoảng cách Chebyshev tính theo công thức: DChebyshev  max  Ii  Di  i (5.1) Khoảng cách L1 tính theo cơng thức: Ii  Di i 1 1  I i  Di  n DL1   (5.2) Khoảng cách L2 tính theo cơng thức: DL  n  I  D  i 1 i i (5.3) 3.4 Mơ hình truy vấn Để bắt chước hành vi người, luận văn thực mô phản hồi liên quan thử nghiệm Đầu tiên, truy vấn khởi tạo thực để tạo kết truy vấn Học viên mô tương tác người dùng việc chọn n ảnh liên quan từ kết tra cứu khởi tạo dựa vào tập tin cậy (ground truth) Những ảnh liên quan từ lần lặp phản hồi phân thành k cụm thực tìm đại diện cho k cụm Sau k đại diện dùng để xây dựng truy đa điểm phục vụ cho tra cứu Cuối cùng, kết tra cứu gộp lại để tạo danh sách kết tổng hợp theo chiến lược truy vấn đa điểm tách rời Phản hồi liên quan thực theo chiến lược chọn ảnh liên quan (dựa vào tập tin cậy nền) danh sách kết Trong chiến lược này, trường hợp xấu khơng có ảnh liên quan ảnh truy vấn trường hợp 49 tốt có n-1 ảnh liên quan ngồi ảnh truy vấn Do đó, số lượng ảnh liên quan dao động từ đến n ảnh (bao gồm ảnh truy vấn) Mơ hình hệ thống thực trình thể Hình 3.4 Một truy vấn khởi tạo đưa vào hệ thống, kết tương ứng với truy vấn hiển thị cho người dùng Sau đó, người dùng phản hồi danh sách kết tương ứng với truy vấn khởi tạo để hình thành danh sách ảnh phản hồi Hệ thống thực phân cụm danh sách ảnh phản hồi tìm đại diễn cho cụm Đại diện cụm xây dựng lên truy vấn đa điểm lần lặp truy vấn Trong phần tính khoảng cách, khoảng cách từ ảnh sở liệu đến truy vấn đa điểm giá trị cực tiểu khoảng cách từ ảnh sở liệu tới đại diện truy vấn đa điểm để lấy ảnh nằm rải rác tồn khơng gian đặc trưng Q trình dừng lại người dùng không tiếp tục phản hồi Hình 3.4 Mơ hình truy vấn 3.5 Một số kết đạt đánh giá 3.5.1 Tiêu chí đánh giá hiệu Để đánh giá hiệu hệ thống tra cứu, người ta dựa tiêu chí khác Trong khn khổ luận văn, học viên tập trung đánh giá độ xác trung bình (tỉ số số ảnh liên quan với ảnh truy vấn tập kết trả tổng số ảnh trả về) Mức ảnh trả lựa chọn từ 20, 40, 60, 80 để đánh giá độ xác theo mức khác Số mức phản hồi khảo sát từ đến Kích thước cụm k thuật toán SCRF thử nghiệm từ đến 50 3.5.2 Đánh giá định tính Hình 3.5 minh hoạ kết tra cứu với ảnh truy vấn 10.jpg sở liệu Wang chưa có phản hồi từ người dùng với vecto đặc trưng vec tơ tổng hợp đặc trưng màu đặc trưng kết cấu, độ đo tương tự độ đo L1 Kết cho thấy tìm số ảnh tương đồng thuộc nhóm Africa Tuy nhiên, cịn số ảnh thuộc khác nhóm khác đưa thay thuộc nhóm truy vấn Hình 3.5 Kết tra cứu chưa có phản hồi liên quan 51 Hình 3.6 Kết tra cứu phản hồi liên quan với số cụm Hình 3.6 Thể kết thực truy vấn cách chọn số ảnh phản hồi lần đầu Kết cải thiện đáng kể Hình 3.7 Kết tra cứu phản hồi liên quan lần với số cụm 52 Hình 3.7 Cho thấy sử dụng số cụm giải thuật SCRF với số cụm thông qua lần phản hồi liên quan, kết thể 20 ảnh đầu cho nhóm 3.5.3 Đánh giá định lượng 3.5.3.1 Ảnh hưởng phương pháp xác định độ đo tương tự Bảng 3.2 Kết đánh giá độ đo tương tự Độ đo Nhóm ảnh City Euclidean Minkowski Mahalanobis Chebychev Cosine L1 L2 block Africa 0.62 0.59 0.54 0.54 0.61 0.62 0.49 0.62 Beaches 0.71 0.65 0.67 0.61 0.70 0.69 0.55 0.71 Building 0.54 0.55 0.45 0.50 0.50 0.52 0.43 0.54 Bus 0.75 0.77 0.69 0.72 0.73 0.74 0.67 0.75 Dinosaur 0.89 0.88 0.81 0.80 0.83 0.82 0.78 0.89 Elephants 0.55 0.61 0.55 0.52 0.50 0.55 0.50 0.55 Flowers 0.89 0.87 0.80 0.79 0.81 0.83 0.79 0.89 Food 0.56 0.54 0.48 0.53 0.52 0.52 0.52 0.56 Horses 0.52 0.51 0.43 0.49 0.48 0.47 0.43 0.52 Mountains 0.53 0.58 0.50 0.50 0.49 0.50 0.49 0.53 Để xem xét hiệu việc sử dụng độ đo tương tự khác nhau, luận văn tiến hành thực nghiệm đánh giá sử dụng vec tơ đặc trưng tổng hợp kết trả 20 ảnh, không sử dụng phản hồi liên quan Kết thể hiển Bảng 3.2 Trong trường hợp này, khoảng cách tốt trường hợp khoảng cách euclid, Chebyshev, L2 cosine cho kết tốt khoảng cách cịn lại Bảng 3.2 cho thấy nhóm Dinosaur, Flowers Bus cho độ xác cao ảnh nhóm có nhiều tương đồng Các nhóm khác cho kết độ xác thấp 53 3.5.3.2 Ảnh hưởng phương pháp trích chọn đặc trưng Từ kết đạt đánh giá phương pháp sử dụng độ đo khác nhau, luận văn lựa chọn số độ đo có kết tốt để đánh giá việc ảnh hưởng đến kết truy vấn sử dụng phương pháp trích chọn đặc trưng khác Qua việc phân tích tài liệu liên quan, thấy đặc trưng kết cấu có vai trị quan trọng khơng thể thiếu việc xây dựng hệ thống tra cứu ảnh với độ xác cao Vì vậy, luận văn đánh giá hiệu kết hợp đặc trưng kết cấu với đặc trưng màu khác Kết đánh giá dựa giá trị trung bình độ xác thực 10 nhóm ảnh, trả 80 kết khơng sử dụng phản hồi liên quan Kết thể Bảng 3.3 Bảng 3.3 Kết đánh giá sử dụng đặc trưng khác Độ đo Các đặc trưng Euclidean Mahalanobis Chebychev Cosine Đặc trưng kết cấu (88) 0.48 0.52 0.42 0.45 Đặc trưng kết cấu 0.58 0.63 0.50 0.57 0.48 0.52 0.41 0.45 0.52 0.54 0.45 0.50 0.59 0.64 0.49 0.58 lược đồ màu (120) Đặc trưng kết cấu tương quan màu (152) Đặc trưng kết cấu gắn kết màu (94) Tổng hợp đặc trưng (190) Từ kết thấy đặc trưng kết cấu cho kết tốt điều kiện số ảnh trả lớn (80) Kết tốt sử dụng kết hợp với đặc trưng màu Trong đó, vai trò lược đồ màu tốt so với đặc trưng màu khác Tất nhiên, kết tốt kết hợp tất đặc trưng màu với đặc trưng kết cấu Tuy nhiên, tùy thuộc vào phương pháp xác định độ đo cụ thể Ví dụ đây, kết cải thiện không đáng kể sử dụng đô đo Chebyshev 54 3.5.3.3 Ảnh hưởng số lượng ảnh trả Bảng 3.4 Kết đánh giá độ xác với số lượng ảnh trả khác Số lượng ảnh trả Các đặc trưng Đặc trưng kết cấu (88) 20 40 60 80 0.48 0.44 0.40 0.37 0.59 0.53 0.47 0.43 0.52 0.47 0.43 0.39 0.52 0.46 0.44 0.39 0.59 0.53 0.47 0.43 Đặc trưng kết cấu lược đồ màu (120) Đặc trưng kết cấu tương quan màu (152) Đặc trưng kết cấu gắn kết màu (94) Tổng hợp đặc trưng (190) Tiếp tục tiến hành thực nghiệm sở liệu Wang với đặc trưng khác đồng thời thay đổi số lượng trả Kết đo đạc độ xác Bảng 3.4 Có thể thấy rằng, số lượng ảnh trả tăng lên, giá trị trung bình độ xác thực 10 nhóm ảnh giảm bị ảnh hưởng số ảnh thuộc nhóm khác chen vào Điều đặc trưng chưa đủ mạnh Do đó, tương lai cần kết hợp thêm số đặc trưng khác đặc trưng hình dạng, đặc trưng cục bất biến để có kết truy vấn tốt 3.5.3.4 Hiệu thuật toán SCRF Trong phần này, luận văn tiến hành đánh giá hiệu thuật toán SCRF sử dụng phản hồi liên quan từ lần Vec tơ đặc trưng lựa chọn véc tơ tổng hợp có độ dài 190 tham số, số cụm dùng thuật toán SCRF chọn 6, kết độ xác thực với số ảnh trả 20, 40, 60, 80 Các kết hiển thị Bảng 3.5 55 Bảng 3.5 Hiệu thuật toán SCRF với lần phản hồi liên quan Số ảnh trả Số lần phản hồi 20 40 60 80 Không phản hồi liên quan 0.66 0.54 0.46 0.43 Phản hồi lần 0.78 0.66 0.55 0.50 Phản hồi lần 0.87 0.67 0.56 0.48 Phản hồi lần 0.88 0.68 0.57 0.47 Phản hồi lần 0.75 0.61 0.52 Từ kết thu nhận thấy vai trị thuật tốn SCRF với việc phản hồi tương quan rõ nét Độ xác cải thiện tăng số lần phản hồi Đặc biệt, với việc phản hồi lần, số lượng ảnh trả 20, toàn ảnh gợi ý lớp với ảnh truy vấn 3.6 Kết luận chương Trong chương 3, luận văn trình bày chi tiết việc xây dựng chương trình mơ nhằm đánh giá hiệu phương pháp tra cứu ảnh dựa thuật toán phân cụm phổ phản hồi liên quan (SCRF) Các kết đánh giá thực dựa việc thay đổi véc tơ đặc trưng, độ đo tương tự, số ảnh trả về, số lượng cụm thuật toán SCRF, số lần phản hồi liên quan Việc tiến hành thực nghiệm khiêm tốn, sở liệu ảnh 1000 ảnh mẫu Wang nên chưa thể khẳng định tính ưu việt thuật tốn so với thuật toán tra cứu ản h khác.Tuy nhiên, kết ban đầu phần cho thấy tiềm hứa hẹn việc áp dụng thuật toán SCRF toán tra cứu ảnh thực tế 56 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Tra cứu ảnh lĩnh vực nghiên cứu hấp dẫn áp dụng nhiều toán thực tế Đây toán phức tạp giải ta biết ứng dụng thành tựu nghiên cứu lĩnh vực xử lý ảnh số, trí tuệ nhân tạo…Trong đó, việc ứng dụng thành phân cụm đồ thị mà đặc biệt thuật tốn phân cụm đồ thị quang phổ phản hồi liên quan cho ta kết thực ấn tượng Sau thời gian tìm hiểu nghiên cứu, luận văn trình bày vấn đề sau: - Nghiên cứu lý thuyết chung tra cứu ảnh, tập trung phân tích toán tra cứu ảnh theo nội dung - Nghiên cứu lý thuyết phân cụm đồ thị quang phổ, cập nhật ứng dụng phương pháp lĩnh vực tra cứu ảnh theo nội dung - Xây dựng chương trình minh họa hiệu phương pháp trích chọn đặc trưng sử dụng phân cụm đồ thị quang phổ phản hồi liên quan cho tra cứu ảnh sở liệu Wang Trong trình thử nghiệm chương trình, kết tra cứu ảnh tương đối tốt Tuy nhiên, toán tra cứu ảnh dừng lại phạm vi nghiên cứu đề tài tra cứu từ liệu có sẵn cộng đồng quốc tế cơng nhận Việc lựa tham số thuật toán phân cụm đồ thị quang phổ dựa phương pháp “thử sai” Vì vậy, theo quan điểm học viên, đề tài cịn có số hướng phát triển sau: - Nghiên cứu phương pháp tối ưu nhằm xác tham số thuật toán phân cụm đồ thị quang phổ cho ứng dụng cụ thể thay phương pháp thử sai - Áp dụng kiến thức xử lý ảnh nhằm phát triển toán tra cứu ảnh với liệu đầu vào ảnh thực tế Do giới hạn thời gian nghiên cứu kiến thức thân, luận văn khó tránh khỏi số sai sót định Học viên mong nhận đóng góp ý kiến thầy cô, bạn đọc quan tâm để luận văn hoàn thiện 57 Một lần học viên xin cảm ơn Thầy giáo PGS TS Ngơ Quốc Tạo tận tình giúp đỡ, hướng dẫn thời gian thực đề tài, cảm ơn giúp đỡ gia đình, bạn bè đồng nghiệp thời gian qua 58 TÀI LIỆU THAM KHẢO I Tài liệu tiếng Việt [1] Nguyễn Thanh Thuỷ - Lương Mạnh Bá (1998), “Nhập môn xử lý ảnh số”, NXB Khoa học kỹ thuật, Hà Nội [2] Đỗ Năng Tồn – Phạm Việt Bình (2007), “Xử lý ảnh” [3] Phạm Xuân Hinh (2016), Tra cứu ảnh dựa nội dung sử dụng nhiều đặc trưng phản hồi liên quan, Luận văn thạc sĩ công nghệ thơng tin, Trường ĐH Dân lập Hải Phịng [4] Đào Thị Thúy Quỳnh (2019), Nâng cao độ xác tra cứu ảnh dựa vào nội dung sử dụng kỹ thuật điều chỉnh trọng số hàm khoảng cách, Luận án tiến sĩ công nghệ thông tin, Học viện Khoa học công nghệ, Viện hàn lâm khoa học Việt Nam [5] Đào Thị Thúy Quỳnh, Nguyễn Hữu Quỳnh, Phương Văn Cảnh, Ngô Quốc Tạo (2017), Một phương pháp tra cứu ảnh hiệu sử dụng phân cụm phổ phản hồi liên quan, Kỷ yếu Hội nghị Quốc gia lần thứ X Nghiên cứu ứng dụng Công nghệ thông tin (FAIR), Đà Nẵng, ngày 17-18/08/2017, DOI: 10.15625/vap.2017.00071 [6] Kiều Thị Hương Lan (2011), Tra cứu ảnh dựa vào nội dung ứng dụng tra cứu ảnh y tế, Luận văn thạc sĩ công nghệ thông tin, Trường ĐH Công nghệ thông tin truyền thông, ĐH Thái Nguyên [7] Trần Hà Phương (2016), Phân cụm liệu đồ thị ứng dụng, Luận văn thạc sĩ công nghệ thông tin, Trường ĐH Công nghệ thông tin truyền thông, ĐH Thái Nguyên II Tài liệu tiếng Anh [8] K Houari, M Kholladi, Youssef Chahir (2010) Spectral clustering and dimensionality reduction appliedto Content based image retrieval with hybrid Descriptors International Review on Computers and Software (IRECOS), Praise Worthy Prize, International Review on Computers and Software, (1), pp.14-21 hal-01883173 59 [9] Gonzalez R.C, Digital Image Processing, Pearson Education (2008) [10] V Lonarkar and B A Rao, "Content-based image retrieval by segmentation and clustering," 2017 International Conference on Inventive Computing and Informatics (ICICI), Coimbatore, 2017 [11] J He, M Li, H.-J Zhang, H Tong, and C Zhang, “Manifold-ranking based image retrieval,” in Proceedings of the 12th Annual ACM International Conference on Multimedia, 2004, pp 9–16 [12] S Rota Bu, M Rabbi, and M Pelillo, “Contentbased image retrieval with relevance feedback using random walks,” Pattern Recognition, vol 44, no 9, pp 2109–2122, Sep 2011 [13] B Xu, J Bu, C Chen, C Wang, D Cai and X He, "EMR: A Scalable GraphBased Ranking Model for Content-Based Image Retrieval," in IEEE Transactions on Knowledge and Data Engineering, vol 27, no 1, pp 102-114, Jan 2015 Các trang Web [14] http://wang.ist.psu.edu/docs/related/ [15] https://sites.google.com/site/dctresearch/Home/content-based-image-retrie ... Hệ thống tra cứu ảnh dựa phương pháp phân cụm phương pháp nhiều người nghiên cứu với nhiều cách tiếp cận khác nhau, nhiều hệ thống tra cứu ảnh dựa phương pháp [5] , [6] , [8] Phân cụm vấn đề... Do vậy, hiệu tra cứu chúng cải thiện Với lý trên, tác giả chọn đề tài ? ?Nghiên cứu phương pháp tra cứu ảnh dựa phương pháp phân cụm đồ thị? ?? làm đề tài nghiên cứu luận văn tốt nghiệp thạc sĩ chuyên... phạm vi nghiên cứu đề tài  Đối tượng Nghiên cứu phương pháp tra cứu ảnh dựa phương pháp phân cụm đồ thị  Phạm vi - Đề tài dừng mức áp dụng kỹ thuật phân cụm đồ thị vào toán tra c ứu ảnh - Thử