Nghiên cứu hệ thống truy vấn ảnh tự nhiên

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI HÌNH HỮU ĐỨC NGHIÊN CỨU HỆ THỐNG TRUY VẤN ẢNH TỰ NHIÊN LUẬN VĂN THẠC SĨ KỸ THUẬT TRUYỀN THÔNG NGƢỜI HƢỚNG DẪN KHOA HỌC : PGS TS NGUYỄN TIẾN DŨNG HÀ NỘI, Năm 2014 MỤC LỤC MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ LỜI NÓI ĐẦU CHƢƠNG I – TỔNG QUAN VỀ TRUY VẤN ẢNH TỰ NHIÊN 11 1.1 Giới thiệu xử lý ảnh 11 1.2 Hệ thống xử lý ảnh 12 1.2.1 Ảnh 12 1.2.2 Mô tả hệ thống xử lý ảnh 13 1.3 Các vấn đề xử lý ảnh số 15 1.3.1 Biểu diễn ảnh 15 1.3.2 Tăng cƣờng ảnh - khôi phục ảnh 16 1.3.3 Biến đổi ảnh 17 1.3.4 Phân tích ảnh 18 1.4 Giới thiệu truy vấn ảnh tự nhiên 18 1.5 Trích chọn đặc tính để truy vấn ảnh 20 1.6 Lập mục đặc tính (Feature Indexing) 24 1.7 Truy vấn ảnh tƣơng tác 25 CHƢƠNG II – CÁC ĐẶC TÍNH TRUY VẤN ẢNH TỰ NHIÊN 28 2.1 Đặc tính màu 28 2.1.1 Không gian màu 28 2.1.2 Lƣợng tử hóa màu 30 2.1.3 Mô tả màu 32 2.2 Đặc tính bất biến 35 2.2.1 Đặc tính bất biến dùng tích phân 37 2.2.2 Các hàm kernel f(X) 40 2.2.3 Lƣợc đồ đặc tính bất biến 42 2.2.4 Các vector đặc tính bất biến 44 2.2.5 Đặc tính Fourier Mellin bất biến 44 2.3 Co-occurence Matrix 45 2.4 Đặc tính Gabor 46 2.5 Đặc tính Tamura 48 2.6 Mơ tả cấu trúc tồn 51 2.7 Đặc tính cục 52 2.8 Đặc tính dựa vùng (regioned based feature) 54 2.9 Các đặc điểm biến đổi PCA 55 2.10 Tƣơng quan đặc tính khác 55 CHƢƠNG III- SO SÁNH ĐẶC TÍNH TRUY VẤN ẢNH 57 3.1 Phƣơng pháp so sánh lƣợc đồ 57 3.1.1 So sánh thành phần (bin-by-bin) 57 3.1.2 Phƣơng pháp so sánh chéo thành phần lƣợc đồ (Cross-bin comparision) 61 3.2 So sánh ảnh 65 3.2.1 Khoảng cách Euclidean 65 3.2.2 Khoảng cách tiếp tuyến 66 3.2.3 Mơ hình méo ảnh 67 3.3 So sánh ảnh dựa đặc tính cục 67 3.3.1 Chuyển trực tiếp (Direct Transfer) 67 3.3.2 Mô hình méo ảnh đặc tính cục (Local Feature Image Distortion Model) 68 3.4 So sánh mô tả dựa vùng 68 3.4.1 Integrated Region Matching (Sánh vùng kết hợp) 68 3.4.2 Quantized Hungarian Region Matching (Sánh vùng Hugarian lƣợng tử) 69 3.5 Các đặc tính khác 71 CHƢƠNG IV- ĐÁNH GIÁ CHẤT LƢỢNG TRUY VẤN ẢNH 72 4.1 Thông số đánh giá chất lƣợng truy vấn ảnh 72 4.2 Đánh giá khả đặc tính hàm khoảng cách 75 4.2.1 So sánh hàm khoảng cách khác 77 4.2.2 So sánh đặc tính khác 80 CHƢƠNG V- MƠ PHỎNG CHƢƠNG TRÌNH TRUY VẤN ẢNH BẰNG MATLAB 85 5.1 Sơ đồ khối chƣơng trình lý thuyết áp dụng 85 5.2 Mô tả chƣơng trình mơ 88 5.3 Kết truy vấn đánh giá 91 5.3.1 Thực nghiệm 91 5.3.2 Thực nghiệm 94 5.3.3 Thực nghiệm 98 KẾT LUẬN 101 TÀI LIỆU THAM KHẢO 103 DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT CBIR Content Based Image Retrieval CIE Commision Internationale de l‟Éclairage DBMS Database Management System EMD Earth Move Distance HSV Hue Saturation Value IRMA Image Retrieval in Medical Applications JPEG Joint Photographic Experts Group JSD Jensen Shannon Divergence KLT Karhunen-Loeve Transform MPEG Moving Picture Experts Group PCA Principal component analysis QBIC Query by Image Content SVD Singular Value Decompostion DANH MỤC CÁC BẢNG Bảng 2.1 Các hàm đơn thức đƣợc sử dụng cho vector đặc tính bất biến 44 Bảng 4.1 Tỉ lệ lỗi [%] WANG IRMA-1617 sử dụng phép đo khác Đối với WANG, lƣợc đồ đặc tính bất biến f ( X )  X (4,0).X (0,8) đƣợc sử dụng, IRMA-1617 lƣợc đồ đặc tính cục đƣợc sử dụng [Ref 4] 77 Bảng 4.2 Tỉ lệ lỗi [%] IRMA-1617 sử dụng phép so sánh ảnh khác [Ref 4] 79 Bảng 4.3 Tỉ lệ lỗi [%] sử dụng đặt tính dựa vùng phép so sánh khác [Ref 4] 79 Bảng 4.4 Tỉ lệ lỗi [%] sử dụng đặc tính khác cho WANG [Ref 4] 81 Bảng 4.5 Tỉ lệ lỗi [%] sử dụng đặc tính khác cho IRMA-1617 [Ref 4] 81 Bảng 4.6 Tỉ lệ lỗi [%] sử dụng lƣợc đồ đặc tính bất biến với biến đổi xoay phần cho sở liệu WANG vơi f ( X )  X (4,0).X (0,8) 83 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1 Các bƣớc xử lý ảnh số 13 Hình 1.2 Các thành phần hệ thống xử lý ảnh 14 Hình 1.3 Ảnh biến dạng nhiễu 17 Hình 1.4 Sơ đồ khối hệ thống truy tự nhiên 20 Hình 1.5 Hệ thống truy vấn có tƣơng tác 27 Hình 2.1 Biến đổi TCHSV từ RGB thành HSV lƣợng tử hóa Qc166 cung cấp 166 màu HSV 32 Hình 2.2 Biểu diễn màu phân bố cục 34 Hình 2.3 Đặc tính màu khơng gian kết hợp tìm ảnh cách so sánh phân bố không gian vùng 35 Hình 2.4 Sơ đồ tính tốn tích phân bất biến 39 Hình 2.5 Hàm kernel f(X) vùng cục 40 Hình 2.6 Mục đích lƣợc đồ đặc tính 43 Hình 2.7 Ảnh ví dụ đặc tính cấu trúc: a) độ thô lớn b) độ thô nhỏ c) độ tƣơng phản cao d) độ tƣơng phản thấp e) có tính hƣớng f) khơng có tính hƣớng 48 Hình 2.8 Trích trọn đặc tính cục 52 Hình 2.10 Các phân vùng ví dụ ảnh với số lƣợng vùng k khác 54 Hình 3.1 Ba lƣợc đồ với khoảng cách thành phần giống đôi 57 Hình 3.2 So sánh lƣợc đồ: Dạng bình phƣơng EMD 64 Hình 3.3 Time warp distance T(Ha,Hb)=6, T(Ha,Hc)=16, T(Hb,Hc)=22 65 Hình 3.4 Ví dụ biểu đồ chỉnh a) lƣợc đồ a b, b) lƣợc đồ a c 65 Hình 3.5 Căn vùng để tìm vùng phù hợp Hugarian lƣợng tử hóa 70 Hình 4.1 Tƣơng quan phép đo chất lƣợng quy theo phạm vị [-100,100] 75 Hình 4.2 Ví dụ ảnh từ 10 loại ảnh CSDL WANG [Ref 4] 76 Hình 4.3 Ví dụ ảnh từ loại ảnh CSDL IRMA-1617 [Ref 4] 76 Hình 4.4 Một vài ảnh từ loại ảnh “lồng ngực” CSDL IRMA-1617 [Ref 4] 77 Hình 4.5 Biểu đồ PR sử dụng hàm khoảng cách khác [Ref 4] 78 Hình 4.6 Biểu đồ PR cho WANG IRMA-1617 tƣơng ứng với tỉ lệ lỗi Bảng 4.4 82 Hình 4.7 Kết từ multi-dimensional scaling cho đặc tính WANG 83 Hình 4.8 Kết từ multi-dimensional scaling cho đặc tính IRMA 84 Hình 5.1 Sơ đồ khối mơ tả hoạt động chƣơng trình 85 Hình 5.2 Giao diện chƣơng trình mơ 89 Hình 5.3 Một số ảnh ví dụ tập ảnh 90 Hình 5.5 Kết truy vấn thực nghiệm 1a (mức ngƣỡng 1.4*e+004) 92 Hình 5.6 Kết truy vấn thực nghiệm 1a (mức ngƣỡng 1.3*e+004) 93 Hình 5.7 Kết truy vấn thực nghiệm 1b (mức ngƣỡng 4.5*e+004) 93 Hình 5.8 Kết truy vấn thực nghiệm 1b (mức ngƣỡng 2.6*e+004) 94 Hình 5.10 Kết truy vấn thực nghiệm 2a (mức ngƣỡng 3.3*e+004) 94 Hình 5.11 Kết truy vấn thực nghiệm 2a (mức ngƣỡng 2.85*e+004) 95 Hình 5.12 Kết truy vấn thực nghiệm 2b (mức ngƣỡng 9.9*e+004) 96 Hình 5.13 Kết truy vấn thực nghiệm 2b (mức ngƣỡng 5*e+004) 96 Hình 5.15 Kết truy vấn thực nghiệm 2c (mức ngƣỡng 8*e+004) 97 Hình 5.16 Kết truy vấn thực nghiệm 2c (mức ngƣỡng 5.4*e+004) 97 Hình 5.18 Kết truy vấn thực nghiệm (mức ngƣỡng 2.9*e+004) 98 Hình 5.19 Kết truy vấn thực nghiệm (mức ngƣỡng 1.9*e+004) 99 LỜI NĨI ĐẦU Ảnh đóng vai trị quan trọng sống thơng tin hàng ngày Có ngƣời so sánh: ảnh nói lên nhiều điều dùng ngàn từ để mô tả Sự xuất phổ biến máy ảnh kỹ thuật số làm gia tăng nhanh chóng số lƣợng ảnh kỹ thuật số Khối lƣợng ảnh đồ sồ quản lý cách thủ công ngƣời đƣợc Một ngƣời dàng tìm kiếm ảnh theo yêu cầu sở liệu gồm 100 ảnh Tuy nhiên, số lƣợng ảnh hàng ngàn, hàng chục ngàn cơng việc trở thành bất khả thi Sự phát triển công nghệ máy tính ngày trợ giúp việc tìm kiếm ảnh giống nhƣ cách thực tìm kiếm văn mà ta biết Một phƣơng thức tìm kiếm ảnh sở liệu ảnh tạo văn mô tả tất ảnh sở liệu sử dụng phƣơng pháp tìm kiếm thơng tin dựa văn để tìm ảnh Phƣơng pháp khơng hồn tồn khả thi việc thích cho ảnh phải thực thủ công tốn nhiều thời gian Mặt khác, thích chƣa hẳn mơ tả hết đƣợc nội dung ảnh Vì vậy, cần có phƣơng pháp khác để tìm kiếm ảnh Một phạm vi lớn ứng dụng cần tìm kiếm ảnh nhƣ: y tế, nhiều ảnh đƣợc tạo bác sỹ cần tìm kiếm hình ảnh tƣơng tự để hiểu trình điều trị bệnh nhân kết điều trị họ Một phóng viên tìm kiếm ảnh để minh họa báo Các ví dụ cho thấy việc tìm kiếm khơng giống hồn tồn nhƣ việc tìm kiếm sở liệu truyền thống mà tìm kiếm tƣơng tự Sự tƣơng tự cần phải đƣợc xác định xác để thực q trình tìm kiếm tự động Các kỹ thuật quy vào tìm kiếm ảnh cách tự nhiên (contentbased image retrieval – CBIR) Trong CBIR, cần phải trích chọn thơng tin hữu ích từ liệu thô để thu đƣợc nội dung ảnh Q trình trích chọn đặc trƣng nội dung ảnh có tác động đến hiệu trình truy vấn ảnh tự nhiên Luận văn trình bày phƣơng pháp trích chọn nội dung ảnh (các đặc tính ảnh), phƣơng pháp so sánh đặc tính ảnh để đánh giá mức độ tƣơng tự ảnh yêu cầu so với ảnh sở liệu Luận văn gồm phần nhƣ sau: - Chƣơng I – Tổng quan truy vấn ảnh tự nhiên : trình bày tổng quan xử lý ảnh, vấn đề truy vấn ảnh tự nhiên - Chƣơng II – Các đặc tính truy vấn ảnh tự nhiên: trình bày đặc tính khác đƣợc trích chọn từ ảnh để phục vụ cho việc so sánh ảnh sau - Chƣơng III – So sánh đặc tính truy vấn ảnh: trình bày phƣơng pháp khác để đánh giá mức độ tƣơng tự ảnh - Chƣơng IV – Đánh giá chất lƣợng truy vấn ảnh: giới thiệu phƣơng pháp đánh giá chất lƣợng truy vấn ảnh - Chƣơng V – Mô truy vấn ảnh Matlab: giới thiệu chƣơng trình truy vấn đơn giản viết Matlab Truy vấn ảnh tự nhiên vấn đề đƣợc nghiên cứu để đáp ứng yêu cầu khác lĩnh vực áp dụng khác Trong tƣơng lai, hi vọng có hội để nghiên cứu, tìm hiểu đầy đủ chi tiết Trong phạm vi luận văn cao học khả hiểu biết cịn có hạn chế, luận văn tránh khỏi thiếu sót, tơi mong nhận đƣợc ý kiến đóng góp thầy bạn bè để hồn thiện nghiên cứu sau Tôi xin chân thành cảm ơn thầy giáo PGS TS Nguyễn Tiến Dũng, bạn bè, đồng nghiệp gia đình giúp đỡ tơi hồn thành đƣợc luận văn tốt nghiệp Hà Nội, tháng 04 năm 2014 10 Chƣơng V- Mơ chƣơng trình truy vấn ảnh MATLAB - Module chọn ảnh yêu cầu đầu vào: ảnh yêu cầu đầu vào đƣợc hiển thị Query Image Lựa chọn ảnh đầu vào Searching Directory Sau lựa chọn ảnh đầu vào, lựa chọn thƣ mục chứa sở liệu ảnh Searching Directory Thƣ mục hành thƣ mục chứa sở liệu ảnh Phần chọn ảnh yêu cầu CSDL Phần hiển thị kết Hình 5.2 Giao diện chƣơng trình mơ - Module hiển thị kết quả: ảnh truy vấn thích hợp theo yêu cầu đƣợc hiển thị 10 cửa sổ hình nhỏ, tên khoảng cách so với ảnh yêu cầu đƣợc hiển thị phía dƣới Nếu kết lớn 10 ảnh sử dụng nút Next để xem ảnh Nút Previous để xem ảnh hiển thị trƣớc - Module feature hiển thị đặc tính lựa chọn - Module distance hiển thị phƣơng pháp so sánh lƣợc đồ: Euclidean JSD - Module mức ngƣỡng Th hiển thị mức ngƣỡng đánh giá khoảng cách 89 Chƣơng V- Mơ chƣơng trình truy vấn ảnh MATLAB - Module R, G, B hiển thị trọng số khoảng cách tƣơng ứng với màu đỏ (R), lục (G), lam (B) - Sau lựa chọn xong ảnh yêu cầu, sở liệu để truy vấn, loại đặc tính, phƣơng pháp đánh giá lƣợc đồ, sử dụng nút Retrieve để bắt đầu trình truy vấn ảnh - Số lƣợng ảnh sở liệu đƣợc kiểm tra đƣợc hiển thị „No of images‟; số lƣợng ảnh truy vấn đƣợc hiển thị „No of retrieved images‟ - Sau truy vấn xong sở liệu, điều chỉnh lại mức ngƣỡng Th ấn nút Refresh để cập nhật lại kết truy vấn theo mức ngƣỡng Tập ảnh liệu: Hình 5.3 Một số ảnh ví dụ tập ảnh 90 Chƣơng V- Mơ chƣơng trình truy vấn ảnh MATLAB Tập ảnh liệu đƣợc sử dụng cho chƣơng trình mơ bao gồm ảnh màu dạng nén jpeg, có kích cỡ giống 640x480 Tập ảnh bao gồm ảnh chụp nhiều đối tƣợng khác Các ảnh khác đối tƣợng, vị trí đối tƣợng chẳng hạn ảnh đối tƣợng chụp ảnh khác vị trí khác nhau, ảnh đối tƣợng khác chụp nền, ảnh chụp với phân bố vị trí đối tƣợng khác nhau, ảnh chụp đối tƣợng góc độ khác Hình 5.3 hiển thị số ảnh tập ảnh đƣợc sử dụng Một số hàm chương trình Chƣơng trình mơ sử dụng số hàm nhƣ sau: - function fhist = InvariantFeature1(f): hàm có chức tính lƣợc đồ đặc tính bất biến ảnh Biến vào f ảnh cần tính lƣợc đồ Biến fhist lƣợc đồ đặc tính ảnh f - function d = Euclidean(h1, h2): hàm có chức tính khoảng hai lƣợc đồ theo phƣơng pháp Euclidean Biến vào h1, h2 hai lƣợc đồ cần so sánh Biến d khoảng cách - function d = JSD(h1, h2): hàm có chức tính khoảng hai lƣợc đồ theo phƣơng pháp JSD Biến vào h1, h2 hai lƣợc đồ cần so sánh Biến d khoảng cách 5.3 Kết truy vấn đánh giá 5.3.1 Thực nghiệm - Ảnh yêu cầu: hình Hình 5.4 – hình táo a) Phƣơng pháp so sánh lƣợc đồ: Euclidean - Mức ngƣỡng ban đầu: 1.4*e+004 Hình 5.4 Ảnh yêu cầu Thực nghiệm - Kết truy vấn: Hình 5.5 91 Chƣơng V- Mơ chƣơng trình truy vấn ảnh MATLAB Hình 5.5 Kết truy vấn thực nghiệm 1a (mức ngƣỡng 1.4*e+004) Số ảnh truy vấn đƣợc: 7; Số ảnh truy vấn phù hợp: Số ảnh phù hợp tập liệu: Nhƣ trình truy vấn tìm đƣợc tất ảnh phù hợp tập ảnh liệu Trong số ảnh truy vấn, có ảnh không phù hợp (P1020637) Ta thấy khoảng cách ảnh lớn so với ảnh đƣợc truy vấn lại Để thu đƣợc kết xác nhất, ta điều chỉnh lại mức ngƣỡng - Thay đổi mức ngƣỡng mới: 1.3*e+004 - Kết truy vấn: Hình 5.6 (chỉ hiển thị phần kết quả) Số ảnh truy vấn đƣợc: 6; Số ảnh truy vấn phù hợp: Nhƣ truy vấn đƣợc tất ảnh tập liệu ảnh mà ảnh bị sai 92 Chƣơng V- Mơ chƣơng trình truy vấn ảnh MATLAB Hình 5.6 Kết truy vấn thực nghiệm 1a (mức ngƣỡng 1.3*e+004) b) Phƣơng pháp so sánh lƣợc đồ: JSD - Mức ngƣỡng ban đầu: 4.5*e+004 - Kết truy vấn: Hình 5.7 Hình 5.7 Kết truy vấn thực nghiệm 1b (mức ngƣỡng 4.5*e+004) - Mức ngƣỡng thay đổi: 2.6*e+004 - Kết truy vấn: Ta thấy kết tƣơng tự nhƣ phƣơng pháp so sánh Euclidean nhƣ phân tích 93 Chƣơng V- Mơ chƣơng trình truy vấn ảnh MATLAB Hình 5.8 Kết truy vấn thực nghiệm 1b (mức ngƣỡng 2.6*e+004) 5.3.2 Thực nghiệm - Ảnh u cầu: Hình 5.9 – tịa nhà a) Phƣơng pháp so sánh lƣợc đồ: Euclidean - Mức ngƣỡng ban đầu: 3.3*e+004 Hình 5.9 Ảnh yêu cầu thực nghiệm - Kết truy vấn: Hình 5.10 Hình 5.10 Kết truy vấn thực nghiệm 2a (mức ngƣỡng 3.3*e+004) Số ảnh truy vấn đƣợc: 15; Số ảnh truy vấn phù hợp: 94 Chƣơng V- Mơ chƣơng trình truy vấn ảnh MATLAB Số ảnh phù hợp tập liệu: Trong số ảnh truy vấn, có ảnh khơng phù hợp, khơng phải ảnh tịa nhà Thay đổi mức ngƣỡng để truy vấn đƣợc ảnh phù hợp - Thay đổi mức ngƣỡng mới: 2.85*e+004 Kết truy vấn: Hình 5.11 Hình 5.11 Kết truy vấn thực nghiệm 2a (mức ngƣỡng 2.85*e+004) Số ảnh truy vấn đƣợc: 4; Số ảnh truy vấn phù hợp: Số ảnh phù hợp tập liệu: Sau thay đổi mức ngƣỡng, số ảnh truy vấn đƣợc hoàn toàn ảnh yêu cầu Tuy nhiên ảnh phù hợp chƣa đƣợc truy vấn Ta thấy trƣờng hợp việc truy vấn không đạt đƣợc kết hoàn toàn theo mong muốn Nếu đặt mức ngƣỡng cao truy vấn đƣợc ảnh không mong muốn đặt mức ngƣỡng thấp khơng truy vấn hết đƣợc ảnh theo yêu cầu Ta thấy đặc điểm ảnh u cầu có chứa tịa nhà màu xanh, ngồi cịn quang cảnh xung quanh có cấu trúc khác biệt khác nhƣ phần tịa nhà màu trắng, hàng màu xanh lục Trong ảnh khác, tịa nhà màu xanh có chiếm diên tích khơng gian khác so với tổng thể ảnh Điều thấy cấu trúc (texture) khơng đồng tồn ảnh Vì khơng đạt đƣợc hồn tồn u cầu mong muốn b) Phƣơng pháp so sánh lƣợc đồ: JSD - Mức ngƣỡng : 9.9*e+004 95 Chƣơng V- Mơ chƣơng trình truy vấn ảnh MATLAB - Kết truy vấn: Hình 5.12 Hình 5.12 Kết truy vấn thực nghiệm 2b (mức ngƣỡng 9.9*e+004) Số ảnh truy vấn đƣợc: 14; Số ảnh truy vấn phù hợp: Số ảnh phù hợp tập liệu: - Mức ngƣỡng : 5*e+004 - Kết truy vấn: Hình 5.13 Hình 5.13 Kết truy vấn thực nghiệm 2b (mức ngƣỡng 5*e+004) Số ảnh truy vấn đƣợc: ; Số ảnh truy vấn phù hợp: Kết tƣơng tự nhƣ phƣơng pháp đo khoảng cách Euclidean 96 Chƣơng V- Mô chƣơng trình truy vấn ảnh MATLAB c) Thay đổi ảnh yêu cầu: - Thay ảnh yêu cầu khác: Hình 5.14 - Phƣơng pháp so sánh lƣợc đồ: JSD - Mức ngƣỡng: 8*e+004 Hình 5.14 Ảnh yêu cầu thực nghiệm 2c - Kết truy vấn: Hình 5.15 Hình 5.15 Kết truy vấn thực nghiệm 2c (mức ngƣỡng 8*e+004) Số ảnh truy vấn đƣợc: 13; Số ảnh truy vấn phù hợp: Số ảnh phù hợp tập liệu: - Mức ngƣỡng: 5.4*e+004 Hình 5.16 Kết truy vấn thực nghiệm 2c (mức ngƣỡng 5.4*e+004) Số ảnh truy vấn đƣợc: 5; Số ảnh truy vấn phù hợp: 97 Chƣơng V- Mơ chƣơng trình truy vấn ảnh MATLAB Với ảnh yêu cầu khác (cũng ảnh tòa nhà màu xanh) nhƣng kết truy vấn tốt so với ảnh yêu cầu ban đầu Ảnh yêu cầu chứa tòa nhà màu xanh đƣợc chụp cận cảnh so với ảnh yêu cầu ban đầu Cấu trúc màu xanh tịa nhà chiếm phần diện tích lớn ảnh Vì kết so sánh với ảnh phù hợp khác tốt 5.3.3 Thực nghiệm - Ảnh yêu cầu: Hình 5.17 – hình hộp - Phƣơng pháp so sánh lƣợc đồ: Euclidean - Mức ngƣỡng ban đầu: 2.9*e+004 Hình 5.17 Ảnh yêu cầu thực nghiệm - Kết truy vấn: Hình 5.18 Hình 5.18 Kết truy vấn thực nghiệm (mức ngƣỡng 2.9*e+004) Số ảnh truy vấn đƣợc: 19; Số ảnh truy vấn phù hợp: 98 Chƣơng V- Mơ chƣơng trình truy vấn ảnh MATLAB Số ảnh phù hợp tập liệu: Trong số ảnh truy vấn, có đến 10 ảnh khơng phù hợp Trong số ảnh truy vấn đƣợc, có ảnh phù hợp với ảnh yêu cầu chứa hình hộp màu vàng nhƣng chụp màu nên khác (ví dụ: P1020595); có ảnh phù hợp với yêu cầu có phần màu giống (ví dụ: P1020526, P1020583) - Thay đổi mức ngƣỡng mới: 1.9*e+004 Kết truy vấn: Hình 5.19 Hình 5.19 Kết truy vấn thực nghiệm (mức ngƣỡng 1.9*e+004) Số ảnh truy vấn đƣợc: 9; Số ảnh truy vấn phù hợp: Số ảnh phù hợp tập liệu: Sau thay đổi mức ngƣỡng, số ảnh truy vấn không phù hợp đƣợc giảm bớt Tuy nhiên số ảnh phù hợp chƣa đƣợc truy vấn tăng lên Số ảnh khác biệt chủ yếu so với ảnh yêu cầu phần ảnh Phần chiếm phần đáng kể ảnh, tạo nên cấu trúc khác ảnh Vì tạo khoảng cách lớn so với ảnh phù hợp khác Trong số ảnh phù hợp truy vấn đƣợc, ta thấy hộp vàng có vị trí góc hƣớng khác Theo lý thuyết, đặc tính bất biến có tính ổn định với biến đổi tịnh tiến biến đổi xoay Khoảng cách ảnh so với ảnh yêu cầu nhỏ so với ảnh khác 99 Chƣơng V- Mơ chƣơng trình truy vấn ảnh MATLAB Qua thực nghiệm trên, chƣơng trình mô truy vấn ảnh phần đáp ứng đƣợc u cầu cụ thể để tìm kiếm ảnh Tùy thuộc vào ảnh yêu cầu, cung cấp kết tƣơng đối tốt (thực nghiệm 1) Ta thấy rằng, ảnh yêu cầu có cấu trúc đồng truy vấn cho kết tốt Tuy nhiên, số thực nghiệm, kết truy vấn khơng hồn tồn tốt: có nhiều ảnh truy vấn không phù hợp truy vấn không hết ảnh phù hợp Đánh giá phù hợp ảnh truy vấn đƣợc so với ảnh yêu cầu phần phù thuộc vào đánh giá chủ quan ngƣời Tính phù hợp phụ thuộc vào ứng dụng cụ thể Trong thực nghiệm trên, ta thấy cần phải điều chỉnh mức ngƣỡng so sánh thích hợp để đạt đƣợc kết truy vấn theo yêu cầu Hƣớng phát triển chƣơng trình tự động tìm mức ngƣỡng thích hợp Một số yếu tố sau đƣợc đề xuất để tính tốn mức ngƣỡng tự động: - Dựa phản hồi ngƣời sử dụng: việc đánh giá mức tƣơng tự ảnh phần dựa vào chủ quan ngƣời nên phản hồi ngƣời sử dụng quan trọng Với số kết truy vấn ban đầu, ngƣời sử dụng đánh giá ảnh truy vấn phù hợp, ảnh truy vấn không phù hợp Từ đánh giá đó, ta tính tốn mức ngƣỡng phù hợp - Dựa "kinh nghiệm": thực thực nghiệm khác hệ thống truy vấn Từ xác định thông số đánh giá Precision, Recall, Er Dựa vào thông số kết hợp với số liệu lần truy vấn, ta tính mức ngƣỡng để phù hợp với thơng số 100 KẾT LUẬN Luận văn trình bày số đặc tính đƣợc sử dụng để truy vấn ảnh tự nhiên Để so sánh ảnh dựa đặc tính trích chọn, phƣơng pháp so sánh tính tƣơng tự đặc tính khác đƣợc sử dụng Chƣơng đánh giá hiệu truy vấn ảnh đặc tính hàm khoảng cách khác Kết cho thấy hiệu truy vấn phụ thuộc vào sở liệu khác Điều có nghĩa tùy thuộc vào ứng dụng khác nhau, ta cần chọn đặc tính hàm khoảng cách thích hợp để đạt đƣợc hiệu tốt Chƣơng giới thiệu chƣơng trình mơ truy vấn ảnh tự nhiên Đặc tính bất biến đƣợc lựa chọn để trích chọn nội dung ảnh Một số thực nghiệm đƣợc thực với ảnh yêu cầu khác đánh giá kết thu đƣợc Kết truy vấn phụ thuộc vào nhiều yếu tố: có ảnh yêu cầu cho kết truy vấn tƣơng đối tốt; nhiên có ảnh yêu cầu kết chƣa tốt Qua nội dung đƣợc trình bày luận văn này, tơi xin đƣợc đề xuất hƣớng nghiên cứu để hoàn thiện chƣơng trình truy vấn ảnh tự nhiên: - Về phương thức xây dựng sở liệu ảnh để đánh giá hiệu hệ thống truy vấn: sở liệu ảnh có vai trị quan trọng việc đánh giá hiệu hệ thống truy vấn ảnh Số lƣợng ảnh sở liệu phải đủ lớn đa dạng Xây dựng sở liệu ảnh theo hƣớng có phân loại chủng loại ảnh để dễ dàng đánh giá chất lƣợng try vấn - Các thông số đánh giá: sử dụng thông số đánh giá cách định lƣợng hiệu truy vấn ảnh hệ thống, chẳng hạn thông số Precision, Recall - Kết hi vọng: cải thiện đƣợc chất lƣợng truy vấn ảnh chƣơng trình - Nghiên cứu tìm đặc tính mơ tả nội dung ảnh để truy vấn tốt hơn: Việc lựa chọn đặc tính để truy vấn ảnh phụ thuộc lớn vào tính chất 101 ảnh liên quan Một khía cạnh quan trọng để lựa chọn đặc tính cần xét đến đặc tính khác ảnh khơng có đặc tính bao trùm tồn tất khía cạnh ảnh Vì cần phải nghiên cứu tìm đặc tính mơ tả nội dung phù hợp tùy theo ứng dụng, cần kết hợp nhiều đặc tính khác để đạt hiệu cao Mục đích tƣơng lai truy vấn ảnh tự từ truy vấn dựa bề ảnh sang truy vấn ảnh dựa ngữ nghĩa ảnh Hình ảnh đƣợc truy vấn dựa đối tƣợng đƣợc chứa cảnh, hoạt động cảnh Với tăng trƣởng ngày lớn khối lƣợng ảnh kỹ thuật số, chắn nhiều nghiên cứu truy vấn ảnh tự nhiên thực để đáp ứng yêu cầu lĩnh vực áp dụng cụ thể Trong tƣơng lai, điều kiện cho phép, có mong muốn đƣợc nghiên cứu cách kỹ lƣỡng đề tài này, sâu vào ứng dụng cụ thể Một lần nữa, xin chân thành cảm ơn giúp đỡ, hƣớng dẫn thầy giáo PGS - TS Nguyễn Tiến Dũng, gia đình, bạn bè đồng nghiệp q trình tơi thực luận văn 102 TÀI LIỆU THAM KHẢO [1] Nhập môn xử lý ảnh số - Lương Mạnh Bá, Nguyễn Thanh Thủy [2] Digital Image Processing – William K Pratt [3] Image Database, Search and Retrieval of Digital Imaginery – Vittorio Castelli, Lawrence D Bergman [4] Fearure for Image Retrieval – Thomas Deselaers [5] Feature Histogram for Content-Based Image Retrieval – Sven Siggelkow [6] Digital Image Processing Using Matlab – Rafael C Gonzalez [7] Các luận văn tốt nghiệp cao học Trƣờng Đại học Bách khoa Hà Nội 103 ... tính Tra mục & Truy vấn Đầu Kết truy vấn Hình 0.4 Sơ đồ khối hệ thống truy vấn ảnh tự nhiên 1.5 Trích chọn đặc tính để truy vấn ảnh Trích chọn đặc tính sở hệ thống truy vấn ảnh tự nhiên Các đặc... tính ảnh để đánh giá mức độ tƣơng tự ảnh yêu cầu so với ảnh sở liệu Luận văn gồm phần nhƣ sau: - Chƣơng I – Tổng quan truy vấn ảnh tự nhiên : trình bày tổng quan xử lý ảnh, vấn đề truy vấn ảnh tự. .. Chƣơng I : Tổng quan Truy vấn ảnh tự nhiên CHƢƠNG I – TỔNG QUAN VỀ TRUY VẤN ẢNH TỰ NHIÊN 1.1 Giới thiệu xử lý ảnh Xử lý ảnh số có nhiều ứng dụng thực tế Các nghiên cứu xử lý ảnh số năm đầu thập