Nghiên cứu phương pháp biểu diễn và tra cứu ảnh hiệu quả ứng dụng trong tra cứu ảnh phong cảnh

i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CNTT & TT THÁI NGUYÊN -***** - Nguyễn Thị Nhung NGHIÊN CỨU PHƢƠNG PHÁP BIỂU DIỄN VÀ TRA CỨU ẢNH HIỆU QUẢ ỨNG DỤNG TRONG TRA CỨU ẢNH PHONG CẢNH LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH Thái Ngun – 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CNTT & TT THÁI NGUYÊN -***** - Nguyễn Thị Nhung NGHIÊN CỨU PHƢƠNG PHÁP BIỂU DIỄN VÀ TRA CỨU ẢNH HIỆU QUẢ ỨNG DỤNG TRONG TRA CỨU ẢNH PHONG CẢNH Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC TS Nguyễn Hữu Quỳnh Thái Nguyên - 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iii LỜI CAM ĐOAN Tôi xin cam đoan luận văn kết nghiên cứu riêng tôi, dƣới hƣớng dẫn khoa học TS Nguyễn Hữu Quỳnh Các số liệu, kết nêu luận văn hoàn toàn trung thực Thái nguyên, ngày tháng năm 2011 Ngƣời cam đoan Nguyễn Thị Nhung Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iv Lời cảm ơn Trong trình thực luận văn này, em nhận đƣợc hƣớng dẫn, bảo tận tình TS Nguyễn Hữu Quỳnh, Khoa Cơng nghệ Thông tin thuộc trƣờng Đại học Điện lực cán trực tiếp hƣớng dẫn khoa học cho em Thầy dành nhiều thời gian việc hƣớng dẫn cách nghiên cứu, đọc tài liệu, cài đặt thuật toán giúp đỡ xây dựng hệ thống thực nghiệm Em xin chân thành cảm ơn Thầy, Cô giáo trƣờng Đại học Công nghệ Thông tin Truyền Thơng, Đại học Thái Ngun ln nhiệt tình giúp đỡ tạo điều kiện tốt cho em suốt trình học tập trƣờng Xin chân thành cảm ơn anh, chị bạn học viên lớp Cao học trƣờng Đại học Công nghệ Thông tin Truyền Thông thuộc Đại học Thái Nguyên ln động viên, giúp đỡ nhiệt tình chia sẻ với kinh nghiệm học tập, công tác suốt khố học Tơi xin chân thành cảm ơn vị lãnh đạo bạn đồng nghiệp Trƣờng Dự bị Đại học Dân tộc Sầm Sơn tạo điều kiện tốt để hồn thành tốt đẹp khố học Cao học Thái nguyên, ngày tháng năm 2011 Nguyễn Thị Nhung Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn v MỤC LỤC TRANG PHỤ BÌA LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT ix DANH MỤC CÁC HÌNH ix DANH MỤC CÁC BẢNG x Lời mở đầu x Chƣơng TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG .1 1.1 Giới thiệu 1.2 Trích rút đặc trƣng 1.2.1 Màu .6 1.2.1.1 Lƣợc đồ màu 1.2.1.2 Các màu trội 1.2.1.3 Các mômen màu 1.2.2 Kết cấu 10 1.2.3 Hình dạng 11 1.2.3.1 Các bất biến mômen 11 1.2.3.2 Các góc uốn 12 1.2.3.3 Các ký hiệu mô tả Fourier 13 1.2.3.4 Hình trịn, độ lệch tâm, hƣớng trục 15 1.2.4 Thông tin không gian 15 1.2.5 Phân đoạn 16 1.3 Đánh số 18 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn vi 1.4 Độ tƣơng tự ảnh 18 1.4.1 Độ đo màu sắc 18 1.4.2 Độ đo tƣơng đồng cho hình dạng 19 1.4.3 Độ đo tƣơng đồng cho kết cấu ảnh 19 1.4.4 Độ đo tƣơng đồng cho đặc trƣng phân đoạn 20 1.5 Các hệ thống CBIR 20 1.5.1 QBIC IBM 20 1.5.2 Virage .22 1.5.3 RetrievalWare 23 1.5.4 VisualSeek WebSeek 23 1.5.5 Photobook 24 1.5.6 Netra 24 1.6 Đánh giá hiệu tra cứu 24 1.7 Kết luận chƣơng 26 Chƣơng KỸ THUẬT BIỂU DIỄN VÀ TRA CỨU ẢNH HIỆU QUẢ 28 2.1 Giới thiệu 28 2.2 Khái niệm đồ thị hai phía 30 2.3 Một số kỹ thuật tra cứu dựa vào đặc trƣng màu 31 2.3.1 Kỹ thuật tra cứu dựa vào lƣợc đồ màu toàn - GCH 31 2.3.2 Kỹ thuật tra cứu dựa vào lƣợc đồ màu cục - LCH 32 2.3.3 Véc tơ gắn kết màu 33 2.3.4 Tƣơng quan màu .34 2.4 Kỹ thuật biểu diễn tra cứu ảnh hiệu .34 2.4.1 Lƣợc đồ màu dải .34 2.4.2 Phƣơng pháp tra cứu dựa vào lƣợc đồ màu khối 36 2.4.2.1 Giới thiệu 36 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn vii 2.4.2.2 Phƣơng pháp tra cứu HG 39 2.5 Kết luận chƣơng 41 CHƢƠNG HỆ THỐNG TRA CỨU ẢNH DỰA VÀO NỘI DUNG SỬ DỤNG BIỂU DIỄN HIỆU QUẢ 43 3.1 Giới thiệu toán tra cứu ảnh phong cảnh 43 3.2 Phân tích tốn 43 3.3 Thiết kế hệ thống 44 3.4 Mô tả chƣơng trình 45 3.4.1 Khái quát chƣơng trình 45 3.4.2 Các chức chƣơng trình 46 3.4.3 Biểu đồ Use Case 46 3.4.4 Biểu đồ trình tự biểu đồ hoạt động 47 3.5 Thiết kế sở liệu 51 3.6 Giao diện chƣơng trình 52 3.7 Xây dựng chƣơng trình: 55 3.8 Đánh giá hiệu phƣơng pháp 56 3.9 Một số kết 57 3.10 Kết luận chƣơng 59 KẾT LUẬN 60 TÀI LIỆU THAM KHẢO 61 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn viii DANH MỤC CÁC CHỮ VIẾT TẮT Ký hiệu Diễn giải QBE Query by Example (Truy vấn ảnh mẫu) QBF Query by Feature (Truy vấn đặc trƣng) RGB Red Green Blue (Đỏ, Xanh lục, Xanh lơ) HSV Hue, Saturation, Value (Màu, sắc nét, cƣờng độ) CCV Color Coherence Vectors (Véc tơ gắn kết màu) SDF Spectral Distribution Functions (Hàm phân bố phổ) MLE Maximum Likelihood Estimation (Ƣớc lƣợng khả nhất) AR MRSAR multi-resolution simultaneous auto-regressive model (Mô hình tự hồi quy đồng thời đa phân giải) SAR Simultaneous Auto-Regressive (Tự hồi quy đồng thời) MRF Markov random field (Trƣờng ngẫu nhiên Markov) LSE Least Square Error (Sai số bình phƣơng tối thiểu) RISAR Rotation-Invariant SAR model(Mơ hình SAR bất biến quay) PWT Pyramid-Structured Wavelet Transform (Biến đổi song cấu trúc hình chóp) TWT Tree-Structured Wavelet Transform (Biến đổi song cấu trúc cây) SAQ Successive Approximation Quantization (lƣợng hố xấp xỉ) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ix DANH MỤC CÁC HÌNH Hình 2.1 Ba ảnh biểu đồ màu chúng 32 Hình 2.2 Một ảnh đƣợc phân hoạch sử dụng lƣới x CCH 35 Hình 2.3 Ảnh I ảnh I’ 37 Hình 2.4 Lƣợc đồ màu khối theo màu black white biểu diễn ảnh I 37 Hình 2.5 Lƣợc đồ màu khối theo màu black white biểu diễn ảnh I’ 37 Hình 2.6 Tính khoảng cách ảnh I I’ theo màu black 38 Hình 2.7 Tính khoảng cách ảnh I I’ theo màu white 38 Hình 3.1 Mơ hình hệ thống tra cứu ảnh hiệu 46 Hình 3.2 Sơ đồ phân cấp chức chƣơng trình…………………… 46 Hình 3.3 Biểu đồ Use Case 47 Hình 3.4 Biểu đồ trình tự tác nhân tra cứu 48 Hình 3.5 Biểu đồ hoạt động tác nhân tra cứu ảnh 49 Hình 3.6 Biểu đồ trình tự tác nhân Quản lý sở liệu ảnh 50 Hình 3.7 Biểu đồ liên kết bảng sở liệu 52 Hình 3.8 Giao diện chƣơng trình 53 Hình 3.9.Giao diện tra cứu ảnh 53 Hình 3.10.Giao diện thêm ảnh vào sở liệu 54 Hình 3.11.Giao diện thêm tập ảnh vào sở liệu 54 Hình 3.12.Giao diện xố ảnh khỏi sở liệu 55 Hình 3.13.Ảnh truy vấn 57 Hình 3.14 Kết tìm kiếm đƣợc với phƣơng pháp GCH 57 Hình 3.15 Kết tìm kiếm đƣợc với phƣơng pháp LCH 58 Hình 3.16.Kết tìm kiếm đƣợc với phƣơng pháp HG 59 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn x DANH MỤC CÁC BẢNG Bảng 3.1 Bảng imgBin 51 Bảng 3.2 Bảng imgOri: 51 Bảng 3.3 Bảng imgTemp: 51 Bảng 3.4 Bảng color: 52 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 49 Hình 3.5 Biểu đồ hoạt động tác nhân tra cứu ảnh b/ Tác nhân Quản lý sở liệu ảnh: * Mơ tả dịng cơng việc: + Ngƣời sử dụng chọn thêm ảnh vào sở liệu: - Chọn file ảnh để đƣa vào sở liệu - Hệ thống tiến hành lấy thông tin file ảnh trích chọn biểu đồ màu ảnh - Nếu khơng có lỗi cập nhật vào sở liệu, ngƣợc lại thông báo lỗi + Ngƣời sử dụng chọn thêm nhiều ảnh vào sở liệu: - Chọn thƣ mục chứa ảnh cần đƣa vào sở liệu - Duyệt file ảnh thƣ mục tiến hành ghi file ảnh vào sở liệu tƣơng tự nhƣ thêm file ảnh + Ngƣời sử dụng chọn xóa nhiều ảnh sở liệu: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 50 - Chọn ảnh nhiều ảnh muốn xóa - Hệ thống kiểm tra ảnh đƣợc sử dụng khơng cho phép xóa, ngƣợc lại tiến hành xóa ảnh Biểu đồ trình tự: Tra cuu CSDL : Nguoi su dung 1: chon them mot anh 2: chon anh muon them vao CSDL 3:kiem tra su ton tai 4: tra ve ket qua 5: lay thong tin trich chon bieu mau cua anh 6: cap nhat vao CSDL 7: tra ve ket qua 8: chon them nhieu anh 9: chon tep chua anh 10: lay thong tin trich chon bieu mau tung anh 11: kiem tra su ton tai 12: tra ve ket qua 13: cap nhat vao CSDL 14: tra ve ket qua 15: chon xoa mot anh 16: chon anh can xoa 17: kiem tra tinh trang su dung 18: xoa anh 19: tra ve ket qua 20: chon xoa nhieu anh 21: chon tep chua anh 22: kiem tra tinh trang su dung 23: xoa anh 24: tra ve ket qua Hình 3.6 Biểu đồ trình tự tác nhân Quản lý sở liệu ảnh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 51 3.5 Thiết kế sở liệu Bảng 3.1 Bảng imgBin Tên trƣờng Kiểu liệu Khóa Mơ tả imgId int x Id ảnh bin int x dải màu c1 float(53) trích chọn màu c2 float(53) trích chọn màu c3 float(53) trích chọn màu c4 float(53) trích chọn màu c5 float(53) trích chọn màu c6 float(53) trích chọn màu c7 float(53) trích chọn màu c8 float(53) trích chọn màu Bảng 3.2 Bảng imgOri: Tên trƣờng Kiểu liệu Khóa Mơ tả imgId int x Id ảnh imgName varchar(50) Tên ảnh Bảng 3.3 Bảng imgTemp: Tên trƣờng Kiểu liệu Khóa Mơ tả bin int x dải màu c1 float(53) trích chọn màu c2 float(53) trích chọn màu c3 float(53) trích chọn màu c4 float(53) trích chọn màu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 52 c5 float(53) trích chọn màu c6 float(53) trích chọn màu c7 float(53) trích chọn màu c8 float(53) trích chọn màu Bảng 3.4 Bảng color: Tên trƣờng Kiểu liệu color varchar(50) Màu ảnh r int Màu đỏ g int Màu xanh lục b int Màu xanh lơ Khóa Mơ tả Sơ đồ liên kết bảng CSDL: Hình 3.7 Biểu đồ liên kết bảng sở liệu 3.6 Giao diện chƣơng trình Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn 53 Hình 3.8 Giao diện chƣơng trình Hình 3.9.Giao diện tra cứu ảnh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 54 Hình 3.10.Giao diện thêm ảnh vào sở liệu Hình 3.11.Giao diện thêm tập ảnh vào sở liệu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 55 Hình 3.12.Giao diện xoá ảnh khỏi sở liệu 3.7 Xây dựng chƣơng trình: Code vẽ lƣợc đồ màu ảnh: public class Histogram { DataAccess dta = new DataAccess(); public Bitmap display(string imgName,string color) { Bitmap bmp = new Bitmap(200,200); int imgId = dta.getId(imgName); DataTable dtb = dta.getColor(color); int r = int.Parse(dtb.Rows[0][1].ToString()); //Lấy giá trị màu xét int g = int.Parse(dtb.Rows[0][2].ToString()); int b = int.Parse(dtb.Rows[0][3].ToString()); Color c = Color.FromArgb(r, g, b); for (int i = 20; i < bmp.Width; i++) // Vẽ biểu đồ { if (i % 20 == 0) //Cách 20pixels vẽ cột { DataTable dtbBin = dta.getImgBin(imgId); int BinIndex = i / 20-1; float ColorValue = (float.Parse(dtbBin.Rows[BinIndex][color].ToString()))*(float)1700; //Chiều cao cột Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 56 for (int j = i; j < i+15; j++) //Một cột rộng 15pixels { for(int h=0;h