Truy vấn ảnh dựa trên biến đổi wavelet

Truy vấn ảnh dựa trên biến đổi wavelet

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN - ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ-VIỄN THÔNG -------------------------- ĐỒ ÁN TỐT NGHIỆP NGÀNH: CÔNG NGHỆ ĐIỆN TỬ VIỄN THÔNG ĐỀ TÀI: TRUY VẤN ẢNH DỰA TRÊN BIẾN ĐỔI WAVELET GVHD: Th.S LÊ MINH THÀNH SVTH: TRẦN MINH PHÚC 10117052 PHẠM QUỐC VIỆT 10117080 TP.HỒ CHÍ MINH – 7/2014 Truy vấn ảnh dựa trên biến đổi wavelet i LỜI CẢM ƠN Trong suốt quá trình học tập và hoàn thành đề tài, bên cạnh sự nỗ lực cố gắng của nhóm thực hiện đề tài còn có sự hướng dẫn nhiệt tình của quý thầy, cô và sự hỗ trợ, động viên rất lớn từ gia đình bạn bè. Với lòng kính trọng và biết ơn sâu sắc, nhóm thực hiện đề tài xin chân thành cảm ơn : Nhóm thực hiện đề tài xin cảm ơn thầy Lê Minh Thành, giáo viên trực tiếp hướng dẫn, đã tận tình chỉ bảo và hướng dẫn cho nhóm thực hiện hoàn thành đề tài một cách tốt nhất. Nhóm thực hiện cũng xin cảm ơn các thầy, cô trong Khoa Điện-Điện tử, đặc biệt là các thầy, cô bộ môn Điện tử-Viễn thông đã tận tình dạy dỗ, truyền đạt cho nhóm những kiến thức cơ sở và chuyên ngành, để có nền tảng kiến thức hoàn thành tốt đề tài. Nhóm thực hiện cũng xin gửi lời cảm ơn đến gia đình, anh chị, bạn bè đặc biệt là tập thể lớp 101170 đã động viên, giúp đỡ nhóm trong suốt quá trình học tập và thực hiện đề tài. Một lần nữa nhóm thực hiện đề tài xin chân thành cảm ơn. Tp. Hồ Chí Minh, ngày 25 tháng 7 năm 2014 Nhóm sinh viên thực hiện Trần Minh Phúc – Phạm Quốc Việt Lời cám ơn Truy vấn ảnh dựa trên biến đổi wavelet ii MỤC LỤC LỜI CẢM ƠN .........................................................................................................................................i MỤC LỤC........................................................................................................................................... ii LIỆT KÊ HÌNH....................................................................................................................................... vi LIỆT KÊ BẢNG...................................................................................................................................... xi LIỆT KÊ TỪ VIẾT TẮT .................................................................................................................. xii TÓM TẮT .......................................................................................................................................... xiv ABSTRACT ...................................................................................................................................... xii Chương 1 ............................................................................................................................................ 1 GIỚI THIỆU ...................................................................................................................................... 1 1.1 Vai trò và ứng dụng của kỹ thuật truy vấn ảnh dựa trên biến đổi Wavelet ................... 1 1.2 Mục đích của đề tài .............................................................................................................. 1 1.3 Mục tiêu và phạm vi nghiên cứu ......................................................................................... 2 1.4 Bố cục của đồ án ................................................................................................................... 2 Chương 2 ............................................................................................................................................ 3 TỔNG QUAN VỀ TRUY VẤN ẢNH............................................................................................... 3 2.1 Tổng quan về ảnh số .................................................................................................................... 3 2.1.1 Giới thiệu về ảnh số ....................................................................................................... 3 2.1.2 Đặc trưng màu sắc ................................................................................................................. 4 2.1.2 Đặc trưng kết cấu ...................................................................................................... 4 2.1.3 Đặc trưng hình dạng ..................................................................................................... 5 2.1.4 Đặc trưng cục bộ bất biến ............................................................................................. 5 2.2 Giới thiệu về hệ thống xử lý ảnh .................................................................................................. 5 2.2.1 Phần thu nhận ảnh (Image Acquisition) .................................................................... 6 2.2.2 Tiền xử lý (Image Processing) ..................................................................................... 6 2.2.3 Phân đoạn (Segmentation) hay phân vùng ảnh ......................................................... 6 2.2.4 Biểu diễn ảnh (Image Representation) ....................................................................... 7 2.2.5 Nhận dạng và nội suy ảnh (Image Recognition and Interpretation) ....................... 7 2.2.6 Cơ sở tri thức (Knowledge Base) ................................................................................ 7 2.1 Xử lý nâng cao chất lượng ảnh ........................................................................................... 8 2.3.1 Mục lục Cải thiện ảnh sử dụng các toán tử điểm ...................................................................... 8 Truy vấn ảnh dựa trên biến đổi wavelet iii Tăng độ tương phản ...................................................................................................... 8 2.3.2 2.3.2.1 Tách nhiễu và phân ngưỡng..................................................................................... 9 2.3.2.2 Biến đổi âm bản....................................................................................................... 10 2.3.2.3 Cắt theo mức............................................................................................................ 10 2.3.2.4 Trích chọn bit .......................................................................................................... 11 2.3.2.5 Nén dải độ sáng. ...................................................................................................... 11 2.3.2.6 Mô hình hóa và biến đổi lược đồ xám .................................................................... 12 Cải thiện ảnh dùng các toán tử không gian............................................................... 12 2.3.3 2.3.3.1 Làm trơn nhiễu bằng lọc tuyến tính ..................................................................... 13 2.3.3.2 Làm trơn nhiễu bằng lọc phi tuyến ...................................................................... 14 2.3.3.3 Mặt nạ gờ sai phân và làm nhẵn ........................................................................... 15 2.3.3.4 Lọc thông thấp, thông cao và lọc dải thông ......................................................... 16 2.3.3.5 Khuếch đại và nội suy ảnh..................................................................................... 17 2.3.3.6 Một số kỹ thuật cải thiện ảnh nhị phân ................................................................. 18 Truy vấn ảnh ...................................................................................................................... 19 2.2 ...................................................................................................................................................... 20 Các kỹ thuật truy vấn ảnh ...................................................................................................... 21 2.3 2.5.1 Truy vấn theo lời chú thích .............................................................................................. 21 2.5.2 Truy vấn ảnh theo ngữ nghĩa ..................................................................................... 22 2.5.3 Truy vấn ảnh theo đối tượng (OBIR) ......................................................................... 22 2.5.4 Truy vấn ảnh dựa trên nội dung (CBIR) ......................................................................... 23 2.5.5 Các vấn đề thường gặp phải ....................................................................................... 24 2.5.6 Các cách tiếp cận hiện tại và giải pháp được chọn ...................................................... 25 Chương 3 .......................................................................................................................................... 26 KỸ THUẬT TRUY VẤN ẢNH DỰA TRÊN WAVELET ............................................................. 26 Biến đổi Wavelet................................................................................................................. 26 3.1 3.1.1 Biến đổi Wavelet liên tục( CWT) .................................................................................... 26 3.1.1.1 Phép biến đổi Wavelet thuận .................................................................................. 26 3.1.1.2 Biểu diễn các hệ số Wavelet .................................................................................... 26 3.1.1.3 Phép biến đổi Wavelet nghịch................................................................................. 26 3.1.1.4 Phép biến đổi Wavelet liên tục hai chiều và nhiều chiều ...................................... 27 3.1.1.5 Rời rạc hóa phép viến đổi Wavelet liên tục ............................................................ 28 3.1.1.6 Hiệu ứng biên .......................................................................................................... 28 3.1.2 3.1.2.1 Mục lục Biến đổi Wavelet rời rạc( DWT) ................................................................................. 28 Phép biến đổi Wavelet rời rạc và phân tích đa phân giải ...................................... 28 Truy vấn ảnh dựa trên biến đổi wavelet 3.1.2.2 iv Phép biến đổi Wavelet rời rạc hai chiều: ............................................................... 29 Kỹ thuật truy vấn ảnh dựa trên Wavelets ....................................................................... 30 3.2 3.2.1 Giới thiệu về kỹ thuật truy vấn ảnh dựa trên Wavelets ................................................ 30 3.2.2 Bộ lọc Gabor ............................................................................................................... 30 3.2.3 Đặc trưng cấu trúc và đặc trưng màu ...................................................................... 32 3.2.3.1 Đặc trưng cấu trúc .................................................................................................. 32 3.2.3.2 Đặc trưng màu ........................................................................................................ 32 3.2.4 Thuật toán truy vấn ảnh ............................................................................................ 33 3.2.5 So sánh độ tương đồng của ảnh và đánh giá hiệu suất của hệ thống..................... 33 Chương 4 .......................................................................................................................................... 35 MÔ PHỎNG KỸ THUẬT TRUY VẤN ẢNH DỰA TRÊN WAVELET....................................... 35 4.1 Đặt vấn đề mô phỏng trên matlab .............................................................................................. 35 4.1.1 Cơ sở dữ liệu ảnh ................................................................................................................ 35 Cơ sở dữ liệu ảnh dùng trong đề tài để mô phỏng sử dụng cơ sở dữ liệu ảnh của Wang [1] gồm 1000 với 10 chủ đề khác nhau. Ảnh có định dạng JPG, kích thước 256x384 pixel và 384x256 pixel.......................................................................................................................................... 35 4.1.2 Ảnh đầu vào và các tác nhân gây ảnh hưởng ...................................................................... 35 4.1.2.1 Sự mờ ảnh ............................................................................................................... 35 4.1.2.2 Sự mở rộng nhiễu ......................................................................................................... 36 4.1.3 Tiền xử lý ảnh ..................................................................................................................... 36 4.1.3.1 Khôi phục ảnh mờ .................................................................................................. 36 4.1.3.2 Giảm nhiễu ................................................................................................................... 37 4.2 Lưu đồ thuật toán............................................................................................................... 38 4.3 Chương trình mô phỏng kỹ thuật truy vấn ảnh dựa trên wavlet .................................. 39 4.3.1 Đọc ảnh yêu cầu, chuyển đổi kiểu ảnh và phân tích wavelet .................................... 39 4.3.2 Lấy trị tuyệt đối các hệ số wavlet ................................................................................ 40 4.3.3 Kết hợp chi tiết dọc và ngang ...................................................................................... 40 4.3.4 Hình thành vector đặc trưng màu: ............................................................................. 40 4.3.5 Hình thành vector đặc trưng cấu trúc ........................................................................ 41 4.3.6 Tiến hành so sánh vector đặc trưng và đưa ra kết quả ............................................. 41 4.4 Thực nghiệm ....................................................................................................................... 41 4.4.1 Đối với đặc trưng màu: ............................................................................................... 41 4.4.2 Đối với đặc trưng cấu trúc .......................................................................................... 41 4.4.3 Tiến hành lựa chọn các thông số phù hợp ................................................................ 42 4.5 Mục lục Giới thiệu chương trình ..................................................................................................... 48 Truy vấn ảnh dựa trên biến đổi wavelet v 5.1 Kết quả mô phỏng .............................................................................................................. 50 5.2 Độ chính xác ....................................................................................................................... 56 5.3 Tốc độ truy vấn ảnh ........................................................................................................... 56 6.1 Kết quả đạt được ........................................................................................................................ 57 6.2 Hạn chế ...................................................................................................................................... 57 6.3 Hướng phát triển ........................................................................................................................ 57 Mục lục Truy vấn ảnh dựa trên biến đổi wavelet vi LIỆT KÊ HÌNH Hình 2. 1: Các bước cơ bản trong xử lý ảnh ...............................................................6 Hình 2. 2: Lân cận các điểm ảnh của tọa độ (x,y)..... Error! Bookmark not defined. Hình 2. 3: Tách nhiễu ................................................ Error! Bookmark not defined. Hình 2. 4:Phân ngưỡng ............................................. Error! Bookmark not defined. Hình 2. 5: Biến đổi âm bản ....................................... Error! Bookmark not defined. Hình 2. 6: Kỹ thuật cắt theo mức không có nền........ Error! Bookmark not defined. Hình 2. 7: Kỹ thuật cắt theo mức có nền................... Error! Bookmark not defined. Hình 2. 8: Các toán tử gờ sai phân ............................ Error! Bookmark not defined. Hình 2. 9: Sơ đồ bộ lọc thông cao. ............................ Error! Bookmark not defined. Hình 2. 10: Một số nhân chập trong lọc thông cao. .. Error! Bookmark not defined. Hình 2. 11: Khuyếch đại bởi lặp 2x2. ....................... Error! Bookmark not defined. Hình 2. 12: Các vecror thành phần kỹ thuật gradientError! Bookmark not defined. Hình 2. 13: Toán tử Robert ....................................... Error! Bookmark not defined. Hình 2. 14: Mặt nạ Robert......................................... Error! Bookmark not defined. Hình 2. 15: Mặt nạ Sobel .......................................... Error! Bookmark not defined. Hình 2. 16: Mặt nạ Prewitt ........................................ Error! Bookmark not defined. Hình 2. 17: Mặt nạ đẳng hướng ................................ Error! Bookmark not defined. Hình 2. 18: Mặt nạ 4 lân cận ..................................... Error! Bookmark not defined. Hình 2. 19: Mặt nạ 8 lân cận ..................................... Error! Bookmark not defined. Hình 2. 20:Toán tử Sobel 5x5 ................................... Error! Bookmark not defined. Hình 2. 21:Toán tử la bàn Kirsh................................ Error! Bookmark not defined. Hình 2. 22:Toán tử Laplace ...................................... Error! Bookmark not defined. Hình 2. 23:Mô hình tính của phương pháp Canny.... Error! Bookmark not defined. Hình 3. 1: Minh họa nơron sinh học. ........................ Error! Bookmark not defined. Mục lục Truy vấn ảnh dựa trên biến đổi wavelet vii Hình 3. 2: Mô hình nơron nhân tạo ........................... Error! Bookmark not defined. Hình 3. 3: Hàm kích hoạt ngưỡng ............................. Error! Bookmark not defined. Hình 3. 4: Hàm kích hoạt tuyến tính từng đoạn ........ Error! Bookmark not defined. Hình 3. 5: Hàm kích hoạt Sigmoid ........................... Error! Bookmark not defined. Hình 3. 6: Mô tả khả năng phân tách tuyến tính của hàm f(x1,x2) = x1 or x2.... Error! Bookmark not defined. Hình 3. 7: Phân tách phi tuyến của hàm f(x1,x2) = x1 xor x2... Error! Bookmark not defined. Hình 3. 8: Hàm kích hoạt của nơron MVN ............... Error! Bookmark not defined. Hình 3. 9: Trạng thái của nơron sinh học phục thuộc vào tần số... Error! Bookmark not defined. Hình 3. 10: Hàm kích hoạt của nơron UBN.............. Error! Bookmark not defined. Hình 3. 11: Sự thay đổi tổng trọng số z sau khi hiệu chỉnh các trọng số sử dụng luật học sửa lỗi ................................................................. Error! Bookmark not defined. Hình 3. 12: Sự thay đổi tổng trọng số z sau khi hiệu chỉnh các trọng số sử dụng luật học sửa lỗi ................................................................. Error! Bookmark not defined. Hình 3. 13: Biểu diễn quy tắc học của nơron nhị phân UBN . Error! Bookmark not defined. Hình 4. 1: Mạng CNN chuẩn, trong đó mỗi ô biểu diễn cho một tế bào C(i,j) có liên kết trực tiếp với các tế bào lân cận. ........................... Error! Bookmark not defined. Hình 4. 2: Kiến trúc bên trong một tế bào của CNN Error! Bookmark not defined. Hình 4. 3: Các dạng láng giềng của CNN, (a) r =1; (b) r = 2 . Error! Bookmark not defined. Hình 4. 4: Các tế bào đường biên, góc của mạng ..... Error! Bookmark not defined. Hình 4. 5: Sơ đồ hoạt động của một cell ................... Error! Bookmark not defined. Hình 4. 6: Dạng đồ thị hàm ra của một tế bào .......... Error! Bookmark not defined. Hình 4. 7: Mẫu tìm biên và hiệu quả của mẫu .......... Error! Bookmark not defined. Mục lục Truy vấn ảnh dựa trên biến đổi wavelet viii Hình 4. 8: Mẫu thiết lập ngưỡng (Threshold) ........... Error! Bookmark not defined. Hình 4. 9: Tác dụng của mẫu Hollow ....................... Error! Bookmark not defined. Hình 4. 10: Sơ đồ các bước thiết kế mẫu theo phương pháp trực tiếp. ............. Error! Bookmark not defined. Hình 5. 1: Mạng CNN có kích thước 3x5 với kết nối nội bộ trong vùng lân cận là 3x3.Mỗi một nơron được kết nối với 8 nơron xung quanh nó và với chính nó.Error! Bookmark not defined. Hình 5.2: Giảm nhiễu sử dụng bộ lọc giá trị (MVF) Error! Bookmark not defined. Hình 5.3 : Hiệu chỉnh tần số toàn cục (global) MVF và so sánh với phương pháp tuyến tính với kích thước cửa sổ 35x35. ................... Error! Bookmark not defined. Hình 5.4: Hiệu chỉnh tần số cao MVF và so sánh với phương pháp tuyến tính với kích thước cửa sổ 3x3 ............................................... Error! Bookmark not defined. Hình 5.5: Biểu diễn ảnh xám 8 bit thành 8 mặt phẳng nhị phân.... Error! Bookmark not defined. Hình 5.6 : Phát hiện biên chính xác sử dụng bộ lọc luận lý nơron tế bào (CNBF) với cửa sổ lọc 3x3 và so sánh với toán tử Sobel ............. Error! Bookmark not defined. Hình 5.7: Biểu đồ biểu thị quá trình nội suy làm trơn răng cưa .... Error! Bookmark not defined. Hình 5.8: Biểu diễn ảnh ban đầu ............................... Error! Bookmark not defined. Hình 5.9: Biểu diễn miền ảnh siêu phân giải ............ Error! Bookmark not defined. Hình 5.10: Biểu diễn phổ của tín hiệu trong miền B Error! Bookmark not defined. Hình 5.11: Tăng mẫu sử dụng kỹ thuật siêu phân giải và so sánh với phương pháp nội suy Sinc (Lanczos) .............................................. Error! Bookmark not defined. Hình 5.12: So sánh giá trị trung bình của biên độ phổ cosine tương ứng với ảnh 5.11 a, 5.11 c và 5.11 d ..................................................... Error! Bookmark not defined. Hình 6. 1: Lưu đồ chương trình ứng dụng lọc đa trị (MVF) để lọc nhiễu Gaussian trên ảnh xám .............................................................. Error! Bookmark not defined. Mục lục Truy vấn ảnh dựa trên biến đổi wavelet ix Hình 6.2: Giao diện chương trình lọc nhiễu dùng MVF ......... Error! Bookmark not defined. Hình 6.3: Giảm nhiễu sử dụng bộ lọc giá trị (MVF) và so sánh với các bộ lọc khác ................................................................................... Error! Bookmark not defined. Hình 6.4: Lưu đồ chương trình ứng dụng lọc đa trị (MVF) để lọc nhiễu Gaussian trên ảnh màu .............................................................. Error! Bookmark not defined. Hình 6.5: Lọc MVF đối với ảnh màu ........................ Error! Bookmark not defined. Hình 6.6: Giao diện chương trình hiệu chỉnh tần số (phổ) dùng MVF và so sánh với phương pháp tuyến tính............................................. Error! Bookmark not defined. Hình 6.7: Ảnh ban đầu và lược đồ histogram ........... Error! Bookmark not defined. Hình 6. 8: Ảnh sau khi hiệu chỉnh tần số toàn cục (global) MVF với cửa sổ lọc 35x35 và lược đồ histogram ...................................... Error! Bookmark not defined. Hình 6.9: Hiệu chỉnh tần số toàn cục (global) theophương pháp tuyến tính với kích thước cửa sổ 35x35. .................................................. Error! Bookmark not defined. Hình 6.10: Ảnh ban đầu và lược đồ histogram ......... Error! Bookmark not defined. Hình 6.11: Hiệu chỉnh tần số cao MVF với cửa sổ 3x3 và lược đồ histogram. Error! Bookmark not defined. Hình 6.12: Hiệu chỉnh tần số cao bằng phương pháp tuyến tính với cửa sổ 3x3 và lược đồ histogram...................................................... Error! Bookmark not defined. Hình 6.13: Hiệu chỉnh tần số cao MVF với ảnh màuError! Bookmark not defined. Hình 6.14: Lưu đồ chương trình tách biên dùng lọc luận lý nơron tế bào (CNBF) ................................................................................... Error! Bookmark not defined. Hình 6.15: Giao diện chương trình phát hiện biên chính xác dùng CNBF....... Error! Bookmark not defined. Hình 6.16: Ảnh chụp mạch máu có cục máu đông ... Error! Bookmark not defined. Hình 6.17: Phát hiện biên chính xác dùng CNBF và so sánh với các phương pháp khác ........................................................................... Error! Bookmark not defined. Mục lục Truy vấn ảnh dựa trên biến đổi wavelet x Hình 6.18: Phát hiện biên chính xác dùng CNBF khi chỉ xét trên 2 mặt phẳng nhị phân 6 và 7. ............................................................... Error! Bookmark not defined. Hình 6.19: Lưu đồ thuật toán siêu phân giải kết hợp với lọc nhiễu MVF và hiệu chỉnh tần số cao MVF ............................................... Error! Bookmark not defined. Hình 6.20: Giao diện chương trình mô phỏng kỹ thuật siêu phân giải ảnh ...... Error! Bookmark not defined. Hình 6.21: Ảnh ban đầu có kích thước 512x512 ...... Error! Bookmark not defined. Hình 6.22: Ảnh sau khi giảm mẫu 4 lần ................... Error! Bookmark not defined. Hình 6.23: Ảnh thu được khi dùng phương pháp nội suy Bilinenear .............. Error! Bookmark not defined. Hình 6.24: Ảnh thu được khi dùng phương pháp siêu phân giải kết hợp với lọc MVF và hiệu chỉnh tần số cao MVF ......................... Error! Bookmark not defined. Hình 6.25: So sánh giá trị trung bình của phổ biên độ Cosine tương ứng với ảnh ban đầu, ảnh dùng kỹ thuật siêu phân giải và ảnh thu được theo phương pháp nội suy Bilinenear .................................................................. Error! Bookmark not defined. Mục lục Truy vấn ảnh dựa trên biến đổi wavelet xi LIỆT KÊ BẢNG Bảng 3. 1: Giá trị của hàm f(x1, x2) = x1 or x2........... Error! Bookmark not defined. Bảng 3. 2: Giá trị của hàm f(x1, x2) = x1 xor x2......... Error! Bookmark not defined. Bảng 5. 1: Thống kê các đặc tính của ví dụ lọc nhiễu Gaussian cho bởi hình 5.2 ................................................................................... Error! Bookmark not defined. Bảng 6. 1: So sánh PSNR giữa lọc MVF và lọc trung bình .... Error! Bookmark not defined. Bảng 6.2: So sánh PSNR giữa các thuật toán siêu phân giải với phương pháp nội suy ............................................................................. Error! Bookmark not defined. Mục lục Truy vấn ảnh dựa trên biến đổi wavelet xii LIỆT KÊ TỪ VIẾT TẮT C CBIR Content Based Image Retrieval Truy vấn ảnh dựa trên nội dung CCD Charge Couple Device Camera CCD Cơ sở dữ liệu CSDL Continuous Wavelet Transform Biến đổi Wavelet liên tục DCT Discrete Cosine Transform Biến đổi Cosine rời rạc DWT Discrete Wavelet Transform Biến đổi Wavelet rời rạc FD Feature vector of query image Vector đặc trưng của ảnh yêu cầu FQ Feature vector of image in dataset Vector đặc trưng của ảnh trong CWT D F cơ sở dữ liệu H HH High- High Cao –cao HL High- Low Cao- thấp HSV Hue- Saturation- Value Màu sắc- độ bão hòa- giá trị HSI Hue- Saturation- Intensity Màu sắc- độ bão hòa- cường độ LH Low- High Thấp- cao LL Low- Low Thấp- thấp Microsoft Network Tập hợp các dịch vụ Internet cung L M MSN cấp bởi Microsoft Mục lục Truy vấn ảnh dựa trên biến đổi wavelet xiii N NRRI Number of relevant retrieval Số ảnh truy vấn thỏa mãn images O OBIR Object Based Image Retrieval Truy vấn ảnh dựa vào đối tượng Point Spread Function Hàm trải rộng điểm, dùng để làm P PSF mờ ảnh Q QBIC Query Based Image Content Hệ thống truy vấn dựa trên sự phát thảo do IBM phát triển R RGB Red- Green- Blue Không gian màu RGB S SIFT Scale Invariant Feature Transform Biến đổi đặc trưng bất biến T TR Total number of relevant images tổng số lượng ảnh truy vấn thỏa in dataset thỏa mãn có trong cơ sở dữ liệu X top ranking of retrieval image X ảnh gần giống nhất so với ảnh X XR truy vấn Mục lục Truy vấn ảnh dựa trên biến đổi wavelet xiv TÓM TẮT Việc truy vấn ảnh sẽ tìm ra các hình ảnh tương tự về nội dung với hình ảnh cần truy vấn. Vấn đề đặt ra là cần xây dựng một hệ thống tìm kiếm các hình ảnh tương tự nhưng vẫn đảm bảo về tốc độ, không gian truy vấn và đặc biệt là độ chính xác. Một phương pháp truy vấn ảnh mới dựa trên việc trích đặc trưng màu và cấu trúc được đề xuất nhằm cải thiện độ chính xác. Trong luận văn này, nhóm thực hiện đề tài đã phát triển một phương pháp truy vấn ảnh mới dựa trên biến đôi Wavelet để trích đặc trưng cục bộ của ảnh, đặc trưng cục bộ bao gồm đặc trưng màu và đặc trưng cấu trúc. Khi một bức ảnh được đưa vào xem xét, chúng ta biến đổi ảnh sử dụng biến đổi Wavelet tạo thành bốn ảnh tần số băng con. Bốn ảnh bao gồm một ảnh với tần số thấp, gần giống nhất so với ảnh gốc ban đầu (LL), một ảnh chứa tần sô cao gọi là chi tiết ngang (LH), một ảnh chứa tần số cao gọi là chi tiết dọc (HL), và một ảnh bao gồm cả chi tiết dọc và ngang (HH). Để làm nổi bật cấu trúc mà làm mạnh cạnh, nhóm thực hiện đề tài đã kết hợp thành phần chi tiết dọc và ngang thành một ma trận mới. Bước tiếp theo là đánh giá các điểm quan trọng được gọi là điểm ý nghĩa bởi một ngưỡng giá trị cao. Sau khi các điểm ý nghĩa được trích từ ảnh, tọa độ nhưng điểm ý nghĩa sẽ được sử dụng để tìm những thông tin quan trọng nhất từ ảnh và chuyển sang các vùng nhỏ hơn. Dựa vào tọa độ những điểm quan trọng này, nhóm thực hiện đề tài đã trích được các đặc trưng cục bộ gồm màu mà cấu trúc của ảnh. Đây là những nội dung quan trọng của một bức ảnh, và việc truy vấn ảnh là dựa trên sự tương đồng giữa những đặc trưng ảnh để tìm kiếm các ảnh giống nhau. Mục lục Truy vấn ảnh dựa trên biến đổi wavelet 15 ABSTRACT Retrieving image will find out the similar images in content with the query image. The problem need to build the image retrieval system to find the similar images which ensures the speed, space to query and specially, the accuracy. A novel method for retrieving image based on color and texture extraction is proposed for improving the accuracy. In this research, we develop a novel image retrieval method based on wavelet transformation to extract the local feature of an image, the local feature consist color feature and texture teature. Once an image taking into account, we transform it using wavelet transformation to four sub band frequency images. It consists of image with low frequency which most same with the source called approximation (LL), image containing high frequency called horizontal detail (LH), image containing high frequency called vertical detail (HL), and image containing horizontal and vertical detail (HH). In order to enhance the texture and strong edge, we combine the vertical and horizontal detail to be other matrix. The next step is we estimate the important points called significant points by threshold the high value. After the significant points have been extracted from image, the coordinate of significant points will be used for knowing the most important information from the image and convert into small regions. Based on the significant point coordinates, we extract the image texture and color locally. They are the important contents of an image, and retrieving image method compares the similar between feature image to find the similar image. Mục lục Truy vấn ảnh dựa trên biến đổi wavelet 1 Chương 1 GIỚI THIỆU 1.1 Vai trò và ứng dụng của kỹ thuật truy vấn ảnh dựa trên biến đổi Wavelet Truy vấn ảnh là tìm kiếm một bức ảnh trong cơ sở dữ liệu với hàng nghìn ảnh.Với sự mở rộng của công nghệ đa phương tiện và internet, truy vấn ảnh được các nhà khoa học bắt đầu quan tầm từ những năm đầu 1990. Khái niệm truy vấn dựa trên nội dung ra đời từ đầu những năm 1980, và có những ứng dụng quan trọng từ những năm đầu 1990. Ngày nay, cùng với sự phát triển của phần mềm và phần cứng, khối lượng ảnh được lưu trữ ngày càng lớn trong thư viện ảnh số và trên các website. Vì vậy tìm kiếm ảnh là một nhu cầu tất yếu. Hiện tại, truy vấn ảnh ứng dụng trong khá nhiều lĩnh vực như: quản lý nhãn hiệu logo, truy tìm tội phạm, ứng dụng trong y khoa, quân sự, … Mặc dù các nhà nghiên cứu đã có nhiều nỗ lực trong những năm gần đây trong việc nghiên cứu hệ thống truy vấn ảnh nhưng vẫn chưa có giải thuật thuyết phục được chấp nhận phổ biến có thể biểu diễn hoàn chỉnh các đặc điểm nhìn của con người, đặc biệt là có thể “hiểu” được ảnh, và điều này luôn là thách thức lớn với tất cả các nhà nghiên cứu. So với các nghiên cứu hệ thống CBIR công bố trước năm 2000, sự khác biệt trong các nghiên cứu gần đây là việc gia tăng của đa dạng các đặc trưng mô tả ảnh. Các đề xuất bắt nguồn từ cải tiến những đặc trưng cơ bản (như histogram màu, texture, shape,…) đến những đặc trưng ảnh mới dựa trên những phép biến đổi như wavelets, contourlets,… và kết hợp đa dạng các mô hình toán học trong thiết kế CBIR. Truy vấn ảnh dựa trên Wavelet là một kỹ thuật mới, có độ chính xác cao hơn so với các kỹ thuật truy vấn ảnh hiện tại. Xuất phát từ thực tế trên, người thực hiện đề tài thực hiện tiến hành tiềm hiểu và nghiên cứu đề tài :”Kỹ thuật truy vấn ảnh dựa trên Wavelets”. 1.2 Mục đích của đề tài Tìm hiểu và mô phỏng kỹ thuật truy vấn ảnh dựa trên biến đổi Wavelet, qua đó thể hiện được ưu điểm của phương pháp mới này, thể hiện sự cải thiện độ chính xác so với các phương pháp thông thường. Mục lục Truy vấn ảnh dựa trên biến đổi wavelet 2 Thông qua đó, hình thành và nâng cao cho người thực hiện đề tài khả năng nghiên cứu khoa học, làm việc nhóm, tìm kiếm tài liệu, phân tích giải quyết vấn đề, tư duy và khả năng lập trình. 1.3 Mục tiêu và phạm vi nghiên cứu - Tìm hiểu tổng quan về lý thuyết xử lý ảnh. - Tìm hiểu về truy vấn ảnh và các kỹ thuật truy vấn ảnh. - Tìm hiểu về biến đổi Wavelet. - Tìm hiểu kỹ thuật truy vấn ảnh dựa trên biến đổi Wavelet. - Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet trên phần mềm Matlab 1.4 Bố cục của đồ án Nội dung của đồ án gồm 6 chương: - Chương 1: Giới thiệu. Trình bày vai trò và ứng dụng của đề tài, lý do chọn đề tài, mục tiêu cần đạt được của đề tài, và bố cục của đồ án. - Chương 2: Tổng quan về truy vấn ảnh. Trong chương này trình bày những kiến thức tổng quan về ảnh số, xử lý ảnh, truy vấn ảnh và các kỹ thuật truy vấn ảnh hiện nay. - Chương 3: Kỹ thuật truy vấn ảnh dựa trên Wavelets. Trình bày lý thuyết về kỹ thuật truy vấn ảnh dựa trên biến đổi Wavelet: biến đổi Wavelet, bộ lọc gabor, đặc trưng màu, đặc trưng cấu trúc,… và chi tiết về phương pháp truy vấn ảnh đề xuất. - Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet. Chương này trình bày về việc đặt vấn đề mô phỏng, lưu đồ giải thuật, cách thức tính toán, chương trình mô phỏng trên matlab - Chương 5: Kết quả mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet. Chương này trình bày kết quả mô phỏng trong chương 4, giải thích kết quả và nhận xét. - Chương 6: Kết luận và hướng phát triển. Trình bày kết kết luận, hướng mở rộng phát triển của đề tài trong tương lai. Mục lục Truy vấn ảnh dựa trên biến đổi wavelet 3 Chương 2 TỔNG QUAN VỀ TRUY VẤN ẢNH 2.1 Tổng quan về ảnh số Sự phát triển mạnh mẽ của công nghệ ảnh số đã làm số lượng hình ảnh được lưu trữ trên các trang web tăng lên một cách nhanh chóng. Mỗi ngày, có hàng triệu bức ảnh được đăng tải cũng như được tìm kiếm trên các trang ảnh trực tuyến như: Flickr, Photobucket, Facebook, … Cùng với nhu cầu tìm kiếm văn bản, việc tìm kiếm ảnh cũng nhận được nhiều sự quan tâm của người sử dụng. Tuy nhiên, với một số lượng ảnh quá lớn trên Internet công việc tìm kiếm trở nên vô cùng khó khăn. Để giải quyết vấn đề này, các hệ thống tìm kiếm ảnh đã ra đời như: Yahoo, MSN, Google Image Search, Bing, ... Các hệ thống này cho phép người sử dụng nhập truy vấn các ảnh cần quan tâm. Thông qua việc phân tích các văn bản đi kèm ảnh, hệ thống gửi trả các ảnh tương ứng theo sự truy vấn của người dùng. Một số công cụ tìm kiếm ảnh thương mại khác như Tiltomo, ByoImageSearch,… cho phép người dùng nhập câu hỏi dưới dạng ảnh. Đây là một hướng nghiên cứu mới nhận được nhiều sự quan tâm của nhiều công trình khoa học trên thế giới. Một số sản phẩm thử nghiệm của các công ty lớn về tìm kiếm ảnh như: Google Image Swirl, Like, Tineye, Tiltomo…đã ra đời. 2.1.1 Giới thiệu về ảnh số Ảnh số là tập hợp các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần với ảnh thật. Ảnh là một sự vật đại diện cho con người, sinh vật hay sự vật nào đó .v.v… ảnh động như ta thấy trên truyền hình thực chất là tập hợp của rất nhiều ảnh tĩnh liên tiếp. Khi một ảnh được số hóa thì nó trở thành ảnh số và ảnh số này lại là một tập hợp của rất nhiều phần tử ảnh được gọi là điểm ảnh hay là “pixel”. Mỗi điểm ảnh lại được biểu diễn dưới dạng một số hữu hạn các bit. Chúng ta có thể chia ảnh ra làm ba loại khác nhau : - Ảnh đen-trắng: mỗi điểm ảnh được biểu diễn bởi một bit. - Ảnh Gray-scale: mỗi điểm ảnh được biểu diễn bằng các mức chói khác nhau, thường thì ảnh này được biểu diễn bằng 256 mức chói hay là 8 bit cho mỗi điểm ảnh. - Ảnh màu : mỗi điểm ảnh chia ra thành tín hiệu chói và tín hiệu màu. Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 4 2.1.2 Đặc trưng màu sắc Tìm kiếm ảnh theo lược đồ màu là phương pháp phổ biến và được sử dụng nhiều nhất trong các hệ thống tìm kiếm ảnh theo nội dung. Đây là phương pháp đơn giản, tốc độ tìm kiếm tương đối nhanh tuy nhiên kết quả tìm kiếm có độ chính xác không cao. Đây có thể xem là bước lọc đầu tiên cho những bước tìm kiếm sau. Một số lược đồ màu được sử dụng như: lược đồ màu RGB, lược đồ màu HSV, lược đồ màu HSI, lược đồ HSI cải tiến. Trong đó, lược đồ màu RGB được sử dụng phổ biến nhất.  Lược đồ màu RGB: Đối với ảnh 256 màu, lược đồ màu của ảnh tương đương với lược đồ màu của ảnh xám. Đối với ảnh 24 bit màu, lược đồ miêu tả khả năng kết nối về cường độ của ba kênh màu R, G, B. Lược đồ màu này được tính bằng cách rời rạc hóa từng màu trong ảnh, sau đó đếm số điểm ảnh của mỗi màu. Khi mà số lượng màu là có hạng, để thuận tiện hơn, người ta thường chuyển đổi ba kênh màu thành một biến giá trị duy nhất. Một cách khác để tính lược đồ màu của ảnh RGB là ta phân ra làm 3 lượt đồ riêng biệt ,-, ,-, ,-.Khi đó, mỗi lược đồ được tính bằng cách đếm kênh màu tương ứng trong mỗi điểm ảnh. 2.1.2 Đặc trưng kết cấu Kết cấu là một đối tượng dùng để phân hoạch ảnh ra thành những vùng quan tâm để phân lớp những vùng đó. Kết cấu cung cấp thông tin về sự sắp xếp về mặt không gian của màu sắc và cường độ một ảnh. Kết cấu được đặc trưng bởi sự phân bổ không gian của những mức cường độ trong một khu vực láng giềng với nhau. Kết cấu gồm các kết cấu gốc hay nhiều kết cấu gộp lại đôi khi gọi là texel. Một số phương pháp dùng để trích xuất các đặc trưng kết cấu như: o Kim tự tháp "có thể lái được" (the steerable pyramid) o Biến đổi đường viền (the cotourlet transform) o Biến đổi Gabor Wavelet (The Gabor Wavelet transform) Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 5 o Biểu diễn ma trận đồng hiện (co-occurrence matrix) o Hệ thống bộ lọc định hướng phức tạp (The complex directional fillter bank) 2.1.3 Đặc trưng hình dạng Màu sắc và kết cấu là những thuộc tính có khái niệm toàn cục trong một ảnh. Trong khi đó, hình dạng không phải là một thuộc tính của ảnh. Nói tới hình dạng không phải là nhắc đến hình dạng của một ảnh. Thay vì vậy, hình dạng có khuynh hướng chỉ đến một khu vực đặc biệt trong ảnh, hay hình dạng chỉ là biên của một đối tượng nào đó trong ảnh. Trong tìm kiếm ảnh theo nội dung, hình dạng là một cấp cao hơn so với màu sắc và kết cấu. Nó đòi hỏi sự phân biệt giữa các vùng để tiến hành xử lý về độ đo của hình dạng. Các hệ thống tìm kiếm ảnh theo nội dung thường khai thác hai nhóm biểu diễn hình dạng sau :  Biểu diễn hình dạng theo đường biên (cotour-based descriptor) : Biểu diễn các đường biên bao bên ngoài.  Biểu diễn theo vùng (region-based descriptor): Biểu diễn một vùng toàn vẹn. 2.1.4 Đặc trưng cục bộ bất biến Người ta thường chia đặc trưng cụ bộ thành 2 loại là những điểm trích xuất được từ điểm "nhô ra" (salient points) của ảnh và đặc trưng SIFT được trích chọn từ các điểm hấp dẫn Haris (interest points). 2.2 Giới thiệu về hệ thống xử lý ảnh Hai nhiệm vụ cơ bản của quá trình xử lý ảnh là nâng cao chất lượng thông tin hình ảnh và xử lý số liệu cung cấp cho các quá trình khác trong đó có việc ứng dụng thị giác vào điều khiển. Xét các bước cần thiết trong xử lý ảnh. Quá trình bắt đầu từ việc thu nhận ảnh nguồn (từ các thiết bị thu nhận ảnh dạng số hoặc tương tự) gửi đến máy tính. Trước đây, ảnh thu qua Camera là các ảnh tương tự (loại Camera ống kiểu CCIR). Gần đây, với sự phát triển của công nghệ, ảnh màu hoặc đen trắng được lấy ra từ Camera, sau đó nó được chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý tiếp theo. (Máy ảnh số hiện nay là một thí dụ gần gũi). Mặt khác, ảnh cũng có thể tiếp nhận từ vệ tinh; có Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 6 thể quét từ ảnh chụp bằng máy quét ảnh. Hình vẽ dưới đây mô tả các bước cơ bản trong xử lý ảnh. Dữ liệu ảnh được lưu trữ ở định dạng phù hợp với quá trình xử lý. Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như là đặc trưng cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của đối tượng trong không gian và nó có thể xem như một hàm n biến P(c1, c2,..., cn ). Do đó, ảnh trong xử lý ảnh có thể xem như ảnh n chiều. Thu nhận ảnh Tiền xử lý ảnh Phân đoạn ảnh Biểu diễn và mô tả Nhận dạng và nội suy Cơ sở trí thức Hình 2. 1: Các bước cơ bản trong xử lý ảnh Sơ đồ này bao gồm các thành phần như phần được trình bày sau. 2.2.1 Phần thu nhận ảnh (Image Acquisition) Ảnh có thể nhận qua camera màu hoặc đen trắng. Thường ảnh nhận qua camera là ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng có loại camera đã số hoá (như loại CCD – Charge Coupled Device) là loại photodiot tạo cường độ sáng tại mỗi điểm ảnh. Camera thường dùng là loại quét dòng, ảnh tạo ra có dạng hai chiều. Chất lượng một ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh). 2.2.2 Tiền xử lý (Image Processing) Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào bộ tiền xử lý để nâng cao chất lượng. Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét hơn. 2.2.3 Phân đoạn (Segmentation) hay phân vùng ảnh Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh. Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên bì thư cho mục đích phân loại bưu phẩm, cần chia các câu, chữ về địa chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng. Đây là phần phức tạp khó Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 7 khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh. Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này. 2.2.4 Biểu diễn ảnh (Image Representation) Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lận cận. Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng (Feature Selection) gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong phạm vi ảnh nhận được. Ví dụ: trong nhận dạng ký tự trên phong bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự này với ký tự khác. 2.2.5 Nhận dạng và nội suy ảnh (Image Recognition and Interpretation) Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thường thu được bằng cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước. Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng. Ví dụ: một loạt chữ số và nét gạch ngang trên phong bì thư có thể được nội suy thành mã điện thoại. Có nhiều cách phân loai ảnh khác nhau về ảnh. Theo lý thuyết về nhận dạng, các mô hình toán học về ảnh được phân theo hai loại nhận dạng ảnh cơ bản: - Nhận dạng theo tham số. - Nhận dạng theo cấu trúc. Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng trong khoa học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người… 2.2.6 Cơ sở tri thức (Knowledge Base) Ảnh là một đối tượng khá phức tạp về đường nét, độ sáng tối, dung lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu. Trong nhiều khâu xử lý và phân tích ảnh ngoài việc đơn giản hóa các phương pháp toán học đảm bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo cách của con người. Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo các phương pháp trí tuệ con người. Vì vậy, ở đây các cơ sở tri thức được phát huy. Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 8 2.1 Xử lý nâng cao chất lượng ảnh Thu nhận ảnh không phải lúc nào cũng cho kết quả là những ảnh có chất lượng tốt. Hệ thống truy vấn ảnh phụ thuộc rất nhiều vào chất lượng ảnh đầu vào. Trong các ảnh có chất lượng thấp, các chi tiết không rõ ràng vì thế việc phát hiện và trích chọn đặc trưng ảnh gặp nhiều khó khăn, đồng thời có thể dẫn đến tạo ra nhiều điểm đặc trưng giả, bỏ qua các điểm đặc trưng thật, định sai vị trí điểm đặc trưng. Vì thế tiền xử lý là quá trình tăng cường chất lượng ảnh nhằm nâng cao hiệu quả của quá trình truy vấn. 2.3.1 Cải thiện ảnh sử dụng các toán tử điểm Nâng cao chất lượng là bước cần thiết trong xử lý ảnh nhằm hoàn thiện một số đặc tính của ảnh. Nâng cao chất lượng ảnh gồm hai công đoạn khác nhau: tăng cường ảnh và khôi phục ảnh. Tăng cường ảnh nhằm hoàn thiện các đặc tính của ảnh như : - Lọc nhiễu, hay làm trơn ảnh, - Tăng độ tương phản, điều chỉnh mức xám của ảnh, - Làm nổi biên ảnh. Các thuật toán triển khai việc nâng cao chất lượng ảnh hầu hết dựa trên các kỹ thuật trong miền điểm, không gian và tần số. Toán tử điểm là phép biến đổi đối với từng điểm ảnh đang xét, không liên quan đến các điểm lân cận khác, trong khi đó, toán tử không gian sử dụng các điểm lân cận để quy chiếu tới điểm ảnh đang xét. Một số phép biến đổi có tính toán phức tạp được chuyển sang miền tần số để thực hiện, kết quả cuối cùng được chuyển trở lại miền không gian nhờ các biến đổi ngược.  Khái niệm về toán tử điểm: Xử lý điểm ảnh thực chất là biến đổi giá trị một điểm ảnh dựa vào giá trị của chính nó mà không hề dựa vào các điểm ảnh khác. Có hai cách tiệm cận với phương pháp này. Cách thứ nhất dùng một hàm biến đổi thích hợp với mục đích hoặc yêu cầu đặt ra để biến đổi giá trị mức xám của điểm ảnh sang một giá trị mức xám khác. Cách thứ hai là dùng lược đồ mức xám (Gray Histogram). Về mặt toán học, toán tử điểm là một ánh xạ từ giá trị cường độ ánh sáng u(m, n) tại toạ độ (m, n) sang giá trị cường độ ánh sáng khác v(m, n) thông qua hàm f(.), tức là: v(m,n) = f(u(m,n)) 2.3.2 Tăng độ tương phản Chương 2: Tổng quan về truy vấn ảnh (2.1) Truy vấn ảnh dựa trên biến đổi wavelet 9 Trước tiên, cần làm rõ khái niệm độ tương phản. Ảnh số là tập hợp các điểm, mỗi điểm có giá trị độ sáng khác nhau. Ở đây, độ sáng để mắt người dễ cảm nhận ảnh song không phải là quyết định. Thực tế chỉ ra rằng hai đối tượng có cùng độ sáng nhưng đặt trên hai nền khác nhau sẽ cho cảm nhận sáng khác nhau. Như vậy, độ tương phản biểu diễn sự thay đổi độ sáng của đối tượng so với nền. Nói một cách khác, độ tương phản là độ nổi của điểm ảnh hay vùng ảnh so với nền. Như vậy, nếu ảnh có độ tương phản kém, ta có thể thay đổi tùy ý theo ý muốn. Ảnh với độ tương phản thấp có thể do điều kiện sáng không đủ hay không đều, hoặc do tính không tuyến tính hay biến động nhỏ của bộ cảm nhận ảnh. Để điều chỉnh lại độ tương phản của ảnh, cần điều chỉnh lại biên độ trên toàn dải hay trên dải có giới hạn bằng cách biến đổi tuyến tính biên độ đầu vào (dùng hàm biến đổi là hàm tuyến tính) hay phi tuyến (hàm mũ hay hàm lôgarit). Khi dùng hàm tuyến tính các độ dốc α, β, γ phải chọn lớn hơn một trong miền cần dãn. Các tham số a và b (các cận) có thể chọn khi xem xét lược đồ xám của ảnh. ( ) { ( ( ) ) (2.2) Các cấp độ γ, β , α xác định độ tương phản tương đối. L là số mức xám cực đại. Chú ý, nếu dãn độ tương phản bằng hàm tuyến tính ta có:  α = β = γ =1 ảnh kết quả trùng với ảnh gốc  α, β, γ > 1 dãn độ tương phản.  α, β, γ < 1 co độ tương phản 2.3.2.1 Tách nhiễu và phân ngưỡng Tách nhiễu là trường hợp đặc biệt của dãn độ tương phản khi hệ số góc α= γ=0. Tách nhiễu được ứng dụng có hiệu quả để giảm nhiễu khi biết tín hiệu vào trên khoảng [a, b]. Phân ngưỡng là trường hợp đặc biệt của tách nhiễu khi a=b=const. Trong trường hợp này, ảnh đầu vào là ảnh nhị phân (có 2 mức). Phân ngưỡng thường dùng trong kỹ thuật in ảnh 2 màu vì ảnh gần nhị phân không cho ảnh nhị phân khi quét ảnh do có nhiễu từ bộ cảm biến và biến đổi của nền ví dụ trường hợp lọc nhiễu của ảnh vân tay. Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 10 V V L L ϒ Va β β V α a b L a s b L s Hình 2.2 : Tách nhiễu Phân ngưỡng là trường hợp đặc biệt của tách nhiễu khi a=b=const. Trong trường hợp này, ảnh đầu vào là ảnh nhị phân (có 2 mức). Phân ngưỡng thường dùng trong kỹ thuật in ảnh 2 màu vì ảnh gần nhị phân không cho ảnh nhị phân khi quét ảnh do có nhiễu từ bộ cảm biến và biến đổi của nền ví dụ trường hợp lọc nhiễu của ảnh vân tay. Hình 2.3:Phân ngưỡng 2.3.2.2 Biến đổi âm bản Âm bản nhận được bằng phép biến đổi âm. Phép biến đổi rất có nhiều hữu ích trong các phim ảnh dùng trong các ảnh y học. f(u)=L-u (2.3) Hình 2.4: Biến đổi âm bản 2.3.2.3 Cắt theo mức Làm nổi bật một miền mức xám nhất định (để tăng cường một số đặc điểm nào đó). Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 11 Có 2 kỹ thuật thực hiện:  Hiển thị giá trị cao cho tất cả các mức xám trong vùng quan tâm, và ngược lại (không nền). ( ) { (2.4) Hình 2.5: Kỹ thuật cắt theo mức không có nền  Làm sáng vùng mức xám mong muốn, nhưng giữ nguyên các giá trị xám khác (có nền). ( ) { (2.5) Hình 2.6: Kỹ thuật cắt theo mức có nền 2.3.2.4 Trích chọn bit Nhằm làm nổi bật các thành phần trên toàn ảnh bởi việc sử dụng các bít đặc biệt. Mỗi điểm ảnh thường được mã hóa trên B bit. Nếu B=8 ta có ảnh 28=256 mức xám (ảnh nhị phân ứng với B=1). Trong các bit mã hóa này, người ta chia làm 2 loại: bit bậc thấp và bit bậc cao. Với bit bậc cao, độ bảo toàn thông tin cao hơn so với bit bậc thấp. Mỗi mức xám của 1 điểm ảnh được mã hóa trên B bít, và được biểu diễn: (2.6) Để trích chọn bit có nghĩa nhất: bit thứ n và hiển thị chúng, dùng biến đổi sau: ( ) 2.3.2.5 Nén dải độ sáng. Chương 2: Tổng quan về truy vấn ảnh { (2.7) Truy vấn ảnh dựa trên biến đổi wavelet 12 Đôi khi do dải động của ảnh lớn, việc quan sát ảnh không thuận tiện. Cần phải thu nhỏ dải độ sáng lại mà ta gọi là nén giải độ sáng. Người ta dùng phép biến đổi logarit sau: v(m,n) = c log 10 (δ + u(m,n)) (2.8) Với c là hằng số tỉ lệ, δ được coi là nhỏ so với u(m, n). 2.3.2.6 Mô hình hóa và biến đổi lược đồ xám Về ý nghĩa của lược đồ xám và một số phép biến đổi lược đồ đã được trình bày trong tài liệu này. Xét đến một số biến đổi hay dùng sau: u f (u )   Pu ( xi ) (2.9) x1 Pu ( xi )  với h( xi ) L 1  h( x ) i 0 (2.10) i trong đó, h(x i ) là lược đồ mức xám xi. Ngoài các biến đổi trên, người ta còn dùng một số biến đổi khác. Trong các biến đổi này, mức xám đầu vào u, trước tiên được biến đổi phi tuyến bởi một trong các hàm sau: u f (u )  P ( x1 ) P ( x1 ) x1 0 L 1 x1 0 1/ n u 1/ n u với n=2,3,… f (u )  log(1  u ); f (u)  u1/ n ; u0 u  0; n  2,3,.... (2.11) (2.12) (2.13) Sau các biến đổi đó, đầu ra được lượng hoá đều. Ba phép biến đổi này được dùng trong lượng hóa ảnh. Nói chung, các biến đổi lược đồ nhằm biến đổi lược đồ từ một đường không thuần nhất sang đồng nhất để tiện cho phân tích ảnh. 2.3.3 Cải thiện ảnh dùng các toán tử không gian Các toán tử không gian dùng trong kỹ thuật tăng cường ảnh được phân nhóm theo công dụng: làm trơn nhiễu, nổi biên. Để làm trơn nhiễu hay tách nhiễu, người ta sử Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 13 dụng các bộ lọc tuyến tính (lọc trung bình, thông thấp) hay lọc phi tuyến (trung vị, giả trung vị, lọc đồng hình). 2.3.3.1 Làm trơn nhiễu bằng lọc tuyến tính Do có nhiều loại nhiễu can thiệp vào quá trình xử lý ảnh nên cần có nhiều bộ lọc thích hợp. Với nhiễu cộng và nhiễu nhân ta dùng các bộ lọc thông thấp, trung bình và lọc đồng hình (Homomorphie); với nhiễu xung ta dùng lọc trung vị, giả trung vị, lọc ngoài (Outlier).  Lọc trung bình không gian Với lọc trung bình, mỗi điểm ảnh được thay thế bằng trung bình trọng số của các điểm lân cận và được định nghĩa như sau: v(m, n)    a(k , l ) y (m  k , n  l ) (2.14) ( k ,l )W Nếu trong kỹ thuật lọc trên, ta dùng các trọng số như nhau, phương trình trên sẽ trở thành: v(m, n)  1 y (m  k , n  l )  (k N ,l )W (2.15) Với :  y(m, n): ảnh đầu vào,  v(m, n): ảnh đầu ra,  (k, l) : là cửa sổ lọc. Với ak,l và là là số điểm ảnh trong cửa sổ lọc W. Một bộ lọc trung bình không gian khác cũng hay được sử dụng. Phương trình của bộ lọc đó có dạng: 1 1  Y [m, n]   X [m, n]  { X [m, n]  X [m  1, n]  X [m  1, n]  X [m, n  1]  X [m, n  1]} 2 4  (2.16) Ở đây, nhân chập H có kích thước 2x2 và mỗi điểm ảnh kết quả có giá trị bằng trung bình cộng của nó với trung bình cộng của 4 lân cận gần nhất. Lọc trung bình trọng số là một trường hợp riêng của lọc thông thấp.  Lọc thông thấp Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 14 Lọc thông thấp thường được sử dụng để làm trơn nhiễu.Về nguyên lý của bộ lọc thông thấp giống như đã trình bày trên. Trong kỹ thuật này người ta hay dùng một số nhân chập có dạng sau: 0 1 0  1 H t1  1 2 1  8 0 1 0  1 b 1  Hb  b b2 2  (b  2) 1 b (2.17) 1 b  1  (2.18) Ta dễ dàng nhận thấy khi b =1, Hb chính là nhân chập Ht1 (lọc trung bình). Để hiểu rõ hơn bản chất khử nhiễu cộng của các bộ lọc này, ta viết lại phương trình thu nhận ảnh dưới dạng: X qs [m, n]  X goc [m, n]  [m, n] (2.19) Trong đó η[m, n] là nhiễu cộng có phương sai σ2n . Như vậy, theo cách tính của lọc trung bình ta có: Y [m, n]  Hay 1 Y [m, n]  Nw 1 Nw  X k ,lW  X k ,lW qs qs (m  k , n  l )  [m, n] (m  k , n  l )  [m, n]   n2 Nw (2.20) (2.21) 2.3.3.2 Làm trơn nhiễu bằng lọc phi tuyến Các bộ lọc phi tuyến cũng hay được dùng trong kỹ thuật tăng cường ảnh. Trong kỹ thuật này, người ta dùng bộ lọc trung vị, giả trung vị, lọc ngoài. Với lọc trung vị, điểm ảnh đầu vào sẽ được thay thế bởi trung vị các điểm ảnh còn lọc giả trung vị sẽ dùng trung bình cộng của 2 giá trị “trung vị” (trung bình cộng của max và min).  Lọc trung vị Trung vị được viết với công thức: ( ) ( ( )) * + (2.22) Kỹ thuật này đòi hỏi giá trị các điểm ảnh trong cửa sổ phải xếp theo thứ tự tăng hay giảm dần so với giá trị trung vị. Kích thước cửa sổ thường được chọn sao cho số điểm ảnh trong cửa sổ là lẻ. Các cửa sổ hay dùng là cửa sổ có kích thước 3x3, hay 5x5 hay 7x7. Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 15 Tính chất của lọc trung vị: - Lọc trung vị là loại lọc phi tuyến. Điều này dễ nhận thấy từ: Trungvi(x(m)+y(m)) ≠ Trungvi(x(m)) + Trungvi(y(m)). - Có lợi cho việc loại bỏ các điểm ảnh hay các hàng mà vẫn bảo toàn độ phân giải. - Hiệu quả giảm khi số điểm trong cửa sổ lớn hay bằng một nửa số điểm trong cửa sổ. Điều này dễ giải thích vì trung vị là (Nw +1)/2 giá trị lớn nhất nếu Nw lẻ. Lọc trung vị cho trường hợp 2 chiều coi như lọc trung vị tách được theo từng chiều.  Lọc ngoài (Outlier Filter) Giả thiết có ngưỡng nào đó cho các mức nhiễu (có thể dựa vào lược đồ xám). Tiến hành so sánh giá trị độ xám của một điểm ảnh với trung bình số học 8 lân cận của nó. Nếu sai lệch lớn hơn ngưỡng, điểm ảnh này được coi như nhiễu. Trong trường hợp đó, thay thế giá trị của điểm ảnh bằng giá trị trung bình 8 lân cận vừa tính được. Bộ lọc ngoài có thể diễn tả bằng công thức sau: ( ) { ( ) ( ) | ( ) ( )| (2.23) với α(w) là trung bình cộng các điểm trong lân cận w; δ là ngưỡng ngoài. Các cửa sổ tính toán thường chọn là 3x3. Tuy nhiên, cửa sổ có thể mở rộng đến 5x5 hay 7x7 để đảm bảo tính tương quan giữa các điểm ảnh. Vấn đề quan trọng là xác định ngưỡng để loại nhiễu mà vẫn không làm mất thông tin của ảnh. 2.3.3.3 Mặt nạ gờ sai phân và làm nhẵn Mặt nạ gờ sai phân dùng khá phổ biến trong công nghệ in ảnh để làm đẹp ảnh. Với kỹ thuật này, tín hiệu đầu ra thu được bằng tín hiệu ra của bộ lọc gradient hay lọc dải cao bổ sung thêm đầu vào: v(m, n)  u(m, n)   g (m, n) (2.24) với λ>0, g(m, n) là gradient tại điểm (m, n). Hàm gradient dùng là hàm Laplace. ( ) ( ) * ( Đây chính là mặt nạ chữ thập. Chương 2: Tổng quan về truy vấn ảnh ) ( ) ( )+ (2.25) Truy vấn ảnh dựa trên biến đổi wavelet 16 Hình 2. 7: Các toán tử gờ sai phân 2.3.3.4 Lọc thông thấp, thông cao và lọc dải thông Toán tử trung bình không gian là lọc thông thấp. Nếu hLP (m, n) biểu diễn bộ lọc thông thấp FIR (Finite Impulse Response) thì bộ lọc thông cao hHP (m, n) có thể được định nghĩa: hHP (m, n) = δ(m, n) - hLP (m, n) (2.26) Như vậy, bộ lọc thông cao có thể cài đặt một cách đơn giản như trên hình 2.9. Bộ lọc dải thông có thể định nghĩa như sau: HHP (m, n)= hL1 (m, n) – hL2 (m, n) (2.27) với hL1 và hL2 là các bộ lọc thông thấp. Hình 2.8: Sơ đồ bộ lọc thông cao. Bộ lọc thông thấp thường dùng làm trơn nhiễu và nội suy ảnh. Bộ lọc thông cao dùng nhiều trong trích chọn biên và làm trơn ảnh, còn bộ lọc dải thông có hiệu quả làm nổi cạnh. Về biên sẽ được trình bày kỹ trong các phần sau. Tuy nhiên, dễ nhận thấy, biên là điểm có độ biến thiên nhanh về giá trị mức xám theo quan điểm về tần số tín hiệu. Như vậy, các điểm biên ứng với các thành phần tần số cao. Từ đó, có thể dùng Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 17 bộ lọc thông cao để cải thiện nhiễu, nghĩa là có thể lọc các thành phần tần số thấp và giữ lại các thành phần tần số cao. Vì thế, lọc thông cao thường được dùng làm trơn biên trước khi tiến thành các thao tác với biên ảnh. Dưới đây là một số mặt nạ dùng trong lọc thông cao:   1  1  1    1 9  1     1  1  1    0 1 0     1 5  1    0 1 0     1 2 1     2 5  2    1 2 1    Hình 2.9: Một số nhân chập trong lọc thông cao. Các nhân chập thông cao có đặc tính chung là tổng các hệ số của bộ lọc bằng 1. Nguyên nhân chính là ngăn cản sự tăng quá giới hạn của các giá trị mức xám (các giá trị điểm ảnh vẫn giữ được giá trị của nó một cách gần đúng không thay đổi quá nhiều với giá trị thực). 2.3.3.5 Khuếch đại và nội suy ảnh Có nhiều ứng dụng cần thiết phải phóng đại một vùng của ảnh. Có nghĩa là lấy một vùng của ảnh đã cho và cho hiện lên như một ảnh lớn. Có 2 phương pháp được dùng là lặp (Replication) và nội suy tuyến tính (Linear Interpolation).  Phương pháp lặp Người ta lấy một vùng của ảnh kích thước MxN và quét theo hàng. Mỗi điểm ảnh nằm trên đường quét sẽ được lặp lại 1 lần và hàng quét cũng được lặp lại 1 lần nữa. Như vậy, ta thu được ảnh với kích thước 2Nx2N. Điều này tương đương với việc chèn thêm một hàng 0 và 1 cột 0 rồi chập với mạt nạ H. Mặt nạ H: 1 1  H   1 1 Kết quả thu được : v(m,n) = u(k,l) với k=[m/2] và l=[n/2] Chương 2: Tổng quan về truy vấn ảnh (2.28) Truy vấn ảnh dựa trên biến đổi wavelet  1 3 2    4 5 6 18 Chèn hàng 0, cột 0 Chập H Hình 2.10: Khuyếch đại bởi lặp 2x2.  Phương pháp nội suy tuyến tính Giả sử có một ma trận điểm ảnh. Theo phương pháp nội suy tuyến tính, trước tiên, hàng được đặt vào giữa các điểm ảnh theo hàng. Tiếp sau, mỗi điểm ảnh dọc theo cột được nội suy theo đường thẳng. Ví dụ, với mức độ khuếch đại 2x2, nội suy tuyến tính theo hàng sẽ được tính theo công thức: v 1 (m,n) = u(m,n) (2.29) v 1 (m,2n+1) = u(m,n) + u(m,n+1) (2.30) Và nội suy tuyến tính của kết quả trên theo cột: v 1 (2m,n) = v 1 (m,n) (2.31) v 1 (2m+1,n) = v 1 (m,n) + v 1 (m+1,n) (2.32) Với 0≤m≤M-1, 0≤n≤N-1 Nếu dùng mặt nạ dạng: 1 / 4 1 / 4 1 / 4    H  1 / 2 1 1 / 2  1 / 4 1 / 2 1 / 4    (2.33) Nội suy với bậc cao hơn cũng có thể áp dụng cách trên. Thí dụ, nội suy với bậc p (p nguyên), ta chèn p hàng với các số 0, rồi p cột với các số 0. Cuối cùng, tiến hành nhân chập p lần ảnh với mặt nạ H ở trên. 2.3.3.6 Một số kỹ thuật cải thiện ảnh nhị phân Với ảnh nhị phân, mức xám chỉ có 2 giá trị là 0 hay 1. Do vậy, ta xét một phần tử ảnh như một phần tử logic và có thể áp dụng các toán tử hình học dựa trên khái niệm biến đổi hình học của một ảnh bởi một phần tử cấu trúc. Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 19 Phần tử cấu trúc là một mặt nạ dạng bất kỳ mà các phần tử của nó tạo nên một mô-típ. Người ta tiến hành rê mặt nạ đi khắp ảnh và tính giá trị điểm ảnh bởi các điểm lân cận với mô-típ của mặt nạ theo cách lấy hội hay lấy tuyển. Dựa vào nguyên tắc trên, người ta sử dụng 2 kỹ thuật: dãn ảnh (Dilatation) và co ảnh (Erosion).  Dãn ảnh Dãn ảnh nhằm loại bỏ điểm đen bị vây bởi các điểm trắng. Trong kỹ thuật này, một cửa sổ (N+1)x(N+1) được rê đi khắp ảnh và thực hiện đối sánh một pexel của ảnh với (N+1)2-1 điểm lân cận (không tính điểm ở tâm). Phép đối sánh ở đây thực hiện bởi phép tuyển logic.  Co ảnh Co ảnh là thao tác đối ngẫu của dãn ảnh nhằm loại bỏ điểm trắng bị vây bởi các điểm đen. Trong kỹ thuật này, một cửa sổ (N+1)2 được rê đi khắp ảnh và thực hiện so sánh một pixel của ảnh với (N+1)2-1 điểm lân cận. Việc so sánh ở đây thực hiện bởi phép hội logic. Áp dụng: người ta thường vận dụng kỹ thuật này cho các ảnh nhị phân như ảnh vân tay, chữ viết. Để không ảnh hưởng đến kích thước của đối tượng trong ảnh, người ta tiến hành n lần dãn và n lần co. 2.2 Truy vấn ảnh Xử lý ảnh là lĩnh vực nghiên cứu đang phát triển không ngừng bởi tính trực quan sinh động cũng như khả năng áp dụng vào thực tế lớn. Trong xử lý ảnh, truy vấn ảnh có thể nói là lĩnh vực đòi hỏi sự nghiên cứu tổng hợp: nghiên cứu xử lý ảnh để rút trích các đặc trưng, áp dụng các tính toán toán học cao cấp để xác định mức độ tương đồng giữa 2 ảnh và sự tổ chức sắp xếp chỉ mục cho cơ sở dữ liệu ảnh. Chính vì thế truy vấn ảnh là lĩnh vực nghiên cứu đang rất được quan tâm. Các hệ thống truy vấn ảnh hiện nay rất đa dạng nhưng nhìn chung thì chúng được phân biệt bởi: các đặc trưng mà hệ thống rút trích từ ảnh để làm cơ sở truy vấn và phương pháp phân đoạn ảnh được sử dụng trong hệ thống truy vấn, cách thức tổ chức chỉ mục cho CSDL ảnh, độ đo sự tương đồng giữa hai ảnh. Mô hình ở Hình 1.1 đơn giản, dễ cài đặt nhưng đưa vào ứng dụng thực tế sẽ chậm vì nhược điểm: khi có một yêu cầu truy vấn ảnh hệ thống không những phải rút trích Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 20 các đặc trưng của ảnh truy vấn mà còn phải rút trích các đặc trưng của ảnh trong tập ảnh của CSDL ảnh, sau đó tính toán mức độ tương đồng giữa chúng. Mô hình này thích hợp để cài đặt thử nghiệm và ghi nhận kết quả trong quá trình thực nghiệm để lựa chọn các đặc trưng cần rút trích cũng như độ đo sự tương đồng hiệu quả nhất. Các hệ thống truy vấn ảnh thường tuân theo một trong hai mô hình sau: CSDL ảnh Xuất ra Tập ảnh kết quả Rút trích đặc trưng và đo sự tương đồng Ảnh truy vấn Yêu cầu truy vấn Hình2.11 Mô hình trích đặc trưng thời gian thực Mô hình ở hình 1.2 xây dựng nên CSDL các đặc trưng tương ứng với CSDL ảnh nên khi phát sinh một yêu cầu truy vấn, hệ thống chỉ rút trích các đặc trưng của ảnh truy vấn và so sánh với các đặc trưng trong CSDL đặc trưng nên khả năng thực thi nhanh hơn nhưng có sự phức tạp hơn trong cài đặt so với mô hình trên. Mô hình này thích hợp để xây dựng ứng dụng sau khi đã thử nghiệm và lựa chọn độ đo sự tương đồng tối ưu, các đặc trưng cần thiết phải rút trích và phương pháp truy vấn tối ưu cho bài toán cần giải quyết. Mô hình này cần một cơ chế để đảm bảo giữa CSDL các đặc trưng và CSDL ảnh phải khớp với nhau sau một thời gian sử dụng, tránh trường hợp người dùng vô tình hay cố ý thay đổi CSDL đặc trưng không còn tương ứng với CSDL ảnh. Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 21 Trích đặc trưng CSDL Đặc trưng của ảnh CSDL ảnh Đo sự tương đồng Ảnh truy vấn Trích chọn đặc trưng Đặc trưng của ảnh truy vấn Tập kết quả ảnh Hình 2. 12 Mô hình tách riêng cơ sở dữ liệu đặc trưng Tóm lại, để xây dựng hệ thống truy vấn ảnh, cần giải quyết 3 vấn đề chính sau: • Rút trích các đặc trưng trên ảnh (Feature Exaction) • Xác định độ đo sự tương đồng giữa hai ảnh (Similarity Measure) • Lập chỉ mục cho CSDL ảnh (Image Indexing) 2.3 Các kỹ thuật truy vấn ảnh 2.5.1 Truy vấn theo lời chú thích Các từ khóa hay các lời chú thích được đưa vào để mô tả thông tin trong ảnh và các từ khóa hay lời chú thích cũng được dùng làm chỉ mục. Việc truy vấn ảnh đơn giản chỉ là sự so khớp các từ khóa đó. Cách làm này chỉ thích hợp khi các ảnh trong CSDL ảnh có nội dung không quá phức tạp. Tuy nhiên, hạn chế của cách làm này là khi CSDL ảnh lớn thì việc bổ sung từ khóa hay lời chú thích sẽ tốn nhiều chi phí tính toán và khá khó khăn. Hơn nữa, có vấn đề sẽ không thể miêu tả bằng lời chú thích mà phải thể hiện bằng thị giác của ảnh. Ngoài ra, các hệ thống truy vấn ảnh dựa trên từ khóa hay Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 22 lời chú thích sẽ có sự không đồng nhất do những người sử dụng khác nhau sẽ cho ra các từ khóa khác nhau. Bên cạnh việc truy tìm tài liệu văn bản, các bộ máy tìm kiếm của www.search.yahoo.com hay www.google.com đều hỗ trợ truy vấn ảnh dựa theo các từ khóa. Đây chính là các hệ thống truy vấn ảnh dựa trên từ khóa hay lời chú thích. 2.5.2 Truy vấn ảnh theo ngữ nghĩa Truy vấn ảnh theo ngữ nghĩa có 2 cấp độ: ngữ nghĩa cấp thấp dựa trên việc rút trích một số đặc tính logic như “tìm tất cả các hình có tháp Eifel”; còn nghữ nghĩa cấp cao thì dựa trên các thuộc tính trừu tượng như Truy vấn ảnh dựa theo ngữ nghĩa có hai cấp độ: ngữ nghĩa cấp thấp dựa “tìm các hình có người châu Á đang khiêu vũ”. Phần lớn các kỹ thuật truy vấn ảnh trong CBIR hiện nay đều dựa trên các đặc trưng cơ bản ở mức 1. Đã có một số công trình truy vấn ảnh dựa theo ngữ nghĩa cấp thấp như phương pháp của Ranta và Grimson dùng các mối liên hệ về màu sắc rút ra từ sự phân giải cấp thấp của ảnh để xây dựng nên các mẫu do người dùng định nghĩa. Còn các công trình nghiên cứu truy vấn ảnh dựa trên các đặc trưng ngữ nghĩa cấp cao rất ít. Hiện tại chỉ có một số công trình đang nghiên cứu để nhận biết ảnh hoàng hôn và bình minh hay là ảnh đó thể hiện thời tiết lạnh hay ấm áp… Hệ thống truy vấn ảnh dựa vào ngữ nghĩa thường gặp phải vấn đề về rút trích và nhận dạng đặc trưng ngữ nghĩa trong ảnh và độ tương đồng tổng thể giữa các đặc trưng ngữ nghĩa với nhau. Ví dụ ảnh 1 có bóng đèn tròn màu đỏ, ảnh 2 có bóng đèn tròn màu cam, ảnh ba có bóng đèn elíp màu đỏ. Với trường hợp này việc rút trích chính xác các ngữ nghĩa bóng đèn hình gì và màu gì trong mỗi ảnh là không dễ. Hơn nữa, ảnh 1 sẽ giống ảnh 2 hay ảnh 1giống ảnh 3 cũng là một vấn đề hệ thống cần xử lý. Vì ảnh 1 khác về màu và giống nhau về hình dạng đèn với ảnh 2 nhưng ảnh 1 lại khác về hình dạng đèn và giống về màu với ảnh 3. 2.5.3 Truy vấn ảnh theo đối tượng (OBIR) Hệ thống truy vấn ảnh dựa vào đối tượng Object Based Image Retrieval (OBIR) đang được nghiên cứu. Rõ ràng truy vấn ảnh theo đối tượng sẽ rất gần với nhu cầu thường thấy của người sử dụng và giống theo nhận thức của con người. Ví dụ tìm tất cả các vị trí đỗ xe (có biểu tượng Parking)… Tuy vậy chi phí cho việc dò tìm không dễ Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 23 bởi lẽ định nghĩa thế nào là đối tượng trong ảnh cho đúng với ý nghĩa của đối tượng trong thực tế. Vì thế chỉ riêng việc nhận diện ra đối tượng hay nhận dạng mặt người cũng là một đề tài nghiên cứu. Đối với phương pháp này thì yếu tố quyết định là làm sao rút trích ra chính xác cùng một đối tượng trong các ảnh khác nhau (các hoàn cảnh khác nhau của cùng 1 đối tượng). 2.5.4 Truy vấn ảnh dựa trên nội dung (CBIR) Hệ thống truy vấn ảnh dựa trên nội dung (Content-Based Image Retrieval viết tắt là CBIR) là hệ thống truy vấn ảnh dựa trên việc tự động rút trích một số thông tin đặc trưng trong ảnh như: màu sắc, kết cấu, vị trí, hình dạng. Phương pháp này đã được nhiều người nghiên cứu với rất nhiều cách tiếp cận khác nhau; do đó rất nhiều hệ thống truy vấn ảnh dựa trên nội dung đã ra đời như: QBIC, VisualSeek, WebSeek và BlobWorld. Mỗi hệ thống sẽ truy vấn dựa trên một số đặc trưng nhất định nào đó và có nhiều tùy chọn khác nhau để người dùng có thể truy vấn ảnh theo màu sắc, kết cấu, hình dạng hay thậm chí là theo từ khóa. Hệ thống Query Based Image Content (QBIC) là hệ thống truy vấn dựa trên sự phác thảo do IBM phát triển. Người sử dụng xây dựng một phác thảo, vẽ ra và lựa chọn màu cùng kết cấu dựa theo ảnh truy vấn. Các đặc trưng màu sử dụng là giá trị màu trung bình trong không gian RGB. Các đặc trưng về hình dạng sử dụng là dạng tròn, độ lệch tâm và hướng của trục chính. Hệ thống chỉ mục xây dựng dựa vào cấu trúc cây R* Tree. Độ đo tương đồng về màu trung bình là: ( ) ( )( ) (2.34) Còn về hình dạng thì sử dụng độ đo Eu -clide có trọng số. Hệ thống VisualSeek là hệ thống truy vấn dựa vào các đặc trưng trực quan của ảnh, sử dụng không gian 166 màu HSV( H: (Hue) Vùng màu; S: (Saturation) Độ bão hòa màu; B (hay V): (Bright hay Value) Độ sáng . Sự tương đồng giữa hai ảnh được xác định theo sự tương đồng của các vùng -3x3- trong ảnh. Để tiến hành truy vấn, trước tiên người dùng phải phác họa một số vùng trên ảnh. Sau đó chọn màu cho mỗi vùng, đồng thời xác định vị trí, độ lớn của vùng. Hệ thống sẽ sử dụng hàm so khớp sau để tìm các hình giống với ảnh truy vấn : ( ) ( Chương 2: Tổng quan về truy vấn ảnh ) ( ). (2.35) Truy vấn ảnh dựa trên biến đổi wavelet Trong đó 24 là 2 tập màu của 2 ảnh và A(a[i,j]) là ma trận độ tương đồng của các màu. Hệ thống WebSeek là hệ thống truy vấn ảnh trên web theo danh mục ảnh cho trước và sử dụng phép biến đổi wavelet: sưu tập ảnh sau đó phân lớp ảnh, tạo chỉ mục và cuối cùng là tìm kiếm và hiển thị. Người dùng phải chọn chủ đề trong danh mục để tìm kiếm trong chủ đề tương ứng ảnh giống nhất. Hệ thống sẽ sử dụng hàm so khớp sau: ( ) (( ) ( ) (2.36) Hệ thống BlobWorld là hệ thống truy tìm theo ảnh mẫu dựa trên việc rút trích các dữ liệu điểm nguyên thủy cùng các đặc tính giống nhau về màu sắc, kết cấu và hình dạng. Màu sắc sẽ được biểu diễn dưới dạng histogram 218 màu, kết cấu đặc trưng bởi sự tương phản và tính không thẳng đứng; còn các đặc trưng hình dạng tính theo vùng với trọng tâm và hướng. Ảnh truy vấn theo sự phác thảo của các vùng riêng biệt. Hàm đo sự tương đồng là: ( Với A=a( ) ( ) ( ) (2.37) ) là ma trận đối xứng thể hiện sự tương đồng màu giữa i và j. 2.5.5 Các vấn đề thường gặp phải Hệ thống truy vấn ảnh dựa vào ngữ nghĩa thường gặp phải vấn đề về rút trích và nhận dạng đặc trưng ngữ nghĩa trong ảnh và độ tương đồng tổng thể giữa các đặc trưng ngữ nghĩa với nhau. Ví dụ ảnh 1 có bóng đèn tròn màu đỏ, ảnh 2 có bóng đèn tròn màu cam, ảnh ba có bóng đèn elíp màu đỏ. Với trường hợp này việc rút trích chính xác các ngữ nghĩa bóng đèn hình gì và màu gì trong mỗi ảnh là không dễ. Hơn nữa, ảnh 1 sẽ giống ảnh 2 hay ảnh 1 giống ảnh 3 cũng là một vấn đề hệ thống cần xử lý. Vì ảnh 1 khác về màu và giống nhau về hình dạng đèn với ảnh 2 nhưng ảnh 1 lại khác về hình dạng đèn và giống về màu với ảnh 3. Phương pháp truy vấn ảnh dựa trên các đặc trưng cơ bản đã chứng minh được phần nào hiệu quả của nó qua các hệ thống CBIR mức 1 đang được triển khai QBIC, VisualSeek, BlobWorld,… với hiệu quả truy vấn tương đối. Nhưng mỗi một cách lựa chọ n đặc trưng cơ bản nào dùng để truy vấn thường cũng chỉ tối ưu trong một số loại ảnh này mà không tốt trong loại ảnh khácNgoài ra, các hệ thống đánh chỉ mục cho dữ liệu văn bản thông thường không thể áp dụng cho việc xây dựng chỉ mục cho Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 25 CSDL ảnh. Áp dụng hệ thống chỉ mục cho dữ liệu nhiều chiều R*-tree, TV-tree và SS+tree vào đánh chỉ mục cho CSDL ảnh cũng có những hạn chế nhất định về chi phí tính toán. Vì vậy để triển khai một hệ thống truy vấn ảnh hoàn thiện trong thực tế cần xây dựng hệ thống chỉ mục nhiều thích hợp. 2.5.6 Các cách tiếp cận hiện tại và giải pháp được chọn Cùng với sự phát triển mạnh mẽ phép biến đổi wavelet, cách tiếp cận truy vấn ảnh dựa trên phép biến đổi này cũng phát triển theo. Một số công trình nghiên cứu theo hướng này đã ra đời và vẫn đang tiếp tục phát triển để cho ra những kết quả truy vấn chính xác hơn. Song sử dụng phép biến đổi wavelet, cũng như Fourier hay DCT trước đây đòi hỏi chi phí tính toán cao. Cho nên để giải quyết vấn đề này, người ta thường chọn phép biến đổi wavelet Haar để giảm bớt chi phí tính toán trong các hệ thống truy vấn ảnh. Một hướng tiếp cận khác khá mới mẻ và đang được quan tâm là kết hợp các đặc trưng cơ bản để truy vấn ví dụ như phương pháp kết hợp màu sắc và kết cấu. Nghiên cứu trên cho thấy việc kết hợp hai hay nhiều đặc trưng để truy vấn là phương pháp hoàn toàn khả thi và mang lại hiệu quả cao hơn so với các phương pháp thông thường khác. Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 26 Chương 3 KỸ THUẬT TRUY VẤN ẢNH DỰA TRÊN WAVELET 3.1 Biến đổi Wavelet 3.1.1 Biến đổi Wavelet liên tục( CWT) 3.1.1.1 Phép biến đổi Wavelet thuận Gọi f(x) là tín hiệu 1-D, phép biến đổi Wavelet liên tục của f(x) sử dụng hàm được biểu diễn bởi: Wavelet W(s,b)= √ ∫ ( ) . / (3.1) Trong đó: W(s,b) là hệ số biến đổi Wavelet liên tục của f(x), với s là tỉ lệ(nghịch đảo của tần số) và b là dịch chuyển đặc trưng vị trí. là liên hiệp phức của Wavelet được gọi là hàm Wavelet phân tích. Phương trình (2.1) cho thấy phép biến đổi Wavelet là một ánh xạ chuyển từ hàm 1 biến f(x) thành hàm W(s,b) phụ thuộc hai biến số là biến tỉ lệ s và biến dịch chuyển b. Hệ số chuẩn hóa 1/√ trong (3.1) đảm bảo cho sự chuẩn hóa sóng Wavelet sao cho || ( ) ||= || ||. 3.1.1.2 Biểu diễn các hệ số Wavelet Có hai cách biểu diễn các hệ số wavelet. Thứ nhất, biểu diễn các hệ số wavelet W(s, b) trong hệ tọa độ ba trục vuông góc( x, y, z) với trục x biểu diễn tham số dịch chuyển( vị trí) b, trục y biểu diễn tham số tỉ lệ( là nghịch đảo tần số) s, và trục thẳng đứng z biểu diễn hệ số wavelet W. Thứ hai, biểu diễn các hệ số W(s, b) trong mặt phẳng không gian- tỉ lệ (x,s) ở dạng các đường đẳng trị hay dạng ảnh,cách biểu diển này thông dụng trong xử lý ảnh. 3.1.1.3 Phép biến đổi Wavelet nghịch Nếu phép biến đổi Wavelet thuận có dạng (2.1) thì phép biến đổi Wavelet nghịch có dạng: Chương 3: Kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet ( ) ∫ 27 ( ∫ ) ( ) (3.2) Trong đó: là hằng số phụ thuộc vào hàm Wavelet được sử dụng Công thức (3.2) cho phép khôi phục lại tín hiệu nguyên thủy từ các hệ số biến đổi Wavelet bằng phép tính tích phân theo toàn bộ các tham số tỉ lệ s và dịch chuyển b. 3.1.1.4 Phép biến đổi Wavelet liên tục hai chiều và nhiều chiều Phép biến đổi 2-D được cho bởi phương trình: ( ) ( ) ∫ ( ) (3.3) Trong đó: R( x1,x2) là vector tọa độ gồm hai thành phần x1 và x2 thỏa mãn hệ thức: B( b1,b2) là vector vị trí có hai thành phần thỏa hệ thức: Hệ số 1/s để chuẩn hóa năng lượng của sóng Wavelet 2-D, được suy ra từ trường hợp 1-D. Tín hiệu f(R) là hàm hai biến không gian theo x1 và x2. Phép biến đổi Wavelet nghịch 2-D được viết dưới dạng: ( ) ∫ ( ∫ ) . / (3.4) Phép biến đổi Wavelet n chiều(n>2) có thể xây dựng đơn giản bằng cách mở rộng số phần tử trong các vector R và B đến n giá trị theo cách biểu diễn: R(x1,x2,…,xn) và B(b1,b2,…,bn) Hàm Wavelet ( ( ) (R) ) (R) = (3.5) trong không gian n-D được viết ở dạng: ( ) ( ) (3.6) Nên phép biến đổi Wavelet n-D được viết ở dạng: ( ) ( ) ( ) ∫ ( ) (3.7) Và phép biến đổi Wavelet nghịch n-D có dạng: ( ) ∫ ∫ Chương 3: Kỹ thuật truy vấn ảnh dựa trên Wavelet ( ) . / (3.8) Truy vấn ảnh dựa trên biến đổi wavelet 28 3.1.1.5 Rời rạc hóa phép viến đổi Wavelet liên tục Để tính các hệ số của phép biến đổi Wavelet liên tục trên máy tính, hai tham số tỉ lệ và tịnh tiến không thể nhận các giá trị liên tục mà nó phải là các giá trị rời rạc. 3.1.1.6 Hiệu ứng biên Khi lấy biến đổi Wavelet của tín hiệu hữu hạn và rời rạc, do ảnh hưởng bởi tích trong của hàm Wavelet với các giá trị lân cận trên các biên của tín hiệu nên giá trị của hệ số Wavelet bị biến đổi khá mạnh, hiện tượng này gọi là hiệu ứng biên. Sự biến dạng do hiệu ứng biên càng lớn khi thực hiện phép biến đổi Wavelet với các tỉ lệ lớn. 3.1.2 Biến đổi Wavelet rời rạc( DWT) 3.1.2.1 Phép biến đổi Wavelet rời rạc và phân tích đa phân giải Mối quan hệ giữa hàm tỉ lệ và hàm Wavelet được cho bởi: ( ) ∑ (x) = = ∑ ( ( ) ) (3.9) ( ) (3.10) Các phép lọc được tiến hành với nhiều tầng khác nhau và để khối lượng tính toán không tăng, khi qua mối bộ lọc tín hiệu được lấy mẫu xuống 2. Ứng với mỗi tầng, tín hiệu có độ phân giải khác nhau. Do đó phép biến đổi Wavelet rời rạc được gọi là phân tích đa giải( MRA). Tại mỗi tầng lọc, biểu thức của phép lọc được cho bởi công thức: ( ) ( ) ∑ ∑ ( ) ( ( ) ( ) ) (3.11) (3.12) Trong đó: S(n) là tín hiệu, h(n) là đáp ứng xung của các bộ lọc tương ứng với hàm tỉ lệ 𝟇(n) và g(n) là đáp ứng xung của các bộ lọc thông cao tương ứng với hàm Wavelet (n). Hai bộ lọc này liên hệ nhau theo hệ thức: H(N-1-n)=( ) g(n) Trong đó: N là số mẫu của tín hiệu Chương 3: Kỹ thuật truy vấn ảnh dựa trên Wavelet (3.13) Truy vấn ảnh dựa trên biến đổi wavelet 29 Hình 3.1: Phân tích đa phân giải sử dụng biến đổi Wavelet rời rạc Tín hiệu S(n) có thể được tái tạo theo các bước ngược lại gọi là phép biên đổi Wavelet rời rạc nghịch( IDWT) được cho bởi: S(n) = ∑ ( Trong đó: ( ) ( ( ) )) ( ( ) ( )) (3.14) ( ) lần lượt là tín hiệu ngõ ra sau khi qua các bộ lọc thông cao và thông thấp. 3.1.2.2 Phép biến đổi Wavelet rời rạc hai chiều: Gọi x, y là hai trục tọa độ của tín hiệu 2-D, L là phép lọc thông thấp, H là phép lọc thông cao, phép biến đổi Wavelet rời rạc 2-D được tính cụ thể như sau: ( ) ( ) ( ) ( ) :LL (3.15) ( ) ( ) ( ) ( ) :LH (3.16) ( ) ( ) ( ) ( ) :HL (3.17) ( ) ( ) ( ) ( ) :HH (3.18) Chương 3: Kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet 30 Hình 3.2: Phép biến đổi Wavelet rời rạc 2-D 3.2 Kỹ thuật truy vấn ảnh dựa trên Wavelets 3.2.1 Giới thiệu về kỹ thuật truy vấn ảnh dựa trên Wavelets Truy vấn ảnh dựa trên Wavelet sử dụng phép biến đổi Wavelet để trích các đặc trưng cục bộ của ảnh, bao gồm đặc trưng màu và đặc trưng cấu trúc. Khi một bức ảnh được đưa vào phân tích, ta biến đổi ảnh thành 4 ảnh băng tần con bằng việc sử dụng biến đổi Wavelet. 4 ảnh con đó bao gồm: ảnh chứa tần số thấp-gần giống với ảnh gốc nhất, gọi là gần đúng(LL); ảnh chứa tần số cao gọi là chi tiết ngang( LH); ảnh chứa tần số cao gọi là chi tiết dọc( HL); và ảnh bao gồm cả chi tiết dọc và chi tiết ngang(HH). Để nâng cao cấu trúc và độ mạnh của các cạnh, ta kết hợp chi tiết dọc và chi tiết ngang vào một ma trận khác. Bước tiếp theo, ta ước lượng các điểm quan trọng bằng một ngưỡng giá trị cao. Sau đó tọa độ điểm quan trọng sẽ được trích từ ảnh, tọa độ các điểm quan trọng sẽ được sử dụng để biết các thông tin quan trọng nhất của bức ảnh và chuyển sang một vùng nhỏ hơn. Dựa vào tọa độ các điểm quan trọng này, chúng ta sẽ trích các đặc trưng màu và đặc trưng cấu trúc của ảnh một cách cục bộ. Hình 3.3 sơ đồ khối của kỹ thuật truy vấn ảnh dựa trên Wavelets. 3.2.2 Bộ lọc Gabor Hàm 1-D Gabor được định nghĩa bởi Gabor(1946) và sau đó được mở rộng ra 2-D bởi Daugman(1985). Bộ lọc Gabor 2-D là một lưới sóng sine phức có hướng được cho bởi công thức: ( ) ( ) Chương 3: Kỹ thuật truy vấn ảnh dựa trên Wavelet , ( )- (3.19) Truy vấn ảnh dựa trên biến đổi wavelet Ảnh đầu vào 31 Biến đổi Wavelet Tiền xử lý ảnh Trích chi tiết dọc và ngang Trích đặc trưng màu Lọc Gabor Đặc trưng cấu trúc Các ảnh ngõ ra gần giống nhất với ảnh ngõ vào So sánh với cơ sở dữ liệu ảnh Đặc trưng màu Các đặc trưng cục bộ của ảnh Hình 3.2: Sơ đồ khối kỹ thuật truy vần ảnh dựa trên Wavelet Trong đó: , ( ) (3.20) là tần số của hàm sin là tỉ lệ của bộ lọc là hướng của bộ lọc (x,y) là hàm Gaussian với thông số tỉ lệ Hàm của bộ lọc Gabor (x,y) có dạng phức. Phân tích hàm Gabor (x,y) thành phần thực và phần ảo ta được: (x,y)= (x,y) + (x,y) (3.21) Trong đó: (x,y) = ( ) (x,y) = ( ) Chương 3: Kỹ thuật truy vấn ảnh dựa trên Wavelet , , ( ( ))- (3.22) (3.23) Truy vấn ảnh dựa trên biến đổi wavelet 32 Ngõ ra bộ lọc Gabor của ảnh f(x,y) đạt được bằng cách chập ảnh với hàm Gabor (x,y): ( | ) ∑ ∑ ( ) ( | ) ∑ ∑ ( ) ( ( ) ) (3.24) (3.25) Với cửa sổ của bộ lọc có kích thước WxW, trong đó W=2k+1 Năng lượng của bộ lọc được tính như sau: ( | ) ( ) | ( | ) (3.26) 3.2.3 Đặc trưng cấu trúc và đặc trưng màu 3.2.3.1 Đặc trưng cấu trúc Cấu trúc bao gồm sự lặp lại mô hình của sự biến đổi cục bộ cường độ ảnh. Cấu trúc là đặc tính quan trọng trong nhận dạng bề mặt và vật thể. Thông tin cấu trúc được trích từ ảnh là đặc trưng điển hình trong truy vấn ảnh. Cấu trúc là đặc tính được phân phối thống kê cường độ ảnh sử dụng năng lượng của bộ lọc Gabor 7x7 pixel. 3.2.3.2 Đặc trưng màu Màu được tạo ra bởi phổ ánh sáng được hấp thụ hoặc phản xạ, sau đó được tiếp nhận bởi mắt người, và được xử lý bởi não. Để trích đặc trưng màu, moment thống kê thứ nhất và moment thống kê thứ hai được sử dụng. Không gian màu HSV tương tự như hệ thống nhận thức màu của người, vì vậy ta sử dụng nó để trích đặc trưng màu trong không gian màu HSV ở lân cận các điểm quan trọng với kích thước 3x3 pixel. Moment thống kê thứ nhất được biểu diễn: 𝜇= ∑ ∑ ( ) Trong đó: p(i,j): giá trị của pixel MxN: kích thước của điểm quan trọng và lân cận của nó Moment thống kê thứ hai được biểu diễn như sau: Chương 3: Kỹ thuật truy vấn ảnh dựa trên Wavelet (3.27) Truy vấn ảnh dựa trên biến đổi wavelet =√ ∑ ∑ 33 ( ( ) 𝜇) (3.28) Trong đó: p(i,j): giá trị của pixel 𝜇: giá trị của moment thống kê thứ nhất MxN: kích thước của điểm quan trọng và lân cận của nó 3.2.4 Thuật toán truy vấn ảnh Bước 1: Đọc ảnh yêu cầu(ảnh ngõ vào) và chuyển từ ảnh RGB sang ảnh gray và ảnh HSV. Sau đó phân tích sử dụng biến đổi Wavelet. Bước 2: Lấy trị tuyệt đối tất cả các hệ số Wavelet: Wcnew= |WCold| Bước 3: Kết hợp chi tiết dọc và chi tiết ngang: CVdHd(i,j) = max(Vd(I,j),Hd(I,j)) Bước 4: Chọn các điểm quan trọng trên ma trận CVdHd(i,j) bởi ngưỡng giá trị cao. Bước 5: Chọn các điểm trong ảnh HSV và lân cận của nó( 3x3 pixel) dựa vào tọa độ điểm quan trọng trong ma trận CVdHd(i,j), sau đó hình thành vector đặc trưng màu bằng cách sử dụng moment thống kê thứ nhất và moment thống kê thứ hai. Bước 6: Hình thành vector đặc trưng cấu trúc bằng việc sử dụng bộ lọc Gabor 7x7 pixel lân cận điểm quan trọng. Và tiến hành chuẩn hóa tất cả các vector đặc trưng. Bước 7: Đo khoảng cách giữa vector đặc trưng của ảnh yêu cầu và vector đặc trưng của các ảnh trong cơ sở dữ liệu bằng cách sử dụng khoảng cách Eclic sau đó hiển thị kết quả là danh sách các ảnh gần giống ảnh yêu cầu nhất có trong cơ sở dữ liệu. 3.2.5 So sánh độ tương đồng của ảnh và đánh giá hiệu suất của hệ thống Kết quả truy vấn không chỉ là một ảnh đơn mà là danh sách các ảnh được sắp xếp theo mức độ tương đồng với ảnh yêu cầu. Độ tương đồng được tính toán bằng cách sử dụng khoảng cách Eclic giữa vector đặc trưng của ảnh yêu cầu và vector đặc trưng của ảnh trong cơ sở dữ liệu. FQ( Q1,Q2,…,Qn) FD( D1,D2,…,Dn) Chương 3: Kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet Dis(FQ,FD) = √∑ ( 34 ) (3.29) Trong đó: FQ: vector đặc trưng của ảnh yêu cầu FD: vector đặc trưng của ảnh trong cơ sở dữ liệu n: số phần tử của vector đặc trưng Nếu khoảng cách giữa vector đặc trưng của ảnh yêu cầu và vector đặc trưng ảnh trong cơ sở dữ liệu là nhỏ, thì chúng được xem là tương đồng nhau. Hiệu suất của hệ thống CBIR được đánh giá bằng việc xem xét hai hệ số: độ chính xác(precision) và độ truy hồi( recall). Precision = (3.30) Trong đó: NNRI: số ảnh được truy vấn thỏa mãn(giống với ảnh yêu cầu) XR: tổng số ảnh được truy vấn Recall= Trong đó: NNRI: số ảnh được truy vấn thỏa mãn(giống với ảnh yêu cầu) TR: tổng số ảnh thỏa mãn có trong cơ sở dữ liệu Chương 3: Kỹ thuật truy vấn ảnh dựa trên Wavelet (3.31) Truy vấn ảnh dựa trên biến đổi wavelet 35 Chương 4 MÔ PHỎNG KỸ THUẬT TRUY VẤN ẢNH DỰA TRÊN WAVELET 4.1 Đặt vấn đề mô phỏng trên matlab 4.1.1 Cơ sở dữ liệu ảnh Cơ sở dữ liệu ảnh dùng trong đề tài để mô phỏng sử dụng cơ sở dữ liệu ảnh của Wang [1] gồm 1000 với 10 chủ đề khác nhau. Ảnh có định dạng JPG, kích thước 256x384 pixel và 384x256 pixel. 4.1.2 Ảnh đầu vào và các tác nhân gây ảnh hưởng Ảnh có thể nhận qua camera màu hoặc đen trắng. Thường ảnh nhận qua camera là ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng có loại camera đã số hoá (như loại CCD – Charge Coupled Device) là loại photodiot tạo cường độ sáng tại mỗi điểm ảnh. Camera thường dùng là loại quét dòng, ảnh tạo ra có dạng hai chiều. Mặt khác, ảnh cũng có thể tiếp nhận từ vệ tinh, có thể quét từ ảnh chụp bằng máy quét ảnh. Chất lượng một ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh). 4.1.2.1 Sự mờ ảnh Sự làm mờ hay sự phai nhạt của một ảnh có thể gây ra bởi nhiều tác nhân : - Chuyển động trong khi chụp ảnh (gây ra bởi camera) hoặc khi thời gian lộ sáng nhiều được sử dụng (gây ra bởi vật). - Ngoài vùng tiêu cự của ống kính , sử dụng một ống kính có góc mở rộng , sự hỗn loạn của môi trường , thời gian lộ sáng ngắn … sẽ làm giảm số lượng phôtôn được bắt giữ (captured). Thuật ngữ Point spread function (PSF): Trong miền không gian , PSF diễn tả cấp bậc mà một hệ thống quang học làm mờ một điểm sáng. Một ảnh bị mờ hay bị phai nhạt có thể được mô tả vắn tắt bởi phương trình g=Hf+n trong đó : Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet - g : Ảnh bị mờ - H : Tác nhân làm méo cũng được gọi là PSF . - f : Ảnh gốc - n : Nhiễu phụ , được tạo ra trong quá trình nhận ảnh , nó làm hỏng ảnh 36 Chú ý : Ảnh f thực tế không tồn tại . Ảnh này đại diện cho bức ảnh mà ta có nếu tình trạng thu nhận ảnh là hoàn hảo. 4.1.2.2 Sự mở rộng nhiễu Sự mở rộng nhiễu là một vấn đề thường gặp của phương pháp giống cực đại (maximum likelihood ) cố gắng lấp đầy dữ liệu gần nhất có thể . Sau một số vòng lặp , ảnh được khôi phục có thể có hình lốm đốm , đặc biệt với một đối tượng phẳng được quan sát tại tỉ số tín hiệu / nhiễu nhỏ . Những đốm này không đại diện cho bất kì một cấu trúc nào trong ảnh thực nhưng là giả tạo của việc làm khớp nhiễu trong ảnh quá gần . 4.1.3 Tiền xử lý ảnh Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào bộ tiền xử lý để nâng cao chất lượng. Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét hơn. 4.1.3.1 Khôi phục ảnh mờ Toolbox xử lý ảnh của Matlab gồm có 4 hàm khôi phục ảnh mờ bao gồm : - deconvwnr : Sử dụng bộ lọc Wiener - deconvreg : Sử dụng bộ lọc được quy tắc hoá - deconvlucy : Sử dụng giải thuật Lucy-Richardson - deconvblind : Sử dụng giải thuật blind deconvolution Tất cả những hàm này chấp nhận một PSF và một ảnh bị mờ như là các tham số chính của nó .Với hai hàm deconvwnr và deconvreg, ta cung cấp một số thông tin về nhiễu để giảm sự khuếch đại nhiễu đến mức có thể trong quá trình khôi phục . Hàm deconvlucy thi hành một cách nhanh chóng giải thuật Lucy-Richardson . Hàm này thực hiện nhiều vòng lặp , sử dụng kĩ thuật tối ưu và thống kê Poisson . Với hàm này, ta không cần phải cung cấp thông tin về nhiễu phụ trong ảnh bị “bẩn”. Hàm này Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet 37 có thể được sử dụng hiệu quả khi biết được hàm PSF nhưng biết ít về nhiễu tác động phụ lên ảnh. Hàm deconvblind thi hành giải thuật blind deconvolution mà không cần nhận ra PSF . Khi ta gọi hàm deconvblind , ta truyền một tham số như là giá trị đoán biết ban đầu ở PSF . Hàm deconvblind trả lại một PSF đã được khôi phục để khôi phục ảnh . Sự thi hành sử dụng cùng chế độ suy giảm và lặp như hàm deconvlucy . Hàm này được sử dụng hiệu quả khi không có thông tin về mờ hoặc nhiễu. Từ các nhận xét phía trên, có thể thấy hàm deconvblind là thích hợp cho việc lựa chọn giải thuật xử lý ảnh mờ trong việc truy vấn ảnh khi ta không có thông tin nào về mờ hoặc nhiễu đối với 1 bức ảnh được đưa vào truy vấn. Các bước khử mờ dùng hàm deconvblind: - Đọc một ảnh vào không gian làm việc - Tạo hàm PSF để làm mờ ảnh - Tạo mờ trên ảnh - Khử mờ ảnh, tạo một sự ước lượng ban đầu cho kích thước của PSF 4.1.3.2 Giảm nhiễu Để điều khiển sự mở rộng nhiễu , hàm deconvlucy sử dụng một tham số gọi là DAMPAR . Tham số này chỉ ra mức ngưỡng cho độ lệch của ảnh kết quả so với ảnh gốc . Với các pixel mà lệch khỏi vùng lân cận của các giá trị gốc của chúng , vòng lặp bị treo . Damping cũng được sử dụng để giảm rung ( ringing ) – hình dạng của cấu trúc tần số cao trong ảnh khôi phục . Ringing không cần thiết đến kết quả của mở rộng nhiễu . Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet 38 4.2 Lưu đồ thuật toán Begin Đọc ảnh yêu cầu, chuyển đổi kiểu ảnh và phân tích Wavelet Lấy trị tuyệt đối các hệ số Wavelet Kết hợp chi tiết dọc và ngang Chọn điểm quan trọng Hình thành vector đặc trưng màu Hình thành vector đặc trưng cấu trúc So sánh vector đặc trưng và đưa ra kết quả end Hình 4.1 Lưu đồ thuật toán truy vấn ảnh dựa trên biến đổi wavelet. Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet 39 4.2.1 Các hàm trong matlab được sử dụng cho đồ án Bảng 4.1: Các hàm matlab được sử dụng trong đồ án Tên hàm Chức năng imread(„football.jpg‟); Hàm imread đọc một ảnh từ bất kì định dạng nào được hỗ trợ trong matlab. [file_name file_path] Trả về đường dẫn đến thư mục ảnh và tên ảnh. rgb2hsv Chuyển từ ảnh RGB sang ảnh màu HSV rgb2gray Chuyển từ ảnh RGB sang ảnh xám. imshow(moon) Hiển thị một ảnh đã được nhập vào trong không gian làm việc. Y = imresize(X,[100 150]) ChỈ định kích thước ảnh 4.3 Chương trình mô phỏng kỹ thuật truy vấn ảnh dựa trên wavlet 4.3.1 Đọc ảnh yêu cầu, chuyển đổi kiểu ảnh và phân tích wavelet  Đọc ảnh yêu cầu Ta sử dụng hàm [file_patch,file_name] để hiển thị đường dẫn thư mục hình ảnh. [file_name file_path] = uigetfile ('*.jpg','Chon anh kiem tra ','test\2.jpg'); if file_path ~= 0 Ikt = imread ([file_path,file_name]); end Sử dụng các hàm chuyển đổi kiểu ảnh để chuyển từ ảnh gốc sang ảnh màu và ảnh xám đưa vào các hàm rút trích đặc trưng màu và đặc trưng cấu trúc. Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet 40 imghsvyc= rgb2hsv(Ikt); imgyc= rgb2gray(Ikt); Dùng hàm biến đổi wavelet bậc 1 để rút trích các hệ số chi tiết dọc(HL), chi tiết ngang(LH), trung bình(LL), kết hợp chi tiết dọc và chi tiết ngang (HH). [LL,LH,HL,HH]= dwt2(imgyc, 'haar'); 4.3.2 Lấy trị tuyệt đối các hệ số wavlet Các hệ số rút trích được từ phép biến đổi wavlet có cả giá trị âm và dương. Ta lấy trị tuyệt đối các hệ số wavelet để đưa về mức dương thích hợp cho việc chọn ngưỡng ở phần sau. vdyc= abs(HL); hdyc= abs(LH); 4.3.3 Kết hợp chi tiết dọc và ngang Kết hợp chi tiết dọc và ngang bằng cách lấy giá trị cao nhất của chi tiết dọc và ngang sử dụng hàm max trong matlab. Chọn điểm quan trọng Việc lựa chọn điểm quan trọng dựa trên một ngưỡng giá trị cao của tập kết hợp các chi tiết dọc và ngang. Với số điểm quan trọng được chọn cho đề tài này là 500 điểm quan trọng. [ayc1, byc1]= laynguong(sodqt,cvhyc); Với ayc1 là giá trị và byc1 là vị trí của điểm quan trọng. 4.3.4 Hình thành vector đặc trưng màu: Vector đặc trưng màu hình thành bằng cách dùng các hệ số trong ma trận điểm quan trọng của mỗi bức ảnh để tính toán moment màu thứ nhất và moment màu thứ 2 cho mỗi bức ảnh. Việc tính toán này sẽ hình thành 500 điểm moment màu cho mỗi bức ảnh tương ứng với 500 điểm quan trọng được rút trích từ ma trận kết hợp các hệ số wavelet. v2yc=momentmau(imghsvyc,ayc1,byc1); Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet 41 Với imghsvyc là ảnh yêu cầu được chuyển sang ảnh HSV, ayc1 và byc1 là các thông số của điểm quan trọng được rút trích từ lấy ngưỡng. 4.3.5 Hình thành vector đặc trưng cấu trúc Vector đặc trưng cấu trúc được hình thành bằng cách dùng các hệ số trong ma trận điểm quan trọng của mỗi bức ảnh kết hợp với ảnh xám(gray) để tính toán cho một ô kích thước 3x3 xung quanh điểm quan trọng. Tương tự thì việc tính toán này cũng hình thành 500 điểm đặc trưng cấu trúc cho mỗi bức ảnh. v1tv=gaborver2(img,ayc1,byc1); Với img là ảnh yêu cầu được chuyển sang ảnh gray, ayc1 và byc1 là các thông số của điểm quan trọng được rút trích từ lấy ngưỡng. 4.3.6 Tiến hành so sánh vector đặc trưng và đưa ra kết quả Các vector đặc trưng màu và cấu trúc được kết hợp lại thành vector đặc trưng riêng của mỗi ảnh. Tiến hành so sánh bằng cách đo khoảng cách giữa ảnh yêu cầu và các ảnh trong cơ sở dữ liệu ảnh. Ảnh gần nhất tương ứng với khoảng cách nhỏ nhất được tính toán. 4.4 Thực nghiệm 4.4.1 Đối với đặc trưng màu: Đặc trưng màu sử dụng dữ liệu hình ảnh HSV được chuyển đổi từ hàm ảnh gốc RGB. Ảnh HSV được chuyển đổi bao gồm 3 thành phần: Thành phần H: (Hue) Vùng màu; S: (Saturation) Độ bão hòa màu; B (hay V): (Bright hay Value) Độ sáng. imgh= imghsv(:,:,1) : cú pháp này dùng để lấy thành phần màu h. imgh= imghsv(:,:,2) : cú pháp này dùng để lấy thành phần màu s. imgh= imghsv(:,:,3) : cú pháp này dùng để lấy thành phần màu v. Để thu được kết quả truy vấn tốt nhất, ta thử nghiệm với từng thành phần kết hợp với các đặc điểm của đặc trưng cấu trúc. 4.4.2 Đối với đặc trưng cấu trúc Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet 42 Đối với việc tính toán các đặc trưng cấu trúc sử dụng bộ lọc garbor phụ thuộc vào việc chọn các thông số phù hợp cho việc xử lý ảnh. Các thông số liên quan đến độ rút trích như: là tần số của hàm sin là tỉ lệ của bộ lọc là hướng của bộ lọc Các thông số này phải được thực nghiệm trên cơ sở lý thuyết [garbor] để lựa chọn thông số phù hợp nhất cho sự chính xác của việc truy vấn ảnh. Theo cơ sở lý thuyết [], ta có các giá trị được chọn là: :√ √ √ ( )√ :√ : 0o,45o,90o,135o. 4.4.3 Tiến hành lựa chọn các thông số phù hợp Bảng 1: Thống kê độ chính xác của các đặc trưng về màu sắc (%) Coso1(h) Coso2(s) Coso3(v) Bus 12.7 11.1 10.5 Khung long 12.6 42.9 52.8 Voi 19.4 26.4 12.7 Hoa 11.4 11.6 29.9 Ngua Trung binh 46 52.4 63.6 20.4 28.9 33.9 Bảng 2: Thống kê độ chính xác của các đặc trưng về cấu trúc 0o , √ 0o , √ 0o , √ 12.7 10.2 11.9 0o , √ 12.6 52.3 72 58.1 49.7 22.8 12.2 20.4 21.2 17.2 19.3 16.5 18.5 Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet 19.7 32.3 24,9 43 22.3 30.3 17.2 25.8 23.8 45o , √ 45o , √ 45o , √ 45o , √ /4 10.3 10.3 10.3 10.7 71.4 71.4 71.4 37.1 11.8 11.8 11.8 19.2 17.4 17.4 17.4 24 38.2 38.2 38.2 19.7 29.8 29.8 29.8 22.1 90o , √ 90o , √ 90o , √ 90o , √ 13.7 13.7 11.7 12.8 40.8 40.8 61.9 50.3 24.9 24.9 24.5 24.1 15.2 15.2 13.1 16.7 18.8 18.8 14.3 16.9 22.6 22.6 25.1 24.1 135o , √ 135o , √ 135o , √ 135o , √ /4 10.3 10.3 10.3 11.4 71.4 71.4 71.4 53.2 11.8 11.8 11.8 21.2 17.4 17.4 17.4 23.5 38.2 38.2 38.2 18.9 29.8 29.8 Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet 29.8 25.6 Truy vấn ảnh dựa trên biến đổi wavelet 44 Bảng 3: Thống kê độ chính xác kết hợp giữa đặc trưng màu thành phần h và các đặc trưng cấu trúc (%) 0o , √ 0o , √ 0o , √ 0o , √ 22.5 20.3 21.9 22.5 56 68 63.1 54 31.2 25 28.8 29.3 26.4 26.3 25.9 27.3 32.9 44.4 33.3 30.5 33.8 36.8 34.6 32.7 45o , √ 45o , √ 45o , √ 45o , √ /4 20.2 20.2 20.2 20.3 68.7 68.7 68.7 42.1 25.3 25.3 25.3 28.3 24.1 24.1 24.1 31.9 48.9 48.9 48.9 35.5 37.4 37.4 37.4 31.6 90o , √ 90o , √ 90o , √ 90o , √ 23.4 23.4 21.5 22.7 44.3 44.3 63 52.7 33 33 33.2 31 25 25 22.7 26.3 32.7 32.7 29 31.3 31.7 135o , √ 31.7 135o , √ 33.9 135o , √ Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet 32.8 135o , √ /4 Truy vấn ảnh dựa trên biến đổi wavelet 45 20.2 20.2 20.2 21.3 68.7 68.7 68.7 57.3 25.3 25.3 25.3 30 24.1 24.1 24.1 32.8 48.9 48.9 48.9 33.2 37.4 37.4 37.4 34.9  Các đặc trưng kết hợp thành phần màu h và bộ lọc garbor sử dụng góc 135o và 45o tại các giá trị w=, √ , , 2√ √ cho cùng kết quả và có độ chính xác truy vấn trung bình cao nhất là 37.4%. Bảng 4: Thống kê độ chính xác kết hợp giữa đặc trưng màu thành phần s và các đặc trưng cấu trúc 0o , √ 0o , √ 0o , √ 0o , √ 22.5 20.2 21.9 22.5 63.7 51.6 65.8 61 31.1 33.8 29.6 30.4 26.5 24.2 26 27.4 27.8 50.9 29.9 26.4 34.3 36.1 34.6 33.5 45o , √2 45o , 2√2 45o , 4√2 45o , √ /4 20.1 20.1 20.1 20.3 53.2 53.2 53.2 53 34 34 34 29.7 22.3 22.3 22.3 31.7 56.9 56.9 56.9 30.3 37.3 37.3 Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet 37.3 33 Truy vấn ảnh dựa trên biến đổi wavelet 46 90o , √ 90o , √ 90o , √ 90o , √ 23.4 23.4 21.5 22.7 52.4 52.4 63.3 54.8 32.7 32.7 33.4 30.3 24.8 24.8 22.5 26.2 28.8 28.8 25.1 26.3 32.42 32.42 33.16 32.06 135o , √ 135o , √ 135o , √ 135o , √ /4 20.1 20.1 20.1 21.3 53.2 53.2 53.2 61.4 34 22.3 34 22.3 34 22.3 31.6 32.5 56.9 56.9 56.9 30.3 37.3 37.3 37.3 35.4 Các đặc trưng kết hợp thành phần màu s và bộ lọc garbor sử dụng góc 135o và 45o tại các giá trị w=, √ , , 2√ √ cho cùng kết quả và có độ chính xác truy vấn trung bình cao nhất là 37.3% Bảng 5: Thống kê độ chính xác kết hợp giữa đặc trưng màu thành phần s và các đặc trưng cấu trúc 0o , √ 0o , √ 0o , √ 0o , √ 22.5 20.2 21.9 22.5 59.8 57.2 62.9 58 30.3 28.5 22 36.7 27.4 29.6 28.7 29.7 34.4 66.5 35.4 33 35.1 36.6 Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet 35.44 34.38 Truy vấn ảnh dựa trên biến đổi wavelet 47 45o , √ 45o , √ 45o , √ 45o , √ /4 20.1 20.1 20.1 20.3 66.9 66.9 66.9 51.2 22 22 22 26.7 37.1 37.1 37.1 33.6 69.1 69.1 69.1 40 43.1 43.1 43.1 34.36 90o , √ 90o , √ 90o , √ 90o , √ 23.4 23.4 21.5 22.7 50.8 50.8 63.2 53.9 33 33 33 31.2 27.2 27.2 25.6 28.4 31.8 31.8 29.3 32.6 33.24 33.24 34.52 33.76 135o , √ 135o , √ 135o , √ 135o , √ /4 20.1 20.1 20.1 21.3 66.9 66.9 66.9 60.3 22 22 22 29.9 37.1 37.1 37.1 35.5 69.1 69.1 69.1 39.3 43.1 43.1 43.1 37.2  Các đặc trưng màu sử dụng góc 135o và 45o tại các giá trị w=, √ , , 2√ cho cùng kết quả và có độ chính xác truy vấn trung bình cao nhất là 43.1%. Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet √ Truy vấn ảnh dựa trên biến đổi wavelet Chú thích: 48 Các thành phần có độ chính xác trung bình cao nhất. Các thành phần được lựa chọn cho đồ án. Như vậy sau các cách kết hợp các thành phần màu sắc và các thành phần cấu trúc, ta có sự kết hợp tốt nhất là: sự kết hợp giữa thành phần V trong biểu đồ màu HSV với đặc trưng về cấu trúc sử dụng góc 45o hoặc 135o và w=√ , hoặc , 2√ √ . Cuối cùng ta chọn góc 45o và w= √ cho bộ lọc gabor và thành phần V trong gam màu HSV cho việc rút trích các đặc trưng về màu sắc và cấu trúc cho đồ án này. 4.5 Giới thiệu chương trình Chương trình “Truy vấn ảnh dựa trên biến đổi wavelet” là chương trình được thiết kế trên giao diện người dùng GUI của phần mềm Matlab 7.8. Rất đơn giản và dễ dàng sử dụng. Để mở chương trình bạn có thể làm theo 2 cách:  Cách 1: Mở trực tiếp trên chương trình Matlab 7.8. Ta chỉ đường dẫn đến thư mục DATN sau đó Run file giaodien.fig. Như hình dưới: Hình 4.2 Mở giao diện bằng đường dẫn thư mục có sẵn trên Matlab Hoặc các bạn cũng có thể vào trực tiếp thư mục DATN để mở file giaodien.fig. Sau khi chạy chương trình sẽ xuất hiện hộp thư thoại như hình: Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet 49 HÌnh 4.3 Giao diện chương trình Để chọn hình cần truy vấn, ta nhấp chuột vào nút “brown for image..”. Sau đó nhấp chuột vào nút truy vấn. Chương trình sẽ chạy và xuất kết quả ra một figure riêng như hình 4.4. Độ chính xác và độ truy hồi cũng được tính toán và xuất ra ở 2 ô textbox trên giao diện. Hình 4.4 Kết quả của truy vấn một ảnh trong loại hình khủng long Chương 4: Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet Truy vấn ảnh dựa trên biến đổi wavelet 50 Chương 5 KẾT QUẢ MÔ PHỎNG 5.1 Kết quả mô phỏng Trong chương trình mô phỏng, ta sử dụng cơ sở dữ liệu của Wang [5], gồm 1000 hình kiểu RGB. Bảng 5.1: Độ chính xác của phương pháp đề xuất Loại hình Africa Bãi biển Kiến trúc Bus Khủng long Voi Hoa Ngựa Núi Food Trung bình Truy vấn 10 ảnh 27.3 34.8 24.9 20.1 66.9 21.9 37.1 69.1 22.3 21.3 34.6 Truy vấn 5 ảnh 45 56 43.2 39.8 73.8 40.4 51.2 76.4 41 40.8 50.8 Bảng 4.1 trình bày độ chính xác trung bình khi truy vấn ảnh của từng loại ảnh trong cơ sở dữ liệu. Ta thấy ảnh “Voi” có độ chính xác cao nhất(39.6% ), trong khi ảnh “người” có độ chính xác thấp nhất( chỉ 14,9%). Dưới đây là kết quả truy vấn ảnh của mỗi loại ảnh trong cơ sở dữ liệu: + Ảnh “người”: Hình 5.1 Ảnh người Chương 5: Kết quả mô phỏng Truy vấn ảnh dựa trên biến đổi wavelet 51 + Ảnh “bãi biển”: Hình 5.2 Ảnh bãi biển +Ảnh “kiến trúc”: Hình 5.3 Ảnh kiến trúc Chương 5: Kết quả mô phỏng Truy vấn ảnh dựa trên biến đổi wavelet 52 +Ảnh “xe bus”: HÌnh 5.4 Ảnh xe bus + Ảnh “khủng long”: Hình 5.5 Ảnh khủng long Chương 5: Kết quả mô phỏng Truy vấn ảnh dựa trên biến đổi wavelet 53 + Ảnh “voi”: HÌnh 5.6 Ảnh voi + Ảnh “hoa”: Hình 5.7 Ảnh hoa Chương 5: Kết quả mô phỏng Truy vấn ảnh dựa trên biến đổi wavelet 54 + Ảnh “ngựa”: Hình 5.8 Ảnh ngựa + Ảnh “núi”: Hình 5.9 Ảnh núi Chương 5: Kết quả mô phỏng Truy vấn ảnh dựa trên biến đổi wavelet 55 + Ảnh “thức ăn”: Hình 5.10 Ảnh thức ăn Kết quả được mang ra so sánh với các phương pháp truy vấn ảnh khác cùng sử dụng tập cơ sở dữ liệu ảnh WANG [] như FIRM[], SIMPLYcity[], Color sailient points[]. Kết quả so sánh được thể hiện ở bảng sau Bảng 5.2 So sánh độ chính xác của các phương pháp truy vấn khác. Loại hình FIRM SIMPLYcity Color sailent points Phương pháp đề xuất Kiến trúc 0.35 0.35 0.32 0.44 Xe buýt 0.60 0.36 0.52 0.59 Ngựa 0.65 0.72 0.70 0.42 Khủng Long 0.95 0.95 0.95 0.75 Bãi biển 0.35 0.32 0.34 0.35 Trung bình 0.58 0.54 0.566 0.51 Chương 5: Kết quả mô phỏng Truy vấn ảnh dựa trên biến đổi wavelet 56 5.2 Độ chính xác Truy vấn ảnh dựa trên biến đổi wavelet đã được mang ra so sánh với các hệ thống truy vấn ảnh khác. Kết quả thu được cho thấy phương pháp này tốt hơn cho việc truy vấn ở một vài loại hình như: Biển với độ chính xác là 44%( FIRM 35% , SIMPLYcity 35%, color sailients points 32%); xe buýt với độ chính xác là 59%, tốt hơn so với SIMPLYcity(36%) và color sailient points (52%). Tuy nhiên,độ chính xác trung bình thì thấp hơn so với các phương pháp đã nêu trên. 5.3 Tốc độ truy vấn ảnh Tốc độ truy vấn ảnh trong cơ sở dữ liệu là rất tốt so với các phương pháp khác, dưới 1s. Tốc độ trung bình thống kê cho một loại ảnh là 4s. Như vậy về mặt thời gian việc truy vấn ảnh dựa trên biến đổi wavelet có độ truy xuất đáp ứng nhanh. Chương 5: Kết quả mô phỏng Truy vấn ảnh dựa trên biến đổi wavelet 57 Chương 6 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết quả đạt được - Đưa ra được các lý thuyêt tổng quan về truy vấn ảnh, lý thuyết về bộ lọc gabor, đặc trưng màu, đặc trưng cấu trúc, phép biến đổi Wavelet và ứng dụng của phép biến đổi Wavelet trong truy vấn ảnh. - Xây dựng chương trình mô phỏng về truy vấn ảnh dựa trên phép biến đổi Wavelet - Đưa ra kết quả, tính độ chính xác, độ truy hồi của từng ảnh riêng lẻ, và thống kê độ chính xác truy vấn ảnh của từng loại ảnh có trong cơ sở dữ liệu. 6.2 Hạn chế - Kết quả mô phỏng không được chính xác so với lý thuyết. - Độ chính xác còn thấp. - Chương trình mô phỏng còn dài nên tốc độ xử lý chậm. 6.3 Hướng phát triển - Tiếp tục nghiên cứu đề tài để nâng cao độ chính xác của chương trình mô phỏng. - Đơn giản hóa mã chương trình để tốc độ xử lý nhanh hơn. - Tiến hành thực nghiệm trên phần cứng. - So sánh độ chính xác, tốc độ xử lý của phương pháp so với các phương pháp hiện tại. Chương 6: Kết luận và hướng phát triển [...]... Chương 2: Tổng quan về truy vấn ảnh Trong chương này trình bày những kiến thức tổng quan về ảnh số, xử lý ảnh, truy vấn ảnh và các kỹ thuật truy vấn ảnh hiện nay - Chương 3: Kỹ thuật truy vấn ảnh dựa trên Wavelets Trình bày lý thuyết về kỹ thuật truy vấn ảnh dựa trên biến đổi Wavelet: biến đổi Wavelet, bộ lọc gabor, đặc trưng màu, đặc trưng cấu trúc,… và chi tiết về phương pháp truy vấn ảnh đề xuất - Chương... similar image Mục lục Truy vấn ảnh dựa trên biến đổi wavelet 1 Chương 1 GIỚI THIỆU 1.1 Vai trò và ứng dụng của kỹ thuật truy vấn ảnh dựa trên biến đổi Wavelet Truy vấn ảnh là tìm kiếm một bức ảnh trong cơ sở dữ liệu với hàng nghìn ảnh. Với sự mở rộng của công nghệ đa phương tiện và internet, truy vấn ảnh được các nhà khoa học bắt đầu quan tầm từ những năm đầu 1990 Khái niệm truy vấn dựa trên nội dung ra... Feature Transform Biến đổi đặc trưng bất biến T TR Total number of relevant images tổng số lượng ảnh truy vấn thỏa in dataset thỏa mãn có trong cơ sở dữ liệu X top ranking of retrieval image X ảnh gần giống nhất so với ảnh X XR truy vấn Mục lục Truy vấn ảnh dựa trên biến đổi wavelet xiv TÓM TẮT Việc truy vấn ảnh sẽ tìm ra các hình ảnh tương tự về nội dung với hình ảnh cần truy vấn Vấn đề đặt ra là cần... duy và khả năng lập trình 1.3 Mục tiêu và phạm vi nghiên cứu - Tìm hiểu tổng quan về lý thuyết xử lý ảnh - Tìm hiểu về truy vấn ảnh và các kỹ thuật truy vấn ảnh - Tìm hiểu về biến đổi Wavelet - Tìm hiểu kỹ thuật truy vấn ảnh dựa trên biến đổi Wavelet - Mô phỏng kỹ thuật truy vấn ảnh dựa trên Wavelet trên phần mềm Matlab 1.4 Bố cục của đồ án Nội dung của đồ án gồm 6 chương: - Chương 1: Giới thiệu Trình... Error! Bookmark not defined Mục lục Truy vấn ảnh dựa trên biến đổi wavelet xii LIỆT KÊ TỪ VIẾT TẮT C CBIR Content Based Image Retrieval Truy vấn ảnh dựa trên nội dung CCD Charge Couple Device Camera CCD Cơ sở dữ liệu CSDL Continuous Wavelet Transform Biến đổi Wavelet liên tục DCT Discrete Cosine Transform Biến đổi Cosine rời rạc DWT Discrete Wavelet Transform Biến đổi Wavelet rời rạc FD Feature vector... những đặc trưng ảnh mới dựa trên những phép biến đổi như wavelets, contourlets,… và kết hợp đa dạng các mô hình toán học trong thiết kế CBIR Truy vấn ảnh dựa trên Wavelet là một kỹ thuật mới, có độ chính xác cao hơn so với các kỹ thuật truy vấn ảnh hiện tại Xuất phát từ thực tế trên, người thực hiện đề tài thực hiện tiến hành tiềm hiểu và nghiên cứu đề tài :”Kỹ thuật truy vấn ảnh dựa trên Wavelets” 1.2... Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 7 khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này 2.2.4 Biểu diễn ảnh (Image Representation) Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lận cận Việc biến đổi các số liệu này thành... in ảnh 2 màu vì ảnh gần nhị phân không cho ảnh nhị phân khi quét ảnh do có nhiễu từ bộ cảm biến và biến đổi của nền ví dụ trường hợp lọc nhiễu của ảnh vân tay Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 10 V V L L ϒ Va β β V α a b L a s b L s Hình 2.2 : Tách nhiễu Phân ngưỡng là trường hợp đặc biệt của tách nhiễu khi a=b=const Trong trường hợp này, ảnh đầu vào là ảnh. .. độ đo sự tương đồng giữa hai ảnh Mô hình ở Hình 1.1 đơn giản, dễ cài đặt nhưng đưa vào ứng dụng thực tế sẽ chậm vì nhược điểm: khi có một yêu cầu truy vấn ảnh hệ thống không những phải rút trích Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 20 các đặc trưng của ảnh truy vấn mà còn phải rút trích các đặc trưng của ảnh trong tập ảnh của CSDL ảnh, sau đó tính toán mức độ tương... phát huy Chương 2: Tổng quan về truy vấn ảnh Truy vấn ảnh dựa trên biến đổi wavelet 8 2.1 Xử lý nâng cao chất lượng ảnh Thu nhận ảnh không phải lúc nào cũng cho kết quả là những ảnh có chất lượng tốt Hệ thống truy vấn ảnh phụ thuộc rất nhiều vào chất lượng ảnh đầu vào Trong các ảnh có chất lượng thấp, các chi tiết không rõ ràng vì thế việc phát hiện và trích chọn đặc trưng ảnh gặp nhiều khó khăn, đồng