Chương 4: Tìm kiếm DL ĐPT P2: Dữ liệu ảnh Nguyễn Thị Oanh Bộ môn HTTT – Viện CNTT & TT oanhnt@soict.hut.edu.vn Nội dung Tổng quan Biểu diễn ảnh – trích chọn đặc trưng – Đặc trưng toàn cục: Shape – texture - color – Đặc trưng cục bộ: Phân đoạn (segmentation) Key points (characters points) Đánh mục (chỉ số hóa) (indexing) Đối sánh ảnh: tương tự, không gian Ảnh lưu trữ Mức xám - bits: - đen 255 - trắng 64 65 65 66 66 59 60 62 63 60 62 66 66 64 63 62 62 64 69 100 149 151 176 182 179 68 97 145 148 175 183 181 70 95 142 146 176 185 184 68 90 135 140 172 184 184 64 84 129 134 168 181 182 62 88 130 128 166 185 180 60 85 127 125 163 183 178 58 81 122 120 160 181 176 58 78 118 117 159 180 176 Source : Tal Hassner Computer Vision Weizmann Institute of Science (Israel) Ảnh lưu trữ x y x = 58 59 y = 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 210 206 201 216 221 209 204 214 209 208 207 208 204 200 205 209 196 207 206 206 214 212 215 205 209 210 205 206 203 210 60 61 62 63 64 65 66 204 203 192 211 211 224 213 215 214 205 211 209 203 199 202 202 197 201 193 194 199 208 207 205 203 199 209 209 236 203 197 195 198 202 196 194 191 208 204 202 217 197 195 188 199 247 210 213 207 197 193 190 180 196 186 194 194 203 197 197 143 207 156 208 220 204 191 172 187 174 183 183 188 183 196 71 56 69 57 56 173 214 188 196 185 177 187 185 190 181 64 63 65 69 63 64 60 69 86 149 209 187 183 183 173 67 68 69 70 71 72 80 84 58 53 57 55 60 55 60 55 60 59 62 66 72 55 62 66 71 63 90 62 239 58 221 75 196 122 186 105 54 53 52 77 46 51 76 49 87 55 64 68 61 63 62 54 61 53 49 97 62 51 56 57 55 52 61 58 58 57 57 58 62 51 60 50 62 61 58 106 56 48 49 55 52 56 60 48 45 56 93 52 51 56 60 60 64 66 64 63 Source : Tal Hassner Computer Vision Weizmann Institute of Science (Israel) Ảnh lưu trữ Ảnh tín hiệu 2D (x,y) Về mặt tốn học: – Ảnh ma trận biểu diễn tín hiệu Đối với người dùng: – Ảnh chứa thông tin ngữ nghĩa Phân loại ảnh Ảnh tự nhiên: ảnh thu nhận từ thiết bị – camera, microscope, tomography, infrared, satellite, … Ảnh nhân tạo: tạo từ phần mềm chuyên biệt – Đồ họa máy tính (computer graphics), thực ảo (virtual reality) Ảnh tự nhiên ảnh nhân tạo Ảnh nhân tạo Phân loại ảnh Ảnh mức xám I(x,y) [0 255] Ảnh nhị phân I(x,y) {0 , 1} Ảnh màu IR(x,y) IG(x,y) IB(x,y) Source : Tal Hassner Computer Vision Weizmann Institute of Science (Israel) Ảnh màu hệ tọa độ RGB Bên cạnh hệ tọa độ màu RGB ta có hệ tọa độ màu khác Source : Tal Hassner Computer Vision Weizmann Institute of Science (Israel) Cơ sở liệu ảnh kiểu CSDL ảnh: – CSDL chung (General database) : Photo collection, Internet – CSDL hẹp/cụ thể (Specific database): face database, medical database CSDL ảnh (…): General database General database : Photo collection, Internet – Nội dung đa dạng, không đồng – Biểu diễn dựa đặc trưng chung (shape, color, texture, ) – Vùng ứng dụng rộng 10 CSDL ảnh (…): Specific database Specific database: Nội dung – Thường dành cho ứng dụng đặt biệt (ảnh sinh trắc học (- bimometry, ảnh y học – medical images) – Đặc trưng trích chọn tùy thuộc vào lĩnh vực ứng dụng 11 http://rad.usuhs.edu/medpix/master.php3?mode=slide_sorter&pt_id=13985 Tìm kiếm ảnh Tìm hình « Steve Jobs » ? Đây hình ? / Đây ? / Bức hình chụp đâu ? Who ? 12 What ? Where ? Kiểu truy vấn: từ khóa Tìm hình « Steve Jobs » ? Được sử dụng rộng rãi nhất: Google, youtube, … 13 Kiểu truy vấn: từ khóa Hạn chế: – Từ khóa lấy từ: Văn xung quanh ảnh (Google Image, Google Video) Đánh dấu thủ công giá thành cao – Nhập nhằng: chọn từ khóa ? Tính chủ quan người đánh dấu keyword-image Phụ thuộc ngôn ngữ Phụ thuộc ngữ cảnh 14 Kiểu truy vấn: dựa nội dung 15 http://wwwroc.inria.fr/imedia/index.php?option=com_content&view=article&id=95&Itemid=60 Kiểu truy vấn: dựa nội dung 16http://www- roc.inria.fr/imedia/index.php?option=com_content&view=article&id=95&Itemid=60 Kiểu truy vấn: dựa nội dung Đặc điểm: – Truy vấn chứa hình ảnh – Mục đích tìm kiếm : «tương tự »: đối sánh khơng xác Trích chọn tự động đặc trưng tìm kiếm dựa độ tương tự đặc trưng Lĩnh vực nghiên cứu quan tâm Truy vấn: – Bằng ví dụ – Bộ phận 17 – Bằng hình vẽ (Sketch) Kiểu truy vấn: dựa nội dung Vấn đề: – Nội dung đa dạng – Khối lượng liệu cần xử lý lớn thường trùng lặp: Numeric gap – Vấn đề ngữ nghĩa: Semantic gap VD: làm để biết người vui /buồn 18 CBIR 19 Source: Slides of Muriel Visani CBIR – bước Trích chọn đặc trưng (Biểu diễn ảnh): Đánh mục để tăng hiệu tìm kiếm (xem chương 3) Lựa chọn thước đo độ tương tự ? 20