Nghiên cứu một số kỹ thuật hỗ trợ tìm kiếm ảnh theo nội dung : Luận văn ThS. Công nghệ thông tin: 1 01 10

ĐẠI HỌC QUỐC GIA HÀ NỘI KHOA CÔNG NGHỆ ĐINH ĐỨC HÙNG NGHIÊN CỨU MỘT SỐ KĨ THUẬT Hỗ TRỢm • m TÌM KIẾM ẢNH THEO NỘI DUNG Chuyên ngành: Công nghệ Thông tin Mã số: 1.01.10 LUẬN VĂN THẠC s ĩ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS NGÔ QUỐC TẠ O Hà n ộ i-2003 ị i)ĨW HOC C.UÓCGiA MA MỤC LỤC LỜI CẢM ƠN Chương TỔNG QUAN VỀ TRA ctnu ẢNH 1.1 Giới thiệu xử lí ảnh ỉ 1.1 C ác giai đoạn x lí ả n h L M ộ t s ố khái niệm x lí ảnh .7 1.2 Giới thiệu tìm kiếm ảnh L3 Mục tiêu luận văn 10 1.4 Kết luận •••••••••••: ••••••••••••••••••••"••••••••••••• 11 Chương MỘT số KĨ THUẬT CHUNG VỀ TÌM KIẾM ẢNH THEO NỘI DUNG 12 21 Giới thiệu _ _ -•••••••••••••• 12 2.2 Phạm vi tìm kiếm ảnh theo nội 12 2.2.7 Phân loại theo ứng dụng 12 2.2.2 Vùng ảnh lỗ hổng cảm giác 13 2.2.3 T ri thức vùng 14 2.3 Biểu diễn nội dung ảnh, xử lí ảnh 16 L Xử lí màu sắ c 17 2.3.2 Xử lí hình dạng cục 17 2.3.3 Xử lí cấu trúc ả n h 18 K ết lu ậ n 18 2A Thể nội dungỉ Các đặc trư n g """" 18 2.4.1 Gộp liệu 19 2.4.2 C ác đặc trưng 19 2.4.3 M ô tả cấu trú c 21 2.5 Sự thể độ tương tự •••••••••••••••••••• 22 2.5.1 T h ể ngữ n g h ĩa 22 2.5.2 Đ ộ tương tự 22 2.5.3 Thảo luận th ể độ tương tự 25 2.6 Tương tác : : 25 2.6.1 Không gian truy vấn 25 2.6.2 H iển thị không gian truy v ấ n 26 2.6.3 Tương tác với không gian truy vấn 27 2.6.4 K ết lu ậ n 27 2.7* Hệ thống •••••••••••••••••••••••••••••• 28 2.7.7 Lưu trữ đánh ch ỉ số 28 2.7.2 K iến trúc hệ thống 29 2.7.3 Đ ánh giá hệ thống 29 K ết lu ậ n 31 2.8 Một số kết luận chung 31 Chlĩơng HAI Kĩ THUẬT Hỗ TRỢ TÌM KIẾM ẢNH THEO NỘI DUNG 3.1 Giới thiệu 3.2 Kĩ thuật phân đoạn ảnh sử dụng kì vọng lớn 3.2.1 Trích chọn đặc trư n g 3.2.2 N hóm điểm ảnh thành vùng 3 Biểu diễn vù n g 3.3 Kĩ thuật so khớp theo qui hoạch động 3.3.1 Biểu diễn hình dạng D P 3 , Các trường hợp cần so khớp 3.3.3 Bảng qui hoạch động (DP ta b le ) 3.3.4 Đ ánh giá so khớp hàm khoảng c c h 3 Các yếu tố ảnh hưởng đến giá so kh p Chương ÚNG DỤNG TRONG TÌM KIẾM ẢNH THEO NỘI DUNG •••••• 丄 Giới thiệu 34 34 34 34 38 40 41 41 42 43 45 46 4.2 ứng dụng k ĩ thuật phàn đoạn sử dụng kì vọng lớn 50 50 50 4.3 ứ n g dụng k ĩ th u ậ t qui hoạch độ n g Q uá trình so k h p 52 52 KẾT LUẬN VÀ KIẾN NGHỊ TÀI LIỆU THAM KHẢO PHỤ LỤC 57 58 60 DANH MỤC BẢNG BIỂU VÀ HÌNH VẼ Bảng 1: Ba phân loại theo mục đích hệ thống tìm kiếm ảnh theo nội dung 13 Bảng 2: So sánh vùng rộng vùng h ẹ p 14 Hình 1: Các giai đoạn xử lí ảnh Hình 2: Các thành phần hệ thống xử lí ảnh Hình 3: Các nguồn tri thức chung theo thứ tự 15 Hình 4: Các module xử lí ảnh 16 Hình 5: Các cách khác để nhóm liệu ảnh .18 Hình : Sơ đổ k ĩ thuật phân đoạn ảnh sử dụng kì vọng lớn .34 Hình 7: Các cửa sổ khởi tạo thuật toán EM 37 (a)K = ,(b )K = ,(c)K = 3và(d)K = 4, (e) K= Hình 8: Ví dụ vể bảng DP với ；VI=5 (shape A) A)=7 (shape B) 44 s， X T phần khởi động, tính tốn kết thúc Hình 9: Các số hình học cho việc định nghĩa độ quan trọng cùa đoạn 46 Hình 10: Tóm tắt thuật tốn so khớp 53 Hình 11 : Các trường hợp biểu diễn đường cong 55 Aj đường cong ban đầu, A2 đường cong đối xứng, A 3minh hoạ trình duyệt theo hướng ngược lại A4 đối xúng Aj với hướng duyệt ngược ỉại Chương TỔNG QUAN VỂ TRA c ứ u ẢNH 1丄 Giới thiệu xử lí ảnh Trong năm gần đây, với phát triển vũ bão ngành Khoa học K ĩ thuật nói chung đặc biệt Cơng nghệ Thơng tin x lí ảnh, m ột Khoa học Công nghệ Thông tin thuộc chun ngành T rí tuệ nhân tạo có phát triển ứng dụng đáng kể nhiều ĩĩn h vực khác Khô học xử lí ảnh so với nhiều ngành khoa họe khác tương đối m ới mẻ, quy mô công nghiệp, x lí ảnh thu nhiều kết ứng dụng lớn V iệ t nam nhiều nước giới Các giai đoạn xử lí ảnh Bài tốn xử lí ảnh bao gồm giai đoạn tổng quát sau [1]: H ình 1: Các giai đoạn xử lí ảnh • Thu nhận ảnh: ảnh thu nhận qua camera tín hiệu tương tự tín hiệu số Ngồi ảnh thu nhận từ vệ tinh thơng qua cảm ứng (sensor), tranh ảnh quét scanner, • Ảnh sau kh i thu nhận số hoá để lưu trữ ♦ 攀 • • • phân tích giai đoạn (phân tích ảnh Phân tích ảnh gồm nhiẻu giai đoạn nhỏ hơn: tăng cường, nâng cao chất lượng ảnh (khắc phục thiếu xót trình thu nhận ảnh ：nhiểu, m éo.v.v )， làm bật đặc trưng ảnh làm cho ảnh trở tình trạng ban đầu.v.v.x việc phát đặc trưng ảnh ： biên, vùng ảnh，trích chọn đặc trưng ảnh • Cuối ảnh nhận dạng, phân lớp phục vụ cho mục đích khác Đé xử lí q trìn h m ột hệ thống xử lí ảnh bao gồm m ột số thành phần sau (phần cứng) [ ]: Hình 2: Các thành phần m ột hệ thống xử lí ảnh • Camera: giống m hệ thống Camera có hai loại: loại CCIR ứng với chuẩn CCIR quét ảnh v i tần số 1/25，m ỗi ảnh gồm 625 dòng; loại CCD gồm photo đ iố t tương ứng m ột cường độ sáng m ột điểm ảnh ứng vớ i m ột phần tử ảnh (p ixe l) • Bộ xử lí tương tự (analog processor) thực chức năng: - Chọn camera thích hợp hệ thống có nhiều camera 一 Chọn hình hiển th ị t i hiu* ô ã ãã - Thu nhn tín hiệu video số hố (digitalizer) Thực lấy mẫu mã hố 一 Tiển xử lí ảnh thu nhận • Bộ xử lí ảnh số gồm nhiều xử lí chuyên dụng: xử lí lọc, trích chọn đường bao, nhị phân hố ảnh • Máy chủ đóng vai trị điểu khiển thành phần nêu • Bộ nhớ ngoài: lưu trữ liệu ảnh kiểu liêu khác, để chuyển giao cho trình khác 1.1.2 Một số khái niệm xử lí ảnh • Pixel (phần tử ảnh hay điểm ảnh): Để xử lí ảnh máy tính điện tử cần số hố hay nói cách khác biến đổi ảnh từ tín hiệu liên tục sang tín hiệu rờ i rạc thơng qua việc lấy mẫu lượng tử hố Trong q trình người ta sử dụng khái niệm pixel M ỗ i pixel đặc trưng cặp toạ độ (x ， y) màu sắc • Ảnh m ột tập hợp pixel (điểm ảnh) ta coi ảnh m ột mảng hai chiếu I(n ， p) có n dịng p cột, với ảnh có nxp pixel Ta k í hiệu I(x ， y) để m ột pixel • Mức xám (Gray level): kết cua việc mã hố ứng với m ột cường độ sáng m ỗi điểm ảnh với m ột giá trị số Thông thường ảnh mã hố dạng 16，32 hay 64 mức • Biẻu diển ảnh: biểu diễn ảnh người ta ữiường đùng phần tử đặc trưng ảnh pixel M ộ t hàm hai biến chứa thông tin m ột biểu diẽn ảnh M ộ t số mô hình thường dùng để biểu diẽn ảnh là: mơ hình tốn (biểu diễn ảnh nhờ hàm sở), mơ hình thống kê (ảnh coi m ột phần tử m ột tập hợp đặc trưng kì vọng tốn, hiệp biến, phương sai, moment V.V.) • Tăng cường ảnh: m ột bước tiền xử lí quan trọng bao gồm k ĩ thuật lọc độ tương phản, khử nhiễu, màu.v.v • Biến đổi ảnh (Image Transform ) nói tớ i m ột lớp ma trận đơn v ị k ĩ thuật dùng để biến đổi ảnh: Biến đổi Fourier, Sin, Cosin, tích Kronecker, biến đổi Karhum en Loeve.v.v • Phân tích ảnh: liê n quan đến việc xác đinh độ đo đinh lượng m ột ảnh để đưa m ột mơ tả đầy đủ ảnh Có nhiều k ĩ thuật hổ trợ phân tích ảnh: xác định biên ảnh, k ĩ thuật lọc v i phân, dò theo quy hoạch động, k ĩ thuật phân vùng ảnh dựa tiêu chuẩn đánh giá màu sắc，cường độ.v.v • Nhận dạng ảnh: trình liên quan đến mơ tả đối tượng mà người ta m uốn đặc tả Nhận dạng ảnh thường sau q trình trích chọn đặc trưng chủ yếu đối tượng • Tra cứu ảnh (hay tìm kiếm ảnh): để tra cứu ảnh cần mô tả ảnh trình nhận dạng ảnh Tra cứu ảnh có nhiệm vụ tìm ảnh theo yêu cầu người sử dụng Nhiều hệ thống nhận dạng tra cứu ảnh nghiên cứu thành công năm gần [13] • Nén ảnh: nhằm giảm kích cỡ ảnh để truyền tải ảnh qua mạng hay để giảm nhớ lưu trữ giữ liệu ảnh [ ] 1.2 Giới thiệu tìm kiếm ảnh Gần có m ột bùng nổ mạnh mẽ thơng tin , nhiều sở liệu xây dựng [13] Nó nguồn tài sản vơ q giá nhiều ngành kin h tế nhiều ngành khoa học k ĩ thuật Tuy nhiên, để sứ đụng m ột cách hiệu sở liệu ảnh cần phải có phương pháp đồng bao gồm tất khâu q trình xử lí ảnh • X lí nhiẻu méo q trình thu nhận ảnh để ảnh lưu trữ trung thực với hình ảnh ban đầu Đồng thời đưa thuật toán tố i ưu để xử lí nhiễu méo Gắn mơ đun xử lí vào hệ thống tra cứu ảnh để nâng cao hiệu hệ thống • Tìm cách lưu trữ ảnh cách hiệu tiế t kiệm không gian nhớ lưu trữ, [5 ], [1 ] ，[11] liệu ảnh lớn so với liệu dạng văn Ngoài việc lưu trữ liệu ảnh cịn giúp cho việc xử lí thuận lợ i liệu này, chẳng hạn để tra cứu ảnh yêu cầu với tốc độ nhanh, thuật tốn xử lí ảnh dẻ cài đặt, để đưa ảnh lên mạng Internet truyền đ i với tốc độ cao • Biểu diễn liệu ảnh theo phương pháp để tìm kiếm ảnh đạt hiệu cao [5] • Tra cứu (tìm kiếm ) m ột ảnh theo yêu cầu，với tốc độ độ xác cao M ộ t hệ thống tìm kiếm ảnh cần thư viện điện tử, ngày phát triển rộng rãi Để giải tốn tìm kiếm ảnh cần giải tố t nhiểu toán liên quan: lưu trữ, biểu diễn, tăng cường ảnh (sửa chữa nhiễu, méo ảnh khảo cổ học với chất lượng xấu) Ngồi thuật tốn tra cứu ảnh phải chạy tập liệu ảnh cực ĨĨ1 • X ây dựng hệ thống tìm kiếm tương tác trực quan với người sử dụng: cho phép người sử dụng đặc tả yêu cầu lần thứ lần tìm kiếm m ột cách thuận lợ i thoải m [5 ], [13] 10 • Hệ thống tra cứu ảnh tra cứu mức cao tìm theo đối tượng theo yêu cầu nằm ảnh (tìm theo nội dung) M ộ t cách tổng quát, tìm kiếm ảnh dùng m ột phương pháp để c5 tìm m ột ảnh thoả mãn yêu cầu củâ người sử dụng T im kiếm ảnh theo rùi dung m ột trường hợp riêng tìm kiếm ảnh nói chung, Tìm kiếm ảnh theo nội dung việc tìm kiếm ảnh theo đặc trưng thuộc ảnh mà ta g?i nộ i dung: theo vùng, theo đối tượng ảnh, theo sơ đồ mức xám.v.v 1.3 Mục tiêu luận văn Trong khuôn khổ m ột luận văn cao học m ột khoảng thời gian hạn chế không đặt mục tiêu cao m ột vấn đề lớn Luận vin đề cập đến m ột số vấn đế dư óiđây: • N ghiên cứu, phân tích đưa nhìn chung vể tìm kiếm ảnh theo nội dung phương pháp tìm kiếm ảnh theo nội dung năm gần [13] m ột số khía cạnh sau: đặc trưng, kiểu loại ảnh, chỗ hổng cảm ứng chỗ hổng ngữ nghĩav • T ìm hiểu hệ thống tra cứu ảnh theo: đặc trưng toàn cục, điểm bật, đặc trưng hình dạng, kết hợp đấu hiệu cấu trúc, độ tương tự ảnh đối tượng ảnh Tương tác người sử dụng hệ thống • Nghiên cứu đánh giá phương pháp phân đoạn ảnh B lobw orld sử dụng k ì vọng cực truy vấh ảnh; phương pháp tìm kiếm ảnh qui hoạch động [1 ] ，[8 ] ，[5] • M ộ t số thử nghiệm thuật tốn đưa • V iệc cải tiến, đưa thuật toán ứng dụng vào thực tế toán Nhận dạng tìm kiếím ảnh dành cho nghiên cứu lớn 46 Trong A M ergingC ost(ơụw^ I iw)) + Ằ M ergm gC osí(bU w^ \ j w)) giá việc ghép đoạn a (iw^ I iw) hình A đoạn b ( jw^ I j w) hình B Thành phần cuối giá việc kết hợp đoạn ghép a (iw^ \iw) với đoạn ghép b { jw_x |y w) ; X số thể độ quan trọng liên hệ giá ghép độ không tương tự; X nhỏ cho phép ghép, X lớn không cho phép ghép 3.3.5 Các yếu tố ảnh hưởng đến giá so khớp 3.3.5 丄 Các yếu tố hình học Các yếu tố hình định nghĩa sau (hình 9): G óc quay 0ị góc tạo tiếp tuyến Pi pi+i，nó cho ta thấy độ cong Góc Qị mang giá trị dương đoạn lồ i, âm đoạng lõm Đ ộ dài lị độ dài đoạn ãị V ù ng , Sị ỉà vùng g iớ i hạn cung dây cung giao H ình 9: Các số hình học cho việc định nghĩa độ quan trọng đoạn 47 3,3.5.2, Hệ số co dân K h i so khớp m ột hình b ị thay đổ i độ dài nhân lên với m ột hệ s ố co dãn thích hợp Hệ số định nghĩa phụ thuộc vào kiểu so khớp sau đây: So khớ p tồn cục Hình A so khớp v i tồn hình B TTiuật tốn sử dụng tồn đoạn từ hai hình Lúc hệ số co dãn m ột số tuih công thức sau: p = length o f B (3 ) So kh p cục H ình A so khớp vớ i tồn m ột phần hình B M ộ t hệ số co dãn pt ước lượng cho so khóp phần (ơo， j。 ) ，( ijjiX •••， (it.pjt-i)) tươn8 ứng vóri phần so khớp khác (chẳng hạn t-1): A = (⑷ (3.14) Pl 2< t