NGHIÊN cứu PHƯƠNG PHÁP TRA cứu ẢNH tài LIỆU dựa vào tìm KIẾM văn bản TRONG HÌNH ẢNH tài LIỆU

1 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Ơ NGUYỄN VĂN TÙNG NGHIÊN CỨU PHƯƠNG PHÁP TRA CỨU ẢNH TÀI LIỆU DỰA VÀO TÌM KIẾM VĂN BẢN TRONG HÌNH ẢNH TÀI LIỆU Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS NGÔ QUỐC TẠO HÀ NÔI – NĂM 2014 LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu riêng tôi, với hỗ trợ từ người hướng dẫn khoa học PGS.TS NGÔ QUỐC TẠO Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Việc sử dụng liệu có luận văn thu thập từ nguồn thông tin khác có ghi phần tài liệu tham khảo Nếu phát gian lận nào, xin chịu trách nhiệm trước Hội đồng, kết luận văn Tác giả NGUYỄN VĂN TÙNG LỜI CẢM ƠN Trên thực tế thành công mà không gắn liền với hỗ trợ, giúp đỡ người xung quanh Trong suốt thời gian từ bắt đầu học tập trường đến nay, em nhận nhiều quan tâm, giúp đỡ quý Thầy, Cô giáo Học viện Công nghệ Bưu Viễn thông đem tri thức tâm huyết để truyền đạt vốn kiến thức quý báu cho chúng em luôn tạo điều kiện tốt cho chúng em suốt trình theo học học viện Em xin chân thành cảm ơn quý Thầy, Cô giáo Ban lãnh đạo học viện! Đặc biệt em xin gửi lời biết ơn sâu sắc đến thầy hướng dẫn - PGS.Tiến Sĩ Ngô Quốc Tạo, người trực tiếp hướng dẫn em hoàn thành luận văn Và hết, xin kính gửi lòng biết ơn đến ba mẹ tất người thân đồng hành động viên để hoàn thành tốt luận văn Tuy cố gắng hoàn thành đồ án chắn đồ án nhiều thiếu sót Em mong nhận góp ý, bảo thầy cô bạn để phát triển đồ án với ứng dụng thiết thực tương lai Hà nội, ngày 21 tháng 04 năm 2014 Học viên Nguyễn Văn Tùng MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT RGB Red, Green, Blue CMY Cyan-Magenta-Yellow CBIR Content Baased Image Retrieval CSDL Cơ Sở Dữ Liệu DANH MỤC CÁC BẢNG DANH MỤC HÌNH VẼ LỜI MỞ ĐẦU Cùng với mở rộng multimedia, với khối lượng hình ảnh phim lưu trữ ngày lớn, với phát triển thiết bị điện tử, tin học viễn thông thu hút ngày nhiều chuyên gia vào nghiên cứu công cụ cung cấp cho việc lấy thông tin liệu ảnh từ nội dung chúng Trong thực tế, toán tra cứu ảnh có nhiều ứng dụng quan trọng Các ứng dụng phức tạp so sánh mẫu vân tay, tìm kiếm ảnh tội phạm… áp dụng ngành khoa học hình sự, sở liệu ảnh địa lý, y học… làm cho lĩnh vực nghiên cứu phát triển nhanh công nghệ thông tin Tuy nhiên số lượng ảnh lưu trữ trở nên lớn vấn đề phải có phương pháp tổ chức sở liệu ảnh tốt với kỹ thuật tìm kiếm, tra cứu ảnh hiệu quả, có độ xác cao có hiệu tốt Việc tìm kiếm ảnh mong muốn hàng triệu ảnh thuộc đủ loại chủ đề khác khó khăn Tìm kiếm theo cách thông thường dựa văn bổ sung truy vấn dựa theo nội dung, tìm vào khía cạnh nhận thức thông tin ảnh Thông thường hệ thống tìm kiếm ảnh, nội dung nhìn thấy màu sắc, hình dạng, kết cấu, bố cục không gian thường chọn lọc, đánh số biểu diễn dạng vector đặc trưng nhiều chiều Những đặc trưng sử dụng để đối sánh tìm ảnh khác có liên quan Tùy vào mục đích tìm kiếm khác mà có hình thức tra cứu ảnh khác Hệ thống tìm từ ảnh tài liệu dạng hệ thống tra cứu ảnh nói chung Mục đích hệ thống tìm kiếm từ ảnh tài liệu đưa ảnh tài liệu liên quan với từ mà người dùng cung cấp Trong luận văn trình bày hệ thống tra cứu ảnh tài liệu giúp người dùng tìm kiếm thông tin từ ảnh tài liệu từ câu truy vấn Hệ thống đưa việc tìm kiếm ngôn ngữ Tiếng anh Tài liệu gồm có chương phần kết luận: Chương 1: TỔNG QUAN VỀ TRA CỨU ẢNH Chương đưa khái niệm chung, xử lý ảnh phương pháp dùng để tra cứu ảnh Mục đích đưa cho người đọc hiểu biết chung lĩnh vực mà xử lý ảnh nghiên cứu Chương 2: KIẾN TRÚC CHUNG VỀ HỆ THỐNG TRA CỨU ẢNH TÀI LIỆU Chương đưa tranh chung kiến trúc hệ thống tra cứu ảnh dựa vào nội dung Dựa vào kiến trúc chung phần mô hình hóa bước cần thực hệ thống tra cứu ảnh tài liệu, qua xây dựng hệ thống đề xuất tìm kiếm từ ảnh tài liệu Chương 3: THỰC THI HỆ THỐNG ĐỀ XUẤT Chương chủ yếu trình bày thao tác dùng để nhận dạng từ văn hình ảnh tài liệu tìm hiểu hiểu đặc trưng dùng để đối sánh Véc tơ đặc trưng CSDL đặc trưng Chương 4: XÂY DỰNG CHƯƠNG TRÌNH THỬ NGHIỆM Chương trình bày phần cài đặt hệ thống Đánh giá số từ truy vấn hệ thống Kết luận Nhìn chung, đồ án đưa khái niệm hệ thống tra cứu ảnh tài liệu với hệ thống tìm kiếm từ ảnh tài liệu cụ thể đề xuất Các bước hệ thống trình bày chương Tuy nhiên, thời gian thực hạn hẹp, kiến thức hạn chế nên luận văn không tránh khỏi thiếu sót Rất mong nhận giúp đỡ thầy cô bạn quan tâm đến vấn đề để em hoàn thiện kiến thức 10 CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1.Tổng quan xử lý ảnh Xử lý ảnh từ lâu lĩnh vực mang tính khoa học công nghệ Nó nghành khoa học mẻ so với nhiêu nghành khoa học khác tốc độ phát triển nhanh, điều kích thích trung tâm nghiêm cứu, ứng dụng đặc biệt máy tính chuyên dụng riêng cho Xử lý ảnh môn học liên quan đến nhiều lĩnh vực cần nhiều kiến thức sở khác Có thể kể đến xử lý tín hiệu số, môn học cho xử lý tín hiệu chung Các khái niệm tính chập, biến đổi Fouricer, Laplace, lọc hữu hạn… Tiếp đến công cụ tính toán Đại số tuyến tính, xác suất thống kê Các kiến thức cần thiết trí tuệ nhân tạo, mạng nơ ron nhân tạo đề cập trình phân tích nhận dạng ảnh Các phương pháp xử lý ảnh ứng dụng nâng cao chất lượng ảnh phân tích ảnh Ứng dụng biết đến nâng cao chất lượng ảnh báo truyền qua cáp từ London đến NewYork từ năm 1920 Vấn đề nâng cao chất lượng ảnh có liên quan tới phân bố mức sáng độ phân giải ảnh Vấn đề giải vào năm 1995 Năm 1964 máy tính có khả xử lý nâng cao chất lượng ảnh từ mặt trăng vệ tinh Ranger Mỹ bao gồm : làm nối đường biên, lưu ảnh Từ năm 1964 đến nay, phương tiện xử lý nâng cao chất lượng, nhận dạng ảnh không ngừng phát triển hoàn thiện 1.1.1.Một số vấn đề hệ thống xử lý ảnh * Ảnh điểm ảnh: Ảnh thực ảnh liên tục không gian giá trị độ sáng Để xử lý máy tính cần thiết phải đưa dạng ảnh số Trong trình số hóa, người ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc thông qua trình lấy mẫu (rời rạc hóa không gian) lượng tử hóa thành phần giá trị (rời rạc hóa biên độ giá trị) mà nguyên tắc mắt thường không phân biệt hai điểm kề Trong trình người ta sử dụng khái niệm Picture Element mà ta quen gọi pixel Ảnh thường có kích thước vuông mô tả N N m-bit điểm ảnh, N 48 E = 100 ( BP) ( IW )( IH ) (3.2.18) Trong đó: (BP) số điểm ảnh đen có hình chữ nhật biên từ (IW) chiều rộng hình chữ nhật biên từ (IH) chiều cao hình chữ nhật biên từ 3.2.2.3.Điểm trọng tâm từ Điểm biểu diễn khoảng cách Euclidean từ điểm trọng tâm từ đến điểm tận bên trái hình chữ nhật biên Để tính khoảng cách này, điểm trọng tâm theo chiều ngang dọc phải xác định theo công thức sau: Cx = M (1,0) M (0,0) (3.2.19) Cy = M (0,1) M (0,0) (3.2.20) Trong điểm trọng tâm theo chiều ngang điểm trọng tâm theo chiều dọc moment hình học với bậc p + q tính theo công thức sau: p M ( p ,q ) q  x   y  = ∑∑  ÷ f ( x, y ) ÷  x y  width   height  (3.2.21) Trong đó, x y tọa độ điểm ảnh ảnh Bởi ảnh xử lý ảnh nhị phân nên hàm điểm ảnh có tọa độ x, y điểm ảnh đen không điểm ảnh trắng Việc chia x y cho chiều rộng chiều cao hình chữ nhật biên từ đưa moment hình học chuẩn hóa không thay đổi với kích thước từ Cuối cùng, đặc trưng điểm trọng tâm 49 xác định khoảng cách Euclidean so với điểm tận bên trái hình chữ nhật biên sau: COG = C x2 + C y2 (3.2.22) 3.2.2.4.Phép chiếu dọc Đặc trưng bao gồm vector với hai mươi phần tử lấy từ phép chiếu dọc chuẩn hóa làm trơn Những thành phần tương ứng với hệ số hai mươi thành phần phép biến đổi cosin rời rạc ( Discrete Cosine Transform ) phép chiếu dọc chuẩn hóa làm trơn Phép chiếu dọc ứng với từ làm trơn sử dụng ma trận mặt nạ kích thước Với cách này, phép chiếu cuối có tác động nhiều đến thay đổi kích cỡ loại font chữ Hình 3.26: Ảnh tính toán phép chiếu dọc : (a) ảnh gốc; (b) phép chiếu dọc; (c) phép chiếu làm trơn sử dụng ma trận mặt nạ 5x1 3.2.2.5.Phép chiếu hình dạng Phép chiếu hình dạng mô tả Hình 3.27 bên xem dấu hiệu để xác định hình dạng từ Dấu hiệu đưa đến vector đặc trưng gồm 50 thành phần, 25 giá trị đầu 25 hệ số phép biến đổi cosin rời rạc (Discrete Cosin Transfrom ) phép chiếu hình 50 dạng chuẩn hóa làm trơn (Hình 3.27d) 25 giá trị lại 25 hệ số phép biến đổi cosin rời rạc phép chiếu hình dạng chuẩn hóa làm trơn ( Hình 3.27e) Để tính toán phép chiếu hình dạng trên, ảnh từ quét từ xuống Như quan sát Hình 3.27b, điểm ảnh đen tìm thấy điểm ảnh sau cột, xét theo chiều từ xuống chuyển thành điểm ảnh đen Phép chiếu hình dạng thao tác tương tự Như quan sát Hình 3.27c, ảnh từ quét từ lên Tất điểm ảnh cột chuyển thành điểm ảnh đến điểm ảnh đen tìm thấy Cuối hai phép chiếu tính toán giống đặc trưng phép chiếu dọc trước Hình 3.27: Ảnh biểu diễn thao tác với đặc trưng phép chiếu từ 3.2.2.6.Những đặc trưng phần bên từ Phần bên từ phần mà chữ bình thường có phần nhô hướng lên chữ ‘d’, ‘t’, ‘b’,v.v Đặc trưng lấy gồm 10 thành phần với giá trị nhị phân lấy từ phần bên từ Để tính toán đặc trưng này, 51 ban đầu phải có phép chiếu ngang ảnh Sau đó, từ phép chiếu ngang này, phần bên từ xác định theo thuật toán sau: Bước 1: Áp dụng phép làm trơn cho phép chiếu ngang với ma trận mặt nạ Bước 2: Bắt đầu từ trên, tìm vị trí i biểu đồ phép chiếu ngang V[i] cho V[i] H Hình bên Trong đó, H chiều cao lớn phép chiếu ngang (max{V[i]}) Nếu vị trí i nằm nửa bên phép chiếu ngang từ phần bên Bước 3: Tìm vị trí k (0,i) lược đồ phép chiếu ngang V[i] V(k) V(k1) Thì k định nghĩa vị trí phần bên từ, Nếu k có giá trị nhỏ ( ) từ phần bên Hình 3.28: Ảnh biểu diễn thao tác với đặc trưng thông tin phần bên phần bên từ 52 Sau đó, phần bên từ chia thành mười phần Hình 3.28b Số điểm ảnh đen đếm phần Nếu số lớn chiều cao từ giá trị tương đối vector đặc trưng đặt 1; ngược lại đặt Vector đặc trưng thu Hình 3.28d 3.2.2.7.Những đặc trưng phần bên từ Phần bên từ phần mà chữ bình thường có phần nhô hướng xuống chữ ‘y’, ‘p’, ‘g’,v.v Đặc trưng tính toán tương tự đặc trưng phần từ Nhưng việc tìm kiếm phần bên dưới lên Cuối tổng hợp từ bảy đặc trưng lấy ta có vector đặc trưng gồm 93 thành phần theo thứ tự cấu trúc Hình 35 bên Hình 3.29: Vecto đặc trưng dùng để đối sánh từ 53 3.3.Thuật toán dùng để đối sánh từ Thủ tục đối sánh từ xác định ảnh từ tài liệu mà có độ tượng tự cao so với từ truy vấn thông qua cấu trúc vector đặc trưng Đầu tiên, mô tả tạo vector gồm bảy đặc trưng bao gồm 93 thành phần đề xuất Hình 34 Thành phần đặc trưng tỉ lệ chiều rộng chiều cao; đặc trưng thứ hai đặc trưng mật độ diện tích thứ ba điểm trọng tâm từ Đặc trưng 20 thành phần lấy từ phép chiếu dọc 50 thành phần đặc trưng phép chiếu Cuối cùng, 20 thành phần cuối lấy từ phần bên phần bên từ Tiếp theo, khoảng cách Minskowski tính toán theo vector đặc trưng mô tả cho từ sở liệu: 93 MD(i ) = ∑ ( Q (k ) − W(k , i ) ) (3.2.23) Trong MD(i) khoảng cách Minkowski từ i Q(k) vector đặc trưng mô tả từ truy vấn W(k,i) mô tả từ thứ i Sau đó, tỉ lệ đối sánh với từ lại sở liệu chuẩn hóa giá trị từ đến 100, giá trị thể độ tương tự từ truy vấn với từ sở thấp hay cao Tỉ lệ cho từ tính toán sau: R (i ) = 100 − MD (i ) max( MD) (3.2.24) Trong đó, giá trị tỉ lệ từ i, MD(i) khoảng cách Minskowski có giá trị cao tìm thấy sở liệu Cuối cùng, hệ thống đưa ảnh tài liệu chứa từ có độ tương tự cao so với từ truy vấn thị tỉ lệ đối sánh đến người dùng Trong thí nghiệm viết này, từ tương tự với từ truy vấn từ có tỉ lệ 65% 54 CHƯƠNG 4: XÂY DỰNG CHƯƠNG TRÌNH THỬ NGHIỆM 4.1.Môi trường phát triển CSDL Hệ thống tra cứu ảnh tài liệu xây dựng Visual Studio 2010, ngôn ngữ lập trình C# Dữ liệu ảnh CSDL 100 ảnh ngôn ngữ Tiếng anh Cở sở liệu sử dụng Microsoft SQL Server 2008 4.2.Giao diện chương trình Giao diện chương trình gồm hai chức “Tra cứu ảnh” “Thêm ảnh vào CSDL” 55 Hình 3.30: Giao diện chương trình Giao diện chức “Thêm ảnh vào CSDL” bước ảnh trải qua bước xử lý bao gồm chuyển ảnh màu sang ảnh xám, chuyển ảnh sang ảnh nhị phân, tìm thành phần liên quan, tách từ, trích chọn vector đặc trưng trước đưa vào sở liệu Hình 3.31: Giao diện chức “Thêm ảnh vào CSDL” 56 Trong giao diện người dùng, để thực chức xử lý đẩy ảnh, đặc trưng từ ảnh vào sở liệu, người dùng nhấn nút Duyệt file để chọn ảnh Sau ấn nút Lưu Hệ thống đẩy đặc trưng từ ảnh vào sở liệu trả thời gian xử lý Hình 3.32: Cập nhật ảnh vào CSDL thành công Giao diện chức “Tra cứu ảnh” gồm hai phần nhập từ khóa truy vấn phần thứ hai thị kết truy vấn Trong giao diện này, để thực thao tác tìm kiếm từ, người dùng nhập từ cần tìm Sau ấn nút “Tìm kiếm” để tìm từ.Hệ thống đưa kết ảnh chứa từ đối sánh với từ truy vấn Để quan sát chi tiết vị trí từ ảnh, người dùng ấn vào nút “Hiển thị” Các từ liên quan tài liệu bôi đậm lên người dùng quan sát 57 Hình 3.33: Kết tìm kiếm Hình 3.34: Chi tiết từ có ảnh tài liệu bôi đậm 4.3.Đánh giá hệ thống Hiệu hệ thống truy tìm ảnh nói chung đánh giá dựa hai độ đo precision recall Trong đó: 58 Recall tỉ lệ số tài liệu liên quan tìm tổng số tài liệu liên quan có sở liệu Precision tỉ lệ số ghi liên quan tìm tổng số ghi liên quan số ghi không liên quan tìm Hệ thống đề xuất sử dụng hai độ đo để đánh giá Những từ truy vấn dùng để kiểm tra liệt kê bảng phía biểu đồ Kết thu precision recall tính theo phần trăm ứng với từ thị kết bên dưới: Hình 3.35: Tỉ lệ precision trung bình 79,6% 59 Hình 3.36: Tỉ lệ recall trung bình 96,1% 60 KẾT LUẬN Trong trình thực luận văn, với giúp đỡ hướng dẫn từ phía thầy hướng dẫn bạn bè Em thu nhận nhiều kiến thức bổ ích lĩnh vực xử lý ảnh sau : Nắm bắt bước hệ thống tìm kiếm văn hình ảnh tài liệu, hiểu khái niệm xử lý ảnh Thấy vai trò quan trọng xử lý ảnh hệ tìm kiếm, bước tiền xử lý nhằm nâng cao chất lượng ảnh Tìm hiểu tổng quát hóa phương pháp trích chọn đặc trưng hình ảnh tài liệu, nắm phương pháp đối sánh từ Từ đưa giải pháp cho toán đặt luận văn Áp dụng thành công kiến thức tìm hiểu vào cài đặt thử nghiệm chương trình tìm kiếm văn hình ảnh tài liệu Kết chương trình đạt tốt áp dụng vào thực tế Tuy nhiên tồn hạn chế: Hệ thống thực công việc công việc tìm kiếm từ đạt hiểu cao ngôn ngữ tiếng anh Đối với ngôn ngữ khác hệ thống tìm kiếm xác Khi thực công việc tìm kiếm không phân biệt chữ in hoa chữ thường làm giảm hiệu suất chương trình Không thể tự động tìm kiếm file có ổ cứng mà phải cập nhật ảnh tài liệu tay Để tăng cường khả tìm kiếm hệ thống mở rộng phạm vi ứng dụng, nhược điểm nêu cần khắc phục 61 DANH MỤC TÀI LIỆU THAM KHẢO Tiếng việt [1] PGS.TS.Đỗ Năng Toàn,TS.Phạm Việt Bình, “Giáo trình xử lý ảnh”, Khoa Công Nghệ Thông Tin, Đại Học Thái Nguyên [2] PGS.TS Nguyễn Quang Hoan, “Giáo Trình Xử lý ảnh”, Học viện Công Nghệ Bưu Chính Viễn Thông Tiếng anh [3] Nobuyuki Otsu, “A threshold selection method from gray-level histograms” [4] Manesh B Kokare, M.S.Shirdhonkar, “Document Image Retrieval: An Overview” [5] Kavallieratou, E Fakotakis, N Kokkinakis, “An unconstrained handwriting recognition system” [6] Konstantinos Zagoris, Kavallieratou Ergrina, Nikos Papamarkos, “A Document Image Retrieval System” [7] Shapiro, Stockman,“Computer Vision” [8] Chew Lim Tan, Weihua Huang, Zhaohui Yu, Yi Xu, “Imaged Document Text Retrieval without OCR” [9] Kobus Barnard , Nikhil V Shirahatti, “A method for comparing content based image retrieval method” [10] Anand Kumar, C.V Jawahar, R Manmatha, "Efficient Search in Document Image Collections” [11] Mark S Nixon, Alberto S Aguado, “Feature Extraction and Image Processing” [12] Million Meshesha, C V Jawahar, “Matching word images for content-based retrieval from printed document images” [13] K Zagoris, N Papamarkos , C Chamzas, “Web Document Image Retrieval System Based on Word Spotting” 62 [14] Toni M Rath, R Manmatha, “Word Image Matching Using Dynamic Time Warping” [15] Yue Lu, Chew Lim Tan, “Information Retrieval in Document Image Databases” Danh mục Website tham khảo [16] [17] http://www.labbookpages.co.uk/software/imgProc/otsuThreshold.html http://en.wikipedia.org/wiki/Euclidean_geometry http://www.codeproject.com ... quan Tùy vào mục đích tìm kiếm khác mà có hình thức tra cứu ảnh khác Hệ thống tìm từ ảnh tài liệu dạng hệ thống tra cứu ảnh nói chung Mục đích hệ thống tìm kiếm từ ảnh tài liệu đưa ảnh tài liệu liên... HỆ THỐNG TRA CỨU ẢNH TÀI LIỆU Chương đưa tranh chung kiến trúc hệ thống tra cứu ảnh dựa vào nội dung Dựa vào kiến trúc chung phần mô hình hóa bước cần thực hệ thống tra cứu ảnh tài liệu, qua... lời (text) dựa đặc điểm ảnh, sau sử dụng kỹ thuật tìm kiếm văn thông thường để tìm kiếm ảnh Phương pháp tra cứu ảnh dựa văn sử dụng kỹ thuật sở liệu truyền thống để quản lý ảnh Dựa vào lời thích,