Nghiên cứu phương pháp tra cứu ảnh từ trong tài liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM HÀ NỘI - TRẦN NGỌC ĐỒNG NGHIÊN CỨU PHƢƠNG PHÁP TRA CỨU ẢNH TỪ TRONG ẢNH TÀI LIỆU LUẬN VĂN THẠC SĨ MÁY TÍNH HÀ NỘI, 2015 LỜI CẢM ƠN Trƣớc hết, em xin bày tỏ lòng biết ơn sâu sắc đến thầy hƣớng dẫn PGS.Tiến Sĩ Ngô Quốc Tạo, ngƣời tận tình bảo, giúp đỡ em trình hình thành đề tài luận văn Thầy hƣớng dẫn phƣơng hƣớng triển khai đề tài, cách sử dụng tài liệu tổng kết kết nghiên cứu cách có hệ thống Em xin trân thành cảm ơn tới tất thầy cô giáo Trƣơng đại học Sƣ Phạm Hà Nội đem tri thức tâm huyết để truyền đạt vốn kiến thức quý báu cho chúng em luôn tạo điều kiện tốt cho chúng em suốt trình theo học trƣờng Em xin chân thành cảm ơn quý Thầy, Cô giáo Ban lãnh đạo trƣờng! Cảm ơn đề tài: “Hệ thống đeo tay hỗ trợ đọc sách tiếng Việt dành cho ngƣời khiếm thị ” Mã số VAST01.07/15-16 hỗ trợ thực luận văn Luận văn hoàn thành, cố gắng thân có động viên, giúp đỡ kích lệ tinh thần bạn bè đồng nghiệp gia đình giúp cho em vƣợt qua khó khăn thời gian thực luận văn Em xin trân thành cảm ơn tới tất ngƣời Hà nội, ngày 20 tháng 05 năm 2015 Học viên Trần Ngọc Đồng LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng tôi, với hỗ trợ từ ngƣời hƣớng dẫn khoa học PGS.TS NGÔ QUỐC TẠO Các số liệu, kết nêu luận văn trung thực chƣa đƣợc công bố công trình khác Việc sử dụng liệu có luận văn đƣợc thu thập từ nguồn thông tin khác có ghi phần tài liệu tham khảo Nếu phát gian lận nào, xin chịu trách nhiệm trƣớc Hội đồng, nhƣ kết luận văn Tác giả Trần Ngọc Đồng MỤC LỤC MỞ ĐẦU 1 Lý chọn đề tài Mục đích nghiên cứu Nhiệm vụ nghiên cứu Đối tƣợng phạm vi nghiên cứu Phƣơng pháp nghiên cứu Bố cục luận văn NỘI DUNG CHƢƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Một số vấn đề hệ thống xử lý ảnh 1.1.1 Xử lý ảnh 1.1.2 Ảnh điểm ảnh 1.1.3 Khái niệm ảnh đen trắng ảnh màu 1.1.4 Không gian màu 1.2 Giới thiệu kiến trúc chung hệ thống tra cứu ảnh 10 1.2.1 Tra cứu thông tin 10 1.2.2 Tra cứu ảnh dựa vào nội dung 11 1.3 Hệ thống đề xuất 15 CHƢƠNG 2: PHƢƠNG PHÁP TRA CỨU ẢNH TỪ TRONG ẢNH TÀI LIỆU 17 2.1 Chuyển từ ảnh màu sang ảnh nhị phân 17 2.1.1 Chuyển từ ảnh màu sang ảnh xám 17 2.1.2 Chuyển từ ảnh xám sang ảnh nhị phân 17 2.1.3 Thao tác với ảnh nhị phân 24 2.2 Trích chọn đặc trƣng đối sánh từ 33 2.2.1 Đặc trưng vùng đối tượng 33 2.2.2 Những đặc trưng hệ thống đối sánh 41 2.3 Thuật toán dùng để đối sánh từ 47 CHƢƠNG 3: XÂY DỰNG CHƢƠNG TRÌNH THỬ NGHIỆM 49 3.1 Môi trƣờng phát triển CSDL 49 3.2 Giao diện chƣơng trình 49 3.3 Đánh giá hệ thống 53 KẾT LUẬN 55 DANH MỤC TÀI LIỆU THAM KHẢO 56 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT RGB: Red, Green, Blue CMY: Cyan-Magenta-Yellow CBIR: Content Baased Image Retrieval CSDL: Cơ Sở Dữ Liệu DANH MỤC CÁC BẢNG Bảng 1.1: Định nghĩa histogram Bảng 2.1: Định nghĩa ảnh nhị phân đƣợc tạo từ ảnh xám 18 Bảng 2.2: Định nghĩa thành phần liên thông 25 Bảng 3.1: Thống kê kết tra cứu …53 DANH MỤC HÌNH VẼ Hình 1.1 Quá trình xử lý ảnh Hình 1.2 Các bƣớc hệ thống xử lý ảnh Hình 1.3 Hai dạng lƣợc đồ mức sáng Hình 1.4: Lƣợc đồ mô tả bƣớc liên quan hệ thống tra cứu ảnh dựa vào nội dung 13 Hình 1.5: Cấu trúc chung hệ thống đề xuất tìm từ ảnh tài liệu 15 Hình 2.1: Ảnh màu đƣợc chuyển sang ảnh xám tính theo công thức 17 Hình 2.2 Ví dụ histogram ma trận ánh sáng [3] 20 Hình 2.3: Biểu đồ histogram cho giá trị màu nhỏ 20 Hình 2.4: Biểu đồ histogram cho giá trị màu lớn ngƣỡng t=3 [3] .21 Hình 2.5: Tính toán giá trị phƣơng sai bên lớp ứng với tứng giá trị mức xám [3] 22 Hình 2.6: Kết sau sử dụng phƣơng pháp Otsu [3] 22 Hình 2.7:Ảnh sau đƣợc tách ngƣỡng bằngOtsu 23 Hình 2.8: Hai định nghĩa điểm láng riềng phổ biến 24 Hình 2.9: Ví dụ ảnh nhị phân 26 Hình 2.10: Ảnh nhị phân nhãn thành phần 26 Hình 2.11:Cấu trúc Union - Find với hai tập nhãn [7] 27 Hình 2.12: Giả mã cho thủ tục Find 28 Hình 2.13: Giả mã cho thủ tục Union 28 Hình 2.14: Giả mã thuật toán tìm gán nhãn cho thành liên thông 30 Hình 2.15 giải thích ứng dụng thuật toán tìm nhãn thành phần liên thông với cấu trúc Union-Find cho ảnh nhị phân hình 31 Hình 2.16: Bức ảnh tài liệu có nhiều nhiễu 32 Hình 2.17: Tìm thành phần liên thông ảnh 32 Hình 2.18: Loại bỏ nhiễu 32 Hình 2.19: Mở rộng kích thƣớc hình chữ nhật biên theo hai hƣớng trái phải 32 Hình 2.20: Xác định từ 33 Hình 2.21: Các vùng đƣợc gán nhãn tài liệu 36 Hình 2.22: Các đặc trƣng vùng hình 2.21 36 Hình 2.23 Tám điểm cực trị vùng nằm hình chữ nhật biên Cắt đƣờng chéo đứt đoạn trục điểm cực trị 37 Hình 2.24: Moment trục đƣợc tính bình phƣơng khoảng cách từ điểm đến trục [7] 39 Hình 2.25: Xác định tỉ lệ chiều rộng cao dựa vào hình chữ nhật biên vùng từ 41 Hình 2.26: Ảnh tính toán phép chiếu dọc 43 Hình 2.27: Ảnh biểu diễn thao tác với đặc trƣng ghép chiều dƣới từ 45 Hình 2.28: Ảnh biểu diễn thao tác với đặc trung thông tin phần bên bên phần bên dƣới từ 46 Hình 2.29: Vector đặc trƣng dùng để đối sánh từ 47 Hình 3.1: Giao diện chƣơng trình 49 Hình 3.2: Giao diện chức “Thêm ảnh vào CSDL” 50 Hình 3.3: Cập nhật ảnh vào CSDL thành công 51 Hình 3.4: Kết tìm kiếm 52 Hình 3.5: Chi tiết từ có ảnh tài liệu đƣợc bôi đậm 52 Hình 3.6: Tỉ lệ precision trung bình 79,6% 54 Hình 3.7: Tỉ lệ recall trung bình 96,1% 54 MỞ ĐẦU Lý chọn đề tài Hiện nay, thành tựu tin học đƣợc áp dụng hầu hết lĩnh vực hoạt động xã hội đem lại nhiều hiệu to lớn Mối quan hệ tƣơng tác nhu cầu xã hội ngày đa dạng, với phát triển thiết bị đa phƣơng tiện (multimedia) nhƣ máy ảnh, máy scan, máy quay phim, điện thoại, ipad… với khối lƣợng hình ảnh phim lƣu trữ ngày lớn, với phát triển thiết bị điện tử, tin học viễn thông thu hút ngày nhiều chuyên gia vào nghiên cứu công cụ cung cấp cho việc lấy thông tin liệu ảnh từ nội dung chúng Trong thực tế, toán tra cứu ảnh có nhiều ứng dụng quan trọng Các ứng dụng phức tạp nhƣ so sánh mẫu vân tay, tìm kiếm ảnh tội phạm… đƣợc áp dụng ngành khoa học hình sự, sở liệu ảnh địa lý, y học… làm cho lĩnh vực nghiên cứu phát triển nhanh công nghệ thông tin Với số lƣợng ảnh đƣợc lƣu trữ thiết bị nhớ trở nên lớn, vấn đề phải có phƣơng pháp tổ chức sở liệu ảnh tốt với kỹ thuật tìm kiếm, tra cứu ảnh hiệu quả, có độ xác cao có hiệu tốt Tùy vào mục đích tìm kiếm khác mà có hình thức tra cứu ảnh khác Hệ thống tra cứu ảnh từ ảnh tài liệu dạng hệ thống tra cứu ảnh nói chung Mục đích hệ thống tìm kiếm từ ảnh tài liệu đƣa ảnh tài liệu liên quan với từ mà ngƣời dùng cung cấp Trong luận văn trình bày hệ thống tra cứu ảnh từ ảnh tài liệu giúp ngƣời dùng tìm kiếm thông tin từ ảnh tài liệu từ câu truy vấn Hệ thống đƣa việc tìm kiếm ngôn ngữ Tiếng anh Xuất phát hoàn cảnh “Nghiên cứu phƣơng pháp tra cứu ảnh từ ảnh tài liệu” đƣợc em chọn làm đề tài 43 Trong đó, x y tọa độ điểm ảnh ảnh Bởi ảnh xử lý ảnh nhị phân nên hàm điểm ảnh có tọa độ x, y điểm ảnh đen không điểm ảnh trắng Việc chia x y cho chiều rộng chiều cao hình chữ nhật biên từ đƣa moment hình học đƣợc chuẩn hóa không thay đổi với kích thƣớc từ Cuối cùng, đặc trƣng điểm trọng tâm đƣợc xác định khoảng cách Euclidean so với điểm tận bên trái hình chữ nhật biên nhƣ sau: COG  Cx2  C y2 (2.2.22) 2.2.2.4 Phép chiếu dọc Đặc trƣng bao gồm vector với hai mƣơi phần tử lấy từ phép chiếu dọc đƣợc chuẩn hóa làm trơn Những thành phần tƣơng ứng với hệ số hai mƣơi thành phần phép biến đổi cosin rời rạc ( Discrete Cosine Transform ) phép chiếu dọc đƣợc chuẩn hóa làm trơn.Phép chiếu dọcứng với từ đƣợc làm trơn sử dụng ma trận mặt nạ kích thƣớc Với cách này, phép chiếu cuối có tác động nhiều đến thay đổi kích cỡ loại font chữ Hình 2.26: Ảnh tính toán phép chiếu dọc: (a) ảnh gốc; (b) phép chiếu dọc; (c) phép chiếu đƣợc làm trơn sử dụng ma trận mặt nạ 5x1 [6] 44 2.2.2.5 Phép chiếu hình dạng Phép chiếu hình dạng dƣới nhƣ đƣợc mô tả Hình 2.27 bên dƣới đƣợc xem nhƣ dấu hiệu để xác định hình dạng từ Dấu hiệu đƣa đến vector đặc trƣng gồm 50 thành phần, 25 giá trị đầu 25 hệ số phép biến đổi cosin rời rạc (Discrete Cosin Transfrom) phép chiếu hình dạng đƣợc chuẩn hóa làm trơn (Hình 2.27d) 25 giá trị lại 25 hệ số phép biến đổi cosin rời rạc phép chiếu hình dạng dƣới đƣợc chuẩn hóa làm trơn ( Hình 2.27e) Để tính toán phép chiếu hình dạng trên, ảnh từ đƣợc quét từ xuống dƣới Nhƣ quan sát Hình 2.27b, điểm ảnh đen đƣợc tìm thấy điểm ảnh sau cột, xét theo chiều từ xuống dƣới đƣợc chuyển thành điểm ảnh đen Phép chiếu hình dạng dƣới đƣợc thao tác tƣơng tự Nhƣ quan sát Hình 2.27c, ảnh từ đƣợc quét từ dƣới lên Tất điểm ảnh cột chuyển thành điểm ảnh đến điểm ảnh đen đƣợc tìm thấy Cuối hai phép chiếu đƣợc tính toán giống nhƣ đặc trƣng phép chiếu dọc trƣớc 45 Hình 2.27: Ảnh biểu diễn thao tác với đặc trƣng phép chiếu dƣới từ [6] 2.2.2.6 Những đặc trưng phần bên từ Phần bên từ phần mà chữ bình thƣờng có phần nhô hƣớng lên trênnhƣ chữ „d‟, „t‟, „b‟,v.v Đặc trƣng lấy gồm 10 thành phần với giá trị nhị phân lấy từ phần bên từ Để tính toán đặc trƣng này, ban đầu phải có phép chiếu ngang ảnh Sau đó, từ phép chiếu ngang này, phần bên từ đƣợc xác định theo thuật toán sau: Bước 1: Áp dụng phép làm trơn cho phép chiếu ngang với ma trận mặt nạ Bước 2: Bắt đầu từ trên, tìm vị trí i biểu đồ phép chiếu ngang V[i] cho V[i] H Hình bên Trong đó, H chiều cao lớn phép chiếu ngang (max{V[i]}) Nếu vị trí i nằm nửa bên phép chiếu ngang từ phần bên 46 Bước 3: Tìm vị trí k V(k-1) (0,i) lược đồ phép chiếu ngang V[i] V(k) Thì k định nghĩa vị trí phần bên từ, Nếu k có giá trị nhỏ (3 ) từ phần bên Hình 2.28: Ảnh biểu diễn thao tác với đặc trƣng thông tin phần bên phần bên dƣới từ [6] Sau đó, phần bên từ đƣợc chia thành mƣời phần nhƣ Hình 2.28b Số điểm ảnh đen đƣợc đếm phần Nếu số lớn chiều cao từ giá trị tƣơng đối vector đặc trƣng đặt 1; ngƣợc lại đặt Vector đặc trƣng thu đƣợc nhƣ Hình2.28d 47 2.2.2.7 Những đặc trưng phần bên từ Phần bên dƣới từ phần mà chữ bình thƣờng có phần nhô hƣớng xuống dƣới nhƣ chữ „y‟, „p‟, „g‟,v.v Đặc trƣng đƣợc tính toán tƣơng tự nhƣ đặc trƣng phần từ Nhƣng việc tìm kiếm phần bên dƣới dƣới lên Cuối tổng hợp từ bảy đặc trƣng lấy ta có vector đặc trƣng gồm 93 thành phần theo thứ tự cấu trúc nhƣ Hình2.29 bên dƣới Hình 2.29: Vector đặc trƣng dùng để đối sánh từ 2.3 Thuật toán dùng để đối sánh từ Thủ tục đối sánh từ xác định ảnh từ tài liệu mà có độ tƣợng tự cao so với từ truy vấn thông qua cấu trúc vector đặc trƣng 48 Đầu tiên, mô tả đƣợc tạo vector gồm bảy đặc trƣng bao gồm 93 thành phần đƣợc đề xuất Hình 2.29 Thành phần đặc trƣng tỉ lệ chiều rộng chiều cao; đặc trƣng thứ hai đặc trƣng mật độ diện tích thứ ba điểm trọng tâm từ Đặc trƣng 20 thành phần đƣợc lấy từ phép chiếu dọc 50 thành phần đặc trƣng phép chiếu dƣới Cuối cùng, 20 thành phần cuối đƣợc lấy từ phần bên phần bên dƣới từ Tiếp theo, khoảng cách Minskowski đƣợc tính toán theo vector đặc trƣng mô tả cho từ sở liệu: 93 MD(i)    Q(k )  W(k , i)  (2.2.23) Trong MD(i) khoảng cách Minkowski từ i Q(k) vector đặc trƣng mô tả từ truy vấn W(k,i) mô tả từ thứ i Sau đó, tỉ lệ đối sánh với từ lại sở liệu đƣợc chuẩn hóa giá trị từ đến 100, giá trị thể độ tƣơng tự từ truy vấn với từ sở thấp hay cao Tỉ lệ cho từ đƣợc tính toán nhƣ sau: R(i)  100 Trong đó,  MD(i) max( MD) (2.2.24) giá trị tỉ lệ từ i, MD(i) khoảng cách Minskowski có giá trị cao tìm thấy sở liệu Cuối cùng, hệ thống đƣa ảnh tài liệu chứa từ có độ tƣơng tự cao so với từ truy vấn thị tỉ lệđối sánh đến ngƣời dùng Trong thí nghiệm viết này, từ tƣơng tự với từ truy vấn từ có tỉ lệ 65% 49 CHƢƠNG 3: XÂY DỰNG CHƢƠNG TRÌNH THỬ NGHIỆM Trong chƣơng xây dựng chƣơng trình thử nghiệm nhằm mục đích phục vụ cho tìm kiếm ảnh tài liệu có CSDL Dữ liệu đầu vào 50 ảnh ngôn ngữ tiếng anh đƣợc tham khảo từ trang http://orpheus.ee.duth.gr/irs2_5/ Những ảnh đầu vào trƣớc đƣợc đƣa vào CSDL đƣợc xử lý chuyển sang ảnh nhị phân đồng thời thực trình nhận dạng từ có ảnh tài liệu Sau ảnh tài liệu đƣợc nhập vào CSDL chuyển sang bƣớc tìm kiếm, chƣơng trình thử nghiệm cho phép nhập vào từ tìm kiếm ảnh có CSDL Đầu chƣơng trình thử nghiệm tên tài liệu liên quan số lƣợng từ có tài liệu 3.1 Môi trƣờng phát triển CSDL Hệ thống tra cứu ảnh tài liệu đƣợc xây dựng Visual Studio 2010, ngôn ngữ lập trình C# Cở sở liệu sử dụng Microsoft SQL Server 2008 3.2 Giao diện chƣơng trình Giao diện chƣơng trình thử nghiệm đƣợc thiết kế cách đợn giản gồm hai chức “Thêm ảnh vào CSDL” “Tra cứu ảnh” Hình 3.1: Giao diện chƣơng trình 50 Khi thực chức “Thêm ảnh vào CSDL” xuất giao diện chƣơng trình nhƣ Hình 3.2 Hình 3.2: Giao diện chức “Thêm ảnh vào CSDL” Trong giao diện có chức “Duyệt file”, “Lƣu” “Hủy” Khi chọn chức “Duyệt file” chƣơng trình hiển thị đƣờng dẫn để truy cập đến file có chứa ảnh tài liệu máy tính cá nhân Ở chức chọn ảnh tài liệu chọn đồng thời nhiều ảnh tài liệu lúc Khi chọn xong ảnh tài liệu cần cho vào CSDL chƣơng trình tự động hiển thị lên ảnh tài liệu tƣơng ứng Sau chọn nút “Lƣu” để cập nhật vào CSDL, thực ấn nút “Lƣu” chƣơng trình đồng thời thực chuyển ảnh tài liệu ban đầu ảnh nhị phân, tìm ngƣỡng tự động dựa thuật toán Otsu thực nhận dạng từ có ảnh tài liệu Vì trình xử lý thời gian định tùy thuộc vào ảnh tài liệu đầu vào Sau trình xử lý hoàn tất hình chƣơng trình lên thông báo xử lý thành công nhƣ Hình 3.3, nhấn vào nút “ok” ảnh tài liệu qua xử lý đƣợc đƣa 51 vào CSDL.Nếu nhƣ không muốn thêm ảnh vào CSDL ấn nút “Hủy” để trở lại giao diện chƣơng trình Hình 3.3: Cập nhật ảnh vào CSDL thành công Sau cập nhật ảnh vào CSDL thành công quay trở lại giao diện chƣơng trình Trong giao diện có chức “Tra cứu ảnh” gồm hai phần nhập từ khóa truy vấn phần thứ hai hiển thị kết tìm kiếm Để thực chức “Tra cứu ảnh” ngƣời dùng cần nhập từ cần tìm kiếm Sau ấn nút “Tìm kiếm” để tìm ảnh có CSDL Khi nhấn nút “Tìm Kiếm” chƣơng trình tạo ảnh cho từ cần tìm kiếm đồng thời gọi lại trình xử lý giao diện nhập ảnh vào CSDL để chuyển sang ảnh nhị phân Sau đồng loạt có ảnh nhị phân cho từ cần tìm kiếm ảnh CSDL chƣơng trình thực trích chọn đặc trƣng để đƣa vector đặc trƣng gồm 93 thành phần nhƣ hình 2.29 Sau có đƣợc vector đặc trƣng chƣơng trình dùng thuật toán đo khoảng cách Minskowski để tìm từ tƣơng đồng Chƣơng trình đƣa kết ảnh chứa từ cần tìm kiếm nhƣ Hình 3.4 Để quan sát chi tiết vị trí 52 từ ảnh, ngƣời dùng ấn vào nút “Hiển thị” Các từ liên quan tài liệu đƣợc bôi đậm lên ngƣời dùng quan sát nhƣ Hình 3.4: Kết tìm kiếm Hình 3.5: Chi tiết từ có ảnh tài liệu đƣợc bôi đậm 53 STT Từ tra cứu Số lƣợng từ Số lƣợng tra cứu kiểm tra sai lib1.jpg lib3.jpg lib1.jpg Lib2.jpg Lib3.jpg Lib2.jpg Lib3.jpg Lib5.jpg Lib6.jpg Tên file technology CMOS class Bảng 3.1: Thống kê kết tra cứu 3.3 Đánh giá hệ thống Hiệu hệ thống truy tìm ảnh nói chung đƣợc đánh giá dựa hai độ đo precision recall Trong đó: Recall tỉ lệ số tài liệu liên quan tìm tổng số tài liệu liên quan có sở liệu Precision tỉ lệ số ghi liên quan đƣợc tìm tổng số ghi liên quan số ghi không liên quan đƣợc tìm Hệ thống đề xuất sử dụng hai độ đo để đánh giá Những từ truy vấn đƣợc dùng để kiểm tra đƣợc liệt kê bảng phía biểu đồ Kết thu đƣợc precision recall tính theo phần trăm ứng với từ đƣợc thị kết bên dƣới: 54 Hình 3.6: Tỉ lệ precision trung bình 79,6% Hình 3.7: Tỉ lệ recall trung bình 96,1% 55 KẾT LUẬN Trong trình thực luận văn, với giúp đỡ hƣớng dẫn từ phía thầy hƣớng dẫn bạn bè Em thu nhận đƣợc nhiều kiến thức bổ ích lĩnh vực xử lý ảnh nhƣ sau: Nắm bắt đƣợc bƣớc hệ thống tìm kiếm văn hình ảnh tài liệu, hiểu đƣợc khái niệm xử lý ảnh Thấy đƣợc vai trò quan trọng xử lý ảnh hệ tìm kiếm, bƣớc tiền xử lý nhằm nâng cao chất lƣợng ảnh Nghiên cứu tổng quát hóa phƣơng pháp trích chọn đặc trƣng hình ảnh tài liệu, nhƣ nắm đƣợc phƣơng pháp đối sánh từ Từ đƣa đƣợc giải pháp cho toán đặt luận văn Áp dụng thành công kiến thức tìm hiểu đƣợc vào cài đặt thử nghiệm chƣơng trình tìm kiếm văn hình ảnh tài liệu Kết chƣơng trình đạt đƣợc tốt áp dụng vào thực tế Tuy nhiên tồn hạn chế: Hệ thống thực công việc công việc tìm kiếm từ đạt hiểu cao ngôn ngữ tiếng anh Đối với ngôn ngữ khác hệ thống tìm kiếm xác Khi thực công việc tìm kiếm không phân biệt đƣợc chữ in hoa chữ thƣờng làm giảm hiệu suất chƣơng trình Không thể tự động tìm kiếm file có ổ cứng mà phải cập nhật ảnh tài liệu tay Để tăng cƣờng khả tìm kiếm hệ thống mở rộng phạm vi ứng dụng, nhƣợc điểm nêu cần đƣợc khắc phục 56 DANH MỤC TÀI LIỆU THAM KHẢO Tiếng việt [1] PGS.TS.Đỗ Năng Toàn,TS Phạm Việt Bình, “Giáo trình xử lý ảnh”, Khoa Công Nghệ Thông Tin, Đại Học Thái Nguyên [2] PGS.TS Nguyễn Quang Hoan, “Giáo Trình Xử lý ảnh”, Học viện Công Nghệ Bƣu Chính Viễn Thông [3] Đề tài: “nghiên cứu phƣơng pháp tra cứu ảnh tài liệu dựa vào tìm kiếm văn hình ảnh tài liệu” Mã số 60.48.01.04 Tiếng anh [4] Nobuyuki Otsu, “A threshold selection method from gray-level histograms” [5] Manesh B Kokare, M.S.Shirdhonkar, “Document Image Retrieval: An Overview” [6] Kavallieratou, E Fakotakis, N Kokkinakis, “An unconstrained handwriting recognition system” [7] Konstantinos Zagoris, Kavallieratou Ergrina, Nikos Papamarkos, “A Document Image Retrieval System” [8] Shapiro, Stockman,“Computer Vision” [9] Chew Lim Tan, Weihua Huang, Zhaohui Yu, Yi Xu, “Imaged Document Text Retrieval without OCR” [10] Kobus Barnard, Nikhil V Shirahatti, “A method for comparing content based image retrieval method” [11] Anand Kumar, C.V Jawahar, R Manmatha, "Efficient Search in Document Image Collections” [12] Mark S Nixon, Alberto S Aguado, “Feature Extraction and Image Processing” 57 [13] Million Meshesha, C V Jawahar, “Matching word images for contentbased retrieval from printed document images” [14] K Zagoris, N Papamarkos , C Chamzas, “Web Document Image Retrieval System Based on Word Spotting” [15] Toni M Rath, R Manmatha, “Word Image Matching Using Dynamic Time Warping” [16] Yue Lu, Chew Lim Tan, “Information Retrieval in Document Image Databases” Danh mục Website tham khảo [17] http://www.labbookpages.co.uk/software/imgProc/otsuThreshold.html [18] http://en.wikipedia.org/wiki/Euclidean_geometry [19] http://www.codeproject.com [...]... vi nghiên cứu Đối tƣợng, phạm vi nghiên cứu: Tổng quan về ảnh và tra cứu ảnh, phƣơng pháp tra cứu ảnh và chọn ra phƣơng pháp, kỹ thuật tra cứu ảnh cụ thể và các ứng dụng thực tế để tra cứu ảnh 5 Phƣơng pháp nghiên cứu - Phƣơng pháp đặt vấn đề - Phƣơng pháp phân tích tổng hợp - Phƣơng pháp so sánh đối chiếu - Phƣơng pháp thực nghiệm Sử dụng các phƣơng pháp trên để nghiên cứu và tìm hiểu: Nghiên cứu phương. .. phương pháp tra cứu ảnh từ trong ảnh tài liệu 3 6 Bố cục luận văn Luận văn đƣợc chia thành ba phần MỞ ĐẦU NỘI DUNG Chƣơng 1: TỔNG QUAN VỀ TRA CỨU ẢNH Chƣơng này sẽ đƣa ra những khái niệm cơ bản về xử lý ảnh và kiến trúc của hệ thống tra cứu ảnh dựa vào nội dung Dựa vào kiến trúc chung đó xây dựng hệ thống đề xuất tìm kiếm ảnh từ trong ảnh tài liệu Chƣơng 2: PHƢƠNG PHÁP TRA CỨU ẢNH TỪ TRONG ẢNH TÀI LIỆU... PHƢƠNG PHÁP TRA CỨU ẢNH TỪ TRONG ẢNH TÀI LIỆU Trong chƣơng này sẽ đƣa ra các thuật toán cũng nhƣ các kĩ thuật đƣợc áp dụng vào trong hệ thống đề xuất nhƣ là: nhận dạng các từ có trong ảnh tài liệu, thuật toán đối sánh và trích chọn các đặc trƣng của một vùng liên thông chứa trong ảnh Đầu vào của ảnh tài liệu đa phần là ảnh màu, vì vậy để giảm bớt các đặc trƣng có thể tác động lên kết quả tìm kiếm thì ảnh. ..2 2 Mục đích nghiên cứu Mục đích của hệ thống truy tìm từ trong ảnh là đƣa ra những ảnh tài liệu liên quan với từ mà ngƣời dùng cung cấp Trong đồ án này sẽ trình bày một hệ thống truy tìm ảnh tài liệu giúp ngƣời dùng có thể truy tìm thông tin từ ảnh tài liệu, hoặc ảnh in từ câu truy vấn Hệ thống đƣa ra việc tìm kiếm trên ngôn ngữ là Tiếng anh 3 Nhiệm vụ nghiên cứu - Tìm hiểu những khái... sở dữ liệu ảnh có nhiều chủ đề là hết sức khó khăn nên các hệ thống tra cứu ảnh kiều này vẫn yêu cầu phải chú thích ảnh một cách thủ công, tốn rất nhiều công sức và quan trọng hơn là nó mang tính chủ quan, bị ảnh hƣởng bởi hoàn cảnh và không đầy đủ Phƣơng pháp tra cứu ảnh dựa theo nội dung ra đời đã khắc phục đƣợc nhƣợc điểm của phƣơng pháp tra cứu ảnh dựa vào văn bản đi kèm Phƣơng pháp "Tra cứu ảnh. .. truy tìm ảnh tài liệu là sử dụng thủ tục đối sánh một từ Thủ tục này thực hiện đối sánh từ trực tiếp trong ảnh tài liệu mà không dùng phƣơng pháp nhận dạng ký tự quang học (optical character recognition) và sử dụng ảnh của một từ nhƣ làm câu truy vấn Toàn bộ hệ thống bao gồm hai thủ tục chính nhƣ hìnhbên dƣới Trong cơ sở dữ liệu ảnh tất cả ảnh tài liệu đƣợc phân tích để tìm số lƣợng từ tối đa bên trong. .. chung, cơ bản về xử lý ảnh và phƣơng pháp dùng để tra cứu ảnh tài liệu - Nghiên cứu kiến trúc, những khó khăn, thách thức, và lĩnh vực ứng dụng của hệ thống truy tìm từ trong ảnh tài liệu - Trình bày các thao tác dùng để nhận dạng các từ trong văn bản của hình ảnh tài liệu và các đặc trƣng chung hay dùng để đối sánh đối tƣợng - Trình bày phần cài đặt hệ thống Đánh giá một số từ truy vấn đối với hệ... liệu ảnh lớn, các kỹ thuật đánh chỉ số nhiều chiều cần đƣợc sử dụng Có ba cộng đồng nghiên cứu chính đóng góp vào lĩnh vực này: hình học tính toán, quản trị cơ sở dữ liệu và nhận dạng mẫu 1.3 Hệ thống đề xuất Xuất phát từ kiến trúc chung về hệ thống tra cứu ảnh Trong tài liệu này đề xuất hệ thống tìm kiếm từ trong ảnh tài liệu và đánh dấu hoặc làm nổi bật từ cần tìm Những kỹ thuật đƣa ra bắt gặp trong. .. nghĩa : Cho ảnh mức xám I có giá trị màu nằm trong khoảng MIN và MAX Histogram của ảnh mức xám I là số điểm ảnh trong ảnh I có giá trị m Trong đó : m là tất cả giá trị mức xám của ảnh và m r , c là chỉ số hàng và cột của điểm ảnh trong ảnh Bảng 1.1: Định nghĩa histogram 1.1.3 Khái niệm ảnh đen trắng và ảnh màu Ảnh có thể biểu diễn dƣới dạng tƣơng tự hoặc tín hiệu số Trong biểu diễn số của các ảnh đa mức... cứu ảnh 1.2.1 Tra cứu thông tin Tra cứu thông tin về ảnh là quá trình tìm kiếm trong một cơ sở dữ liệu ảnh những ảnh thỏa mãn một yêu cầu nào đó Tra cứu thông tin về ảnh thƣờng dựa vào hai đặc trƣng chính là văn bản mô tả đi kèm ảnh hoặc nội dung ảnh Một số công cụ tìm kiếm ảnh theo văn bản mô tả đi kèm nhƣ Google Image Search, Yahoo, MSN,…Một số công cụ tìm kiếm ảnh dựa vào nội dung ảnh nhƣ Google Image