Nghiên cứu phương pháp tra cứu ảnh từ trong tài liệu

Bộ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC sư PHẠM HÀ NỘI TRẦN NGỌC ĐỒNG NGHIÊN CỨU PHƯƠNG PHÁP TRA CỨU ẢNH TỪ TRONG ẢNH TÀI LIỆU LUẬN VĂN THẠC sĩ MÁY TÍNH HÀ NỘI, 2015 Trước hết, em xin bày tỏ lòng biết ơn sâu sắc đến thầy hướng dẫn PGS.Tiến Sĩ Ngô Quốc Tạo, người tận tình bảo, giúp đỡ em trình hình thành đề tài luận văn Thầy hướng dẫn phương hướng triển khai đề tài, cách sử dụng tài liệu tổng kết kết nghiên cứu cách có hệ thống Em xin trân thành cảm ơn tới tất thầy cô giáo Trương đại học Sư Phạm Hà Nội đem tri thức tâm huyết để truyền đạt vốn kiến thức quý báu cho chúng em luôn tạo điều kiện tốt cho chúng em suốt trình theo học trường Em xin chân thành cảm ơn quý Thầy, Cô giáo Ban lãnh đạo trường! Cảm ơn đề tài: “Hệ thống đeo tay hỗ trợ đọc sách tiếng Việt dành cho người khiếm thị ” Mã số VAST01.07/15-16 hỗ trợ thực luận văn Luận văn hoàn thành, cố gắng thân có động viên, giúp đỡ kích lệ tinh thần bạn bè đồng nghiệp gia đình giúp cho em vượt qua khó khăn thời gian thực luận văn Em xin trân thành cảm ơn tới tất người Hà nội, ngày 20 thảng 05 năm 2015 Học viên Trần Ngọc Đồng Tôi xin cam đoan công trình nghiên cứu riêng tôi, với hỗ trợ từ người hướng dẫn khoa học PGS.TS NGÔ QUỐC TẠO Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Việc sử dụng liệu có luận văn thu thập từ nguồn thông tin khác có ghi phần tài liệu tham khảo Nếu phát gian lận nào, xin chịu trách nhiệm trước Hội đồng, kết luận văn Tác giả Trần Ngọc Đồng MỤC LỤC RGB: Red, Green, Blue CM Y: Cyan-Magenta-Y ellow CBIR: Content Baased Image Retrieval CSDL: Cơ Sở Dữ Liệu DANH MỤC HÌNH VẼ • Hình 2.19: Mở rộng kích thước hình chữ nhật biên theo hai hướng trái phải 32 MỞ ĐẦU Lý chọn đề tài Hiện nay, thành tựu tin học áp dụng hầu hết lĩnh vực hoạt động xã hội đem lại nhiều hiệu to lớn Mối quan hệ tương tác nhu cầu xã hội ngày đa dạng, với phát triển thiết bị đa phương tiện (multimedia) máy ảnh, máy scan, máy quay phim, điện thoại, ipad với khối lượng hình ảnh phim lưu trữ ngày lớn, với phát triển thiết bị điện tử, tin học viễn thông thu hút ngày nhiều chuyên gia vào nghiên cứu công cụ cung cấp cho việc lấy thông tin liệu ảnh từ nội dung chúng Trong thực tế, toán tra cứu ảnh có nhiều ứng dụng quan trọng Các ứng dụng phức tạp so sánh mẫu vân tay, tìm kiếm ảnh tội phạm áp dụng ngành khoa học hình sự, sở liệu ảnh địa lý, y học làm cho lĩnh vực nghiên cứu phát triển nhanh công nghệ thông tin Với số lượng ảnh lưu trữ thiết bị nhớ trở nên lớn, vấn đề phải có phương pháp tổ chức sở liệu ảnh tốt với kỹ thuật tìm kiếm, tra cứu ảnh hiệu quả, có độ xác cao có hiệu tốt Tùy vào mục đích tìm kiếm khác mà có hình thức tra cứu ảnh khác Hệ thống tra cứu ảnh từ ảnh tài liệu dạng hệ thống tra cứu ảnh nói chung Mục đích hệ thống tìm kiếm từ ảnh tài liệu đưa ảnh tài liệu liên quan với từ mà người dùng cung cấp Trong luận văn trình bày hệ thống tra cứu ảnh từ ảnh tài liệu giúp người dùng tìm kiếm thông tin từ ảnh tài liệu từ câu truy vấn Hệ thống đưa việc tìm kiếm ngôn ngữ Tiếng anh Xuất phát hoàn cảnh “Nghiên cứu phương pháp tra cứu ảnh từ ảnh tài liệu” em chọn làm đề tài Mục đích nghiên cứu Mục đích hệ thống truy tìm từ ảnh đưa ảnh tài liệu liên quan với từ mà người dùng cung cấp Trong đồ án trình bày hệ thống truy tìm ảnh tài liệu giúp người dùng truy tìm thông tin từ ảnh tài liệu, ảnh in từ câu truy vấn Hệ thống đưa việc tìm kiếm ngôn ngữ Tiếng anh Nhiệm vụ nghiên cứu - Tìm hiểu khái niệm chung, xử lý ảnh phương pháp dùng để tra cứu ảnh tài liệu - Nghiên cứu kiến trúc, khó khăn, thách thức, lĩnh vực ứng dụng hệ thống truy tìm từ ảnh tài liệu - Trình bày thao tác dùng để nhận dạng từ văn hình ảnh tài liệu đặc trưng chung hay dùng để đối sánh đối tượng - Trình bày phần cài đặt hệ thống Đánh giá số từ truy vấn hệ thống Đối tuợng phạm vi nghiên cứu Đối tượng, phạm vi nghiên cứu: Tổng quan ảnh tra cứu ảnh, phương pháp tra cứu ảnh chọn phương pháp, kỹ thuật tra cứu ảnh cụ thể ứng dụng thực tế để tra cứu ảnh Phuơng pháp nghiên cứu - Phương pháp đặt vấn đề - Phương pháp phân tích tống hợp - Phương pháp so sánh đối chiếu - Phương pháp thực nghiệm Sử dụng phương pháp để nghiên cứu tìm hiểu: “Nghiên cứu phương pháp tra cứu ảnh từ ảnh tài liệu” Bố cục luận văn Luận văn chia thành ba phần MỞ ĐẦU NỘI DUNG Chương 1: TỔNG QUAN VỀ TRA cứu ẢNH Chương đưa khái niệm xử lý ảnh kiến trúc hệ thống tra cứu ảnh dựa vào nội dung Dựa vào kiến trúc chung xây dựng hệ thống đề xuất tìm kiếm ảnh từ ảnh tài liệu Chương 2: PHƯƠNG PHÁP TRA cứu ẢNH TỪ TRONG ẢNH TÀI LIỆU Chương sâu vào phần có hệ thống đề xuất nêu Chương Đưa thuật toán để chuyển đổi sang ảnh nhị phân, thao tác với ảnh nhị phân để nhận dạng từ có ảnh tài liệu, đồng thời trích chọn đặc trưng để đem đối sánh Chương 3: XÂY DƯNG CHƯƠNG TRÌNH THỬ NGHIỆM Chương trình bày chức chương trình thử nghiệm ứng với mục đích nghiên cứu luận văn Đánh giá số từ truy vấn hệ thống KẾT LUẬN Nhìn chung, luận văn đưa khái niệm hệ thống tra cứu ảnh từ tài liệu với hệ thống tìm kiếm từ ảnh tài liệu cụ thể đề xuất Các bước hệ thống trình bày chương Tuy nhiên, thời gian thực hạn hẹp, kiến thức hạn chế nên luận vãn không tránh khỏi thiếu sót Rất mong nhận giúp đỡ thầy cô bạn quan tâm đến vấn đề để em hoàn thiện kiến thức NỘI DUNG CHƯƠNG 1: TỔNG QUAN VỀ TRA cứu ẢNH 1.1 Một số vấn đề hệ thống xử lỷ ảnh 1.1.1 Xử lý ảnh LB[L,B]:=0; “Xử lý dòng L” for P:=0 to MaxCol { ifB[L,B]==lthen { A: =prior_neighbor s(L,P); ifisempty(A) then{ M:=label;label+=1;}; else M:=min(labels(A)); LB[L,P]:=M; for X in labels(A) and X!=M union(M,X,PARENT); } } } “Bước 2: Gán lại nhãn bước 1” forL:= to MaxRow for P:=0 to MaxCol if B[L,P]==1 thenLB [L,P] :=find(LB [L,P],PARENT); Hình 2.14: Giả mã thuật toán tìm gán nhãn cho thành liền thông 1 6 1 a 6 ữ 0 o a) Sau bước 2 4 4 0 ũ 0 2 0 5 a 0 0 0 3 3 3 3 1 6 1 6 0 0 1 4 4 c) Sau bươc PARENT 1 0 0 0 1 0 5 o ổ 0 3 3 0 0 0 3 3 b) Cầu trúc Union-Find nhẵn bang Hình 2.15 giảỉ thích ứng dụng thuật toán tìm nhẵn thành phần liên thông vái cấu trúc Unỉon~Flnd cho ảnh nhị phân hình Hình 2.15a) đưa nhãn cho điểm ảnh đương bước {{1,2},{3,7},4,5,6}} Hình 2.15c) đưa ảnh gán nhãn lạisau bước một, Hình 2.15b) đưa cấu trúc Union-Find tập tương qua bước hai Lúc thành phần liên thông biểu diễn vừng ảnh khỉ đặc trưng hình dạng mật độ vùng tính toán phục vụ cho công việc trích chọn đặc trưng 2.1.3.3 Xác định cắc từ ảnh tài liệu Sau có thành phần liên thông ảnh, công việc cuối phải làm trình tiền xử lý tìm số từ chứa ảnh tài liệu Các thành phần liên thông ảnh nhiễu Những nhiễu tác động nhiều đến hình dạng từ Do đó, nhiễu dấu chấm, ngắt nghi câu phải bỏ Để làm điều này, cần tìm chiều cao chung thành phần liên thông CCch- Những thành phần có chiều cao nhỏ 70% CCóhđược coi nhiễu cần phải loại bỏ Theo Kavallieratou [5], chiều cao từ gấp đôi chiều cao trung bình từ khác xuất phần bên {ascender) vàphần bên (descender) Ở việc áp dụng lọc qua thành phần liên thông bỏ nhiễu đồng thời bỏ dấu chấm câu, dấy chấm chữ i, dấu chấm dấu chấm than, dấu phẩy, dấu chấm phây Cũng theo Kavallieratou từ chữ thường cách khoảng 20% CCch Như mở rộng hình chữ nhật biên bao quanh thành thành phần liên thông ( boundỉng box ) theo hai hướng trái phải 20% CCch từ tìm tạo từ thành phần liên thông hình chữ nhật biên đè lên h e l l o everyone • * • Hình 2.16: Bức ảnh tài liêu có nhiều nhiễu ■ h e l l o BHBEyoriB m m ■ Hình 2.17: Tìm thành phần liên thông ảnh hello everyone Hình 2.28: Loại bỏ nhiễu HelloiBMeirỊypnei Hình 2.19: Mở rộng kích thước hình chữ nhật biên theo hai hướng trái phải helld ẹveryone Hình 2.20: Xác đinh từ 2.2 Trích chọn đặc trưng đối sánh từ Sau vùng từ xác định cách sử dụng thành phần liên thông Để đối sánh từ với từ khác phải lấy đặc trưng quan trọng mà đại diện cho từ Cũng giống việc đối sánh đối tượng khác với Những đặc trưng phổ biến sử dụng đặc trưng hình học, đặc trưng hình dạng, đặc trưng mật độ điểm ảnh có vùng Tập họp đặc trưng tạo nên vector đặc trưng cho từ Công việc đối sánh từ với trở thành công việc tính toán khoảng cách vector đặc trưng đại diện dựa theo công thức tính khoảng cách Minskowski Trong phần giới thiệu đặc trưng chung hay dùng để đối sánh đối tượng sau đưa đặc trưng đề xuất việc đối sánh từ hệ thống Tiếp viết giới thiệu vector đặc trưng đánh giá độ tưong tự từ dựa vector đặc trưng 2.2.1 Đặc trưng vùng đối tượng Chúng ta giả sử tập điểm ảnh vùng R Đặc trưng hình học đon giản diện tích A, chiều dài chu vi p vùng điểm trọng tâm (f, c ) Mỗi tập vùng xác định, đặc trưng vùng trở thành đầu vào cho thủ tục mức cao hon để thực công việc đưa định nhận dạng kiểm tra đối tượng 2.2.1.1 Sự tuần hoàn vùng Sự tuần hoàn vùng tính bình phưong chiều dài chu vi chia cho diện tích vùng l^l2 Cl -A (2.2.1) = Trong đó: • Chu vi Pcủa vùng lỗ tập điểm ảnh biên nằm vùng Một điểm ảnh vùng điểm ảnh biên có vài điểm ảnh láng riềng nằm vùng Ở đưa đến định nghĩa điểm chu vi láng riềng p4 điểm chu vi - láng riềng p8 vùng Pị = {(r,c) e R I P Q (r,c) - R # 0} (2.2.2) P Ẽ = {(r,c) e R I p (r,c) - R # 0} (2.2.3) Để tính toán chiều dài |P| chu vi p, điểm ảnh p phải đặt dãy p = , cặp điểm ảnh liên tiếp dãy điểm láng riềng nhau, tính điểm ảnh trước sau Sau , chiều dài chu vi |P| định nghĩa công thức sau: |p| = |{/c|(rk+llct+1)eiV4(rfc,cJí)}| + V2|{/c|(rfc+1,cfc+1) e N3(rk,ck) - JV4(rk,c*)} I Trong đó, k+1 tính theo modulo K, K chiều dài dãy điểm ảnh Do hai điểm ảnh kề theo chiều ngang dọc chu vi cộng thêm 1, hai điểm ảnh kề theo hường chéo cộng thêm 72 = 1.4 • Diện tích Acủa vùng tính theo công thức: ¿ = 1 (r , c) e R (2.2.5) Công thức có nghĩa khái niệm diện tích đếm số điểm ảnh có vùng R r c _ A I r (r,c)eR _ I c A (r,c)eR (2.2.6 ) (2.2.7) Điểm trọng tâm vùng định nghĩa theo công thức: Điểm trọng tâm (r, c ) vị trí trung bình điểm ảnh tập R Chú ý cặp giá trị (r,c) cặp giá trị nguyên, (r, c ) nói chung thường cặp số nguyên Ngoài Haralick (1974)[7] đề xuất phương pháp tính tuần hoàn khác: c2 = (2.2.8) Trong ƠR phương sai độ lệch chuẩn khoảng cách từ điểm trọng tâm hình đến biên hình tính theo công thức sau: *-1 M R = - ^ ( ỵ ắ M , c k ) - ( r , c ) ) (2.2.9) k=0 R=^QJ\ Ơ (r k ’ c k ) - ( r ’ c ) - M R A M VL 12 Y / J / ) (2.2.10) Trong tập điểm ảnh(rÈ, c k ) , với k=0, nằm chu vi p vùng Hình 2.21 giải thích vài đặc tính ảnh nhị phân gán nhãn có vùng hình ellipse, hình chữ nhật, hình vuông 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 2 2 0 0 1 1 1 2 2 0 0 1 1 1 1 2 2 0 0 1 1 1 1 2 2 0 0 1 1 1 1 2 2 0 0 1 1 1 2 2 0 0 0 1 1 0 2 2 0 0 0 0 0 0 2 2 0 0 0 2 0 3 0 0 0 2 2 0 3 0 0 0 2 2 0 3 0 0 0 2 2 0 3 0 0 0 Hình 2.21: Các vùng gán nhãn tài liệu Nhãn vùng Diệ n tích 44 Điểm trọng tâm (Dòng , Cột) Chiều dài chu vi Tuần hoàn Ci Tuần hoàn C2 Phươn g sai tijì 15.4 3.33 2.5 3.80 5.8 1.2 11.5 21.2 48 1.5 28 10.2 16.3 13 7.1 Hình 2.22: Các đặc trưng vùng Hình 2.21 2.2.1.2 Hình chữ nhật biên điểm cực trị Độ lệc h chuẩn 0JỈ 0.05 2.28 0.04 Khái niệm hình chữ nhật biên (boundỉng box) khái niệm hay dùng để vị trí vùng nằm đâu ảnh Hình chữ nhật biên hình chữ nhật với hai phía ngang dọc bao quanh đối tuợng điểm tận bên trên, bên duới, bên trái, bên phải đối tuợng nằm hình chữ nhật Hình3.23chúng ta nhìn thấy có nhiều tám điểm cực trị khác vùng, điểm cực trị nằm hình chữ nhật biên Điêm bên trái / Điẽm trẽn bẽn V Hình 2.23: Tám điểm cưc tri môt vùng nằm hình chữ nhât biên Các đường chéo đứt đoạn trục điểm cực trị Những điểm cực trị thường theo cặp điểm trái ngược ví dụ điểm bên trái với QV) = I cos \d\ < : 8\ 45° I sinỡ| : \e\ > 45° điểm bên trái, điểm bên phải với điểm bên phải Mỗi cặp điểm cực trị trái ngược tạo thành trục Đặc trưng quan trọng liên quan đến trục chiều dài trục hướng trục Công thức Euclidean dùng để tính chiều dài trục Đe tăng độ xác phép tính khoảng cách người ta công thêm số nhỏ đến khoảng cách Euclidean Độ tăng phụ thuộc vào hướng quay trục ? Với độ tăng này, khoảng cách trục hai điêm cực trị (rlr Cj_) , D = Ậ(ri~c y + (r2~c2)2) + Ổ(0) (2.2.11) 2.2.1.3 Moment không gian Moment không gian thường dùng để mô tả hình dạng cho vùng Có loại moment không gian bậc hai cho vùng Chúng ký hiệu ịLrr, (¿ru, Wcc định nghĩa sau: Moment bậc hai theo dòng: ^=■7 z ('■“'■) (2.2.12) Ự,c)eR Moment bậc hai dòng cột: A (r,c)eR (2.2.13) Moment bậc hai theo cột: £(c“c) (r,c)eR (2.2.14) Các giá trị thường sử dụng làm đặc trưng mô tả cho hình học đon giản Chúng dường không đổi phép dịch chuyển kéo giãn không gian hai chiều 2.2.1.4 Trục chuẩn Một vài đối tượng ảnh có trục tự nhiên, ví dụ bút chì búa, chữ ‘I’, 7’, dấu Một trục chuẩn cho đối tượng có thểđược tính trục mà có moment bậc hai nhỏ Đây khái niệm tương tự khái niệm moment học, trục có quán tính nhỏ Trục mà ta đặt điểm ảnh vào với lượng nhỏ Chú ý với vật tròn, tất trục có quán tính Trục có quán tính nhỏ trục qua điểm trọng tâm Để tìm trục chuẩn, trước tiên cần tính moment bậc hai tập điểm bất kỳ, sau tìm trục mà có moment nhỏ Một tập moment trục chọn trở thành tập đặc trưng hữu ích để nhận dạng đéỉ tượng.Ví dụ moment bậc hai chữ T theo trục thẳng đứng quan điểm trọng tâm có moment nhỏ Ngược lại với ký tự 7’ không nhỏ c Hình 2.24: Moment trục đưực tính bình phương khoảng cách từ điểm đến trục đỗ [7] Hình 2.24 tập điểm ảnh trục tạo góc a với trục r Góc /? = ÍE + 90° góc mà vuông góc với trục xiên với trục r Để tính toán moment bậc hai tập điểm với trục xiên trên, cần tính tổng bình phương khoảng cách d cho tất điểm ảnh Chúng ta chuẩn hóa tổng số điểm ảnh để tạo đặc trưng Đặc trưng không thay đổi nhiều số điểm ảnh tạo hình Biểu thức 2.2.15 bên đưa công thức tính moment bậc hai: (2.2.15) Trong đó: n ° tích vô hướng mà sử dụng để chiếu vector ỹ vector đơn vị theo hường chiều dài d ^a+2 Công thức sử dụng để tính vài moment để lấy thông tin hình dạng tập điểm, ví dụ trục ngang, dọc, xiên sử dụng để phân loại ký tự theo hướng chuẩn 2.2.1.5 Phép chiếu Phép chiếu ảnh nhị phân lên dòng có tính cách chia đường thành chứa tìm số điểm ảnh có giá trị mà nằm đường mà vuông góc với chứa Tuy nhiên phép chiếu phép ảnh nhiều phép chiếu giốngnhau Phép chiếu theo chiều ngang dọc dễ dàng có cách tìm số điểm ảnh giá trị trục chiếu theo hướng ngang dọc Phép chiếu H[i] dọc theo dòng (phép chiểu ngang) phép chiếu V[j] dọc theo cột ảnh (phép chiếu dọc) nhị phân tính theo công thức sau: m-1 H [ i ] = ỵ B [ i j ] (2216) 7-0 V [ j ì = jì (2.2.17) ỉ'=0 2.2.2 Những đặc trưng đối sánh hệ thống để xuất Hệ thống đối sánh từ đề xuất viết dựa năm đặc trưng mà trích chọn từ từ Những đặc trưng dùng để tìm từ tương tự bỏ qua khác biệt nhỏ do: nhiễu, font cách viết khác Những đặc trưng chọn cẩn thận để mô tả hình dạng đường biên hình dạng vùng từ 2.2.2.1 Tỉ lệ chiều cao chiều rộng Sau xác định vùng từ Chúng ta xác định tỉ lệ dựa vào hình chữ nhật biên bao quanh vùng từ Đặc trưng thông tin quan trọng liên quan đến hình dạng từ Chiều cao image Hình 2.25: Xác định tỉ lệ chiều rộng cao dựa vào hình chữ nhật biên vùng từ 2.22.2 Mật độ diện tích từ Đây đặc trưngđược biểu diễn phần trăm số điểm ảnh đen có hình chữ nhật biên vùng từ Phần trăm tính sử dụng công thức sau: (BP) £ = 100 (2.2.18) Trong đó: (BP) số điểm ảnh đen có hình chữ nhật biên từ (IW) chiều rộng hình chữ nhật biên từ (IH) chiều cao hình chữ nhật biên từ 2.22.3 Điếm trọng tâm từ Điểm biểu diễn khoảng cách Euclidean từ điểm trọng tâm từ đến điểm tận bên trái hình chữ nhật biên Đe tính khoảng cách này, điểm trọng tâm theo chiều ngang dọc phải xác định theo công thức sau: £ _ ^(,0) (2.2.19) Q _ **(0,1) y **(0,0) (2.2.20 Trong c điểm trọng tâm ) x theo chiều ngang Cy điểm trọng tâm theo chiều dọc moment hình học với bậc p + q tính theo công thức sau: p M (p,q) *y idth; ^height y y /(x, y) 2 21) ( Trong đó, X y tọa độ điểm ảnh ảnh Bởi ảnh xử lý ảnh nhị phân nên hàm f i x , ỳ ) điểm ảnh có tọa độ X, y điểm ảnh đen không điểm ảnh trắng Việc chia X y cho chiều rộng chiều cao hình chữ nhật biên từ đua moment hình học đuợc chuẩn hóa không thay đổi với kích thuớc từ Cuối cùng, đặc trung điểm trọng tâm đuợc xác định khoảng cách Euclidean so với điểm tận bên trái hình chữ nhật biên nhu sau: COG = (2.2.22) 2.2.2.4 Phép chiểu dọc Đặc trung bao gồm vector với hai muơi phần tử lấy từ phép chiếu dọc đuợc chuẩn hóa làm trơn Những thành phần tuơng ứng với hệ số hai muơi thành phần phép biến đổi cosin rời rạc ( Discrete Cosine Transform ) phép chiếu dọc đuợc chuẩn hóa làm trơn.Phép chiếu dọcứng với từ đuợc làm trơn sử dụng ma trận mặt nạ kích thuớc X Với cách này, phép chiếu cuối có tác động nhiều đến sụ thay đổi kích cỡ loại font chữ a machines LU Aẳ 4* Ll I u AA ỀA UiMẳấẩiẲầẲMH Hình 2.26: Ảnh tính toán phép chiếu dọc: (a) ảnh gốc; (b) phép chiếu dọc; (c) phép chiếu làm trơn sử dụng ma trận mặt nạ 5x1 [6] 2.22.5 Phép chiểu hình dạng Phép chiếu hình dạng mô tả Hình 2.27 bên xem dấu hiệu để xác định hình dạng từ Dấu hiệu đưa đến vector đặc trưng gồm 50 thành phần, 25 giá trị đầu 25 hệ số phép biến đổi cosin rời rạc (Discrete Cosin Transírom) phép chiếu hình dạng chuẩn hóa làm trơn (Hình 2.27d) 25 giá trị lại 25 hệ số phép biến đổi cosin rời rạc phép chiếu hình dạng chuẩn hóa làm trơn (Hình 2.27e) Để tính toán phép chiếu hình dạng trên, ảnh từ quét từ xuống Như quan sát Hình 2.27b, điểm ảnh đen tìm thấy điểm ảnh sau cột, xét theo chiều từ xuống chuyển thành điểm ảnh đen Phép chiếu hình dạng thao tác tương tự Như quan sát Hình 2.27c, ảnh từ quét từ lên Tất điểm ảnh cột chuyển thành điểm ảnh đến điểm ảnh đen tìm thấy Cuối hai phép chiếu tính toán giống đặc trưng phép chiếu dọc trước [...]... PHƯƠNG PHÁP TRA cứu ẢNH TỪ TRONG ẢNH TÀI LIỆU Trong chương này sẽ đưa ra các thuật toán cũng như các kĩ thuật được áp dụng vào trong hệ thống đề xuất như là: nhận dạng các từ có trong ảnh tài liệu, thuật toán đối sánh và trích chọn các đặc trưng của một vùng liên thông chứa trong ảnh Đầu vào của ảnh tài liệu đa phần là ảnh màu, vì vậy để giảm bớt các đặc trưng có thể tác động lên kết quả tìm kiếm thì ảnh. .. truy tìm ảnh tài liệu là sử dụng thủ tục đối sánh một từ Thủ tục này thực hiện đối sánh từ trực tiếp trong ảnh tài liệu mà không dùng phương pháp nhận dạng ký tự quang học (optical character recognition) và sử dụng ảnh của một từ như làm câu truy vấn Toàn bộ hệ thống bao gồm hai thủ tục chính như hìnhbên dưới Trong cơ sở dữ liệu ảnh tất cả ảnh tài liệu được phân tích để tìm số lượng từ tối đa bên trong. .. sở dữ liệu ảnh có nhiều chủ đề là hết sức khó khăn nên các hệ thống tra cứu ảnh kiều này vẫn yêu cầu phải chú thích ảnh một cách thủ công, tốn rất nhiều công sức và quan trọng hơn là nó mang tính chủ quan, bị ảnh huởng bởi hoàn cảnh và không đầy đủ Phuơng pháp tra cứu ảnh dựa theo nội dung ra đời đã khắc phục đuợc nhuợc điểm của phuơng pháp tra cứu ảnh dựa vào văn bản đi kèm Phuơng pháp "Tra cứu ảnh. .. liệu ảnh lớn, các kỹ thuật đánh chỉ số nhiều chiều cần được sử dụng Có ba cộng đồng nghiên cứu chính đóng góp vào lĩnh vực này: hình học tính toán, quản trị cơ sở dữ liệu và nhận dạng mẫu 1.3 Hệ thống đề xuất Xuất phát từ kiến trúc chung về hệ thống tra cứu ảnh Trong tài liệu này đề xuất hệ thống tìm kiếm từ trong ảnh tài liệu và đánh dấu hoặc làm nổi bật từ cần tìm Những kỹ thuật đưa ra bắt gặp trong. .. cứu ảnh 1.2.1 Tra cứu thông tin Tra cứu thông tin về ảnh là quá trình tìm kiếm trong một cơ sở dữ liệu ảnh những ảnh thỏa mãn một yêu cầu nào đó Tra cứu thông tin về ảnh thường dựa vào hai đặc trưng chính là văn bản mô tả đi kèm ảnh hoặc nội dung ảnh Một số công cụ tìm kiếm ảnh theo văn bản mô tả đi kèm như Google Image Search, Yahoo, MSN, Một số công cụ tìm kiếm ảnh dựa vào nội dung ảnh như Google Image... quan của ảnh nhu màu sẳc, kết cẩu, hình dạng và bổ cục không gian của ảnh để làm cơ sở cho việc tra cứu, sắp xếp, tổ chức cơ sở dữ liệu ảnh Một số hệ thống tra cứu ảnh nổi tiếng nhu QBIC (IBM), Virage (Virage Inc.) Photobook (MIT) Visual SEEK (Columbia University) đã áp dụng thành công kỹ thuật này Tra cứu ảnh dựa theo nội dung đã nhận đuợc nhiều sự quan tâm của các nhà khoa học 1.2.2 Tra cứu ảnh dựa... nhu trên sử dụng các kỹ thuật cơ sở dữ liệu truyền thống để quản lý ảnh Dựa vào các lời chú thích, nguời ta có thể tổ chức cơ sở dữ liệu ảnh bằng các phân lớp theo chủ đề hay theo ngữ nghĩa và việc duyệt cơ sở dữ liệu ảnh chỉ dựa trên các truy vấn kiểu Bool thông thuờng Phuơng pháp tra cứu ảnh dựa trên chú thích nhu trên còn đuợc gọi là phuơng pháp tra cứu ảnh theo từ khóa Do vậy việc xây dựng các thuật... Chuyến từ ảnh xám sang ảnh nhị phân Ảnh nhị phân có thể được chuyển đồi bằng phương pháp lấy ngưỡng tự động trên ảnh xám Thao tác chọn ngưỡng là chọn một số điểm ảnh như là những điểm ảnh nổi (Foreground Pixel) mà tạo thành đối tượng và những điểm ảnh còn lại là điểm ảnh nền (Background Pixel) Với một dải màu xám trong bức ảnh xám, chúng ta phải tìm ra một giá trị ngưỡng để phân tách những điểm ảnh trong. .. sáng tốt Ngược lại ảnh đố là một ảnh tối Dựa vào các yếu tố trên ta cỏ định nghĩa histogram của ảnh xám Đỉnh nghĩa: Cho ảnh mức xám I có giá trị màu nằm trong khoảng MIN và MAX 1 điểm ảnh trong ảnh I có giá trị m Histogram của ảnh mức xám I là số h(m) = |{(r,c)| ỉ(r, c) = m}| 7 Trong đó : m là tất cả giá trị mức xám của ảnh vầMỈN < m< MAX r, c là chỉ số hàng và cột của điểm ảnh trong ảnh Bảng 1.1: Định... những từ tương tự thông qua thủ tục đối sánh từ Cuối cùng, những ảnh tài liệu chứa những từ tương tự được hiện thị đến người dùng Kết quả thí nghiệm chỉ 2 5 ra rằng hệ thống đề xuất đưa ra kết quả tìm kiếm có độ chính xác cao thông qua độ đo về tỉ lệ precision và recall Trong các chương còn lại của tài liệu sẽ đi chi tiết vào từng bước trong hệ thống và các kỹ thuật sử dụng trong từng bước CHƯƠNG 2: PHƯƠNG