Đề tài XÂY DỰNG ỨNG DỤNG NHẬN DẠNG DANH THIẾP CHO ĐIỆN THOẠI THÔNG MINH

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG š&› LUẬN VĂN TỐT NGHIỆP NGÀNH KHOA HỌC MÁY TÍNH Đề tài XÂY DỰNG ỨNG DỤNG NHẬN DẠNG DANH THIẾP CHO ĐIỆN THOẠI THÔNG MINH Sinh viên thực : Danh Trân Mã số : B1400466 Khóa : 40 Cần Thơ, 09/2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG š&› LUẬN VĂN TỐT NGHIỆP NGÀNH KHOA HỌC MÁY TÍNH Đề tài XÂY DỰNG ỨNG DỤNG NHẬN DẠNG DANH THIẾP CHO ĐIỆN THOẠI THÔNG MINH Giáo viên hướng dẫn: TS.Trần Nguyễn Minh Thư Cần Thơ, 12/2017 Sinh viên thực hiện: Danh Trân Mã số: B1400466 Khóa : 40 NHẬN XÉT CỦA GIẢNG VIÊN LỜI CẢM ƠN Với tình cảm chân thành lịng biết ơn sâu sắc, em xin gửi lời cảm ơn tới: Tất giảng viên, cán trường đại học Cần Thơ, khoa cơng nghệ thơng tin truyền thơng, tận tình giảng dạy, tạo điều kiện thuận lợi giúp đỡ em suốt trình học tập Đặc biệt em xin bày tỏ lòng biết ơn sâu sắc đến Trần Nguyễn Minh Thư, người tận tình hướng dẫn, giúp đỡ em trình học tập hoàn thành luận văn tốt nghiệp Đồng thời em xin gửi lời cảm ơn đến gia đình, anh chị, bạn bè động viên, khích lệ giúp đỡ em trình học tập, rèn luyện đại học Cần Thơ Tuy có nhiều cố gắng q trình thực luận văn này, khơng thể tránh khỏi thiếu sót Em mong nhận góp ý từ q Thầy, Cơ tất Bạn để luận văn hoàn thiện Em xin chân thành cảm ơn! Cần Thơ, ngày 01 tháng 12 năm 2018 Người viết Danh Trân Đề tài:Nhận dạng danh danh thiếp GV hướng dẫn: TS Trần Nguyễn Minh Thư MỤC LỤC PHẦN GIỚI THIỆU Đặt vấn đề Lịch sử giải vấn đề Mục tiêu đề tài Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Kết đạt Bố cục luận văn 10 PHẦN NỘI DUNG 11 CHƯƠNG 1: MƠ TẢ BÀI TỐN 11 Mô tả chi tiết 11 Vấn đề giải pháp liên quan đến toán 14 2.1 Giải thuật xử lý ảnh liên quan đến toán 14 2.1.1 Chuyển ảnh màu sang ảnh xám 14 2.1.2 Chuyển ảnh xám sang ảnh nhị phân 15 2.1.3 Giải thuật phát biên 16 2.1.4 Các Phép biến đổi hình học áp dụng vào tóan 17 2.2 Các công nghệ hỗ trợ xây dựng ứng dụng 18 2.2.1 Môi Trường phát triển ứng dụng 18 2.2.2 Thư viện xử lý ảnh 20 2.2.3 Thư viện nhận dạng ký tự quang học 21 CHƯƠNG 22 THIẾT KẾ ỨNG DỤNG 22 Các chức ứng dụng 22 Kiến trúc ứng dụng 23 Luồng xử lý q trình nhận dạng danh thiếp 23 Thiết Kế Giải Thuật 24 4.1 Giải thuật khoanh vùng danh thiếp 24 4.1.1 Đối với ảnh chụp từ camera 24 4.1.2 Đối với ảnh chọn từ Gallery 29 4.2 Giải thuật tìm text line 32 4.3 Giải thuật phân loại thông tin 35 DANH TRÂN_B1400466 Đề tài:Nhận dạng danh danh thiếp GV hướng dẫn: TS Trần Nguyễn Minh Thư 4.3.1 Giải thuật tìm tên 37 4.3.2 Giải thuật tìm email 38 4.3.3 Giải thuật tìm số điện thoại 39 4.3.4 Giả thuật tìm địa 40 4.3.5 Giải thuật tìm Cơ Quan 40 CHƯƠNG 41 GIỚI THIỆU DEMO 41 Các chức ứng dụng 41 chức quản lý danh bạ 41 chức quản lý danh thiếp 42 Chức nhận dạng danh thiếp chụp trực tiếp từ camera 43 Chức nhận dạng danh thiếp từ ảnh gallery 43 Chức cấu hình ứng dụng 44 PHẦN KẾT LUẬN 45 Kết đạt 45 Hướng phát triển 45 TÀI LIỆU THAM KHẢO 46 DANH TRÂN_B1400466 Đề tài:Nhận dạng danh danh thiếp GV hướng dẫn: TS Trần Nguyễn Minh Thư DANH MỤC HÌNH Hình Ảnh chụp hình ứng dụng ABBYY Business Card Reader Hình Ứng dụng camcard Hình Các mẫu danh thiếp 11 Hình Ảnh phân vùng 12 Hình Ảnh bị hiệu ứng mắt chim 13 Hình Mất thơng tin áp dụng phuong pháp Otsu 13 Hình Sai lệch tìm text line 13 Hình Hệ tọa độ cực 17 Hình Biến đổi Homgraphy 18 Hình 10 Minh họa gọi camera intent 19 Hình 11 Các bảng contacts API 20 Hình 12 Use case chức ứng dụng 22 Hình 13 Các module ứng dụng 23 Hình 14 Luồng xử lý trình nhận dạng 24 Hình 15 Minh họa mơ hình YUV 25 Hình 16 Tổ chức liệu DataStream 25 Hình 17Vị trí vùng ảnh 26 Hình 18 Giải thuật phân vùng danh thiếp ảnh chụp từ camera 28 Hình 19 Tương quan dịng chữ đường thẳng song song 29 Hình 20 Kết giai đoạn 29 Hình 21 đoạn thẳng xem " nhiễu" 30 Hình 22 Hình chữ nhật bao quanh countour 32 Hình 23 Lưu đồ giải thuật phân loại thông tin 36 Hình 24 Lưu đồ giải thuật tìm tên 37 Hình 25 Lưu đồ giải thuật tìm email 38 Hình 26 Lưu đồ giải huật tìm số điện thoại 39 Hình 27 Lưu đồ giải thuật tìm địa 40 Hình 28 Lưu đị giải thuật tìm quan 40 Hình 29 Màn hình giao diện ứng dụng 41 Hình 30 Giao diện hình danh bạ 42 Hình 31 Giao diện chức quản lý danh thiếp 42 Hình 32 Giao diện trình nhận dạng danh thiếp chụp từ camera 43 Hình 33 Quá trình nhận dạng danh thiếp chọn từ galery 43 Hình 34 Giao diện cấu hình ứng dụng 44 DANH TRÂN_B1400466 Đề tài:Nhận dạng danh danh thiếp DANH TRÂN_B1400466 GV hướng dẫn: TS Trần Nguyễn Minh Thư Đề tài:Nhận dạng danh danh thiếp GV hướng dẫn: TS Trần Nguyễn Minh Thư ABSTRACT Business cards are a convenient item used by many people to communicate with each other With the continuous development of society, people tend to expand their relationships in many areas of life As a result, People have more and more business cards The storage and preservation a number of business cards sometimes face many difficulties Hence, they need effective methods and tools to store business cards This is the reason for the launch of the business card extracting applications to save personal information into contacts of mobile device There are many applications that have been successful as Camcard, ABBYY Business Card Reader However, these applications not support Vietnamese Wishing to develop a business card extracting application for the Vietnamese This thesis continues to study, improve, supplement and develop more functionalities, based on the results obtained from previous graduate theses - use opencv for image processing and Tesseract for character recognition This thesis improve the accuracy of the identification process by identify each region of text line Additional autozoning features of business cards Increases the ability to extract information (names, phone numbers, etc.) by adding location attributes, the size of each text line to reduce analysis time and increase accuracy Add business card photo storage function and improve user interface In general, the essay has achieved its purpose, greatly improving the accuracy of the identification process, enhancing the user experience However, due to limited development time, application processing time is not really optimized DANH TRÂN_B1400466 Đề tài:Nhận dạng danh danh thiếp GV hướng dẫn: TS Trần Nguyễn Minh Thư TÓM TẮT Danh thiếp vật phẩm tiện lợi nhiều người sử dụng, để trao đổi thông tin liên lạc với Cùng với phát triển không ngừng xã hội, người ln có xu hướng mở rộng mối quan hệ nhiều lĩnh vực đời sống Cũng số lượng danh thiếp người nhận ngày nhiều Việc lưu trữ bảo quản số lượng lớn danh thiếp gặp nhiều khó khăn Do cần có phương pháp cơng cụ lưu trữ hiệu Đây nguyên nhân dẫn đến đời ứng dụng trích xuất nội dung danh thiếp lưu vào danh bạ thiết bị di động Có nhiều ứng dụng gặt hái thành công, nhiều người tin tưởng sử dụng Camcard, ABBYY Business Card Reader…Tuy nhiên ứng dụng chưa hỗ trợ tốt tiếng Việt Với mong muốn phát triển ứng dụng nhận dạng danh thiếp cho người Việt Bài luận tiếp tục nghiên cứu, cải tiến, bổ sung phát triển thêm chức năng, dựa kết đạt luận văn tốt nghiệp trước - sử dụng opencv để xử lý ảnh Tesseract để nhận dạng ký tự Bài luận cải tiến độ xác trình nhận dạng việc nhận dạng vùng chứa dòng ký tự Bổ sung thêm chức tự động khoanh vùng ảnh chứa danh thiếp Tăng khả trích xuất thông tin( họ tên, số điện thoại…) việc bổ sung thêm thuộc tính vị trí, kích thước text line, nhằm giảm thời gian phân tích tăng độ xác Thêm chức lưu trữ ảnh danh thiếp cải thiện giao diện người dùng Nhìn chung luận đạt mục đích đề ra, cải tiến đáng kể độ xác trình nhận dạng, nâng cao trải nghiệm người dùng Tuy nhiên thời gian phát triển ứng dụng có hạn nên thời gian xử lý ứng dụng chưa thật tối ưu DANH TRÂN_B1400466 Đề tài:Nhận dạng danh danh thiếp GV hướng dẫn: TS Trần Nguyễn Minh Thư Với góc tạo đoạn thẳng i với trục Ox Tương tự ta lập hai điểm C(xMin,y[j]), D(xMax,y[j]) xoay lại góc - a j Bốn điểm A,B,C,D sau xoay vùng ảnh ta cần tìm 4.2 Giải thuật tìm text line Ý tưởng giải thuật dựa vào hình chữ nhật chứa contour ký tự Đối với tiếng Việt nhiều ngơn ngữ khác dịng văn ln viết thẳng hàng hình chữ nhật nằm tương đối thẳng hàng chiều cao tương đối Hình 22 Hình chữ nhật bao quanh countour Tuy nhiên danh thiếp cịn có nhiều ảnh khác dùng làm logo, ảnh minh họa…do cần bổ sung thêm thuộc tính khoảng cách hình chữ nhật dòng để xác định vùng ảnh chứa ký tự Các định nghĩa dùng giải thuật dưới: § § § § § Hình chữ nhật định nghĩa thuộc tính (left, top, right, bottom) TL, REMOVED kiểu liệu danh sách lưu hình chữ nhật TX = độ cao trung bình hình chữ nhật Độ cao = bottom – top d(x ,y) = y.left – x.right; “ Hình chữ nhật x gần với y nhất” : Hai hình chữ nhật x y xem gần khoảng cách d(x,y) nhỏ hình chữ nhật nằm dịng Hai hình chữ nhật x,y nằm dịng ì y.top >= x.top - T * TX í ỵ y.bottom 1 dễ gộp nhằm hình chữ nhật nằm khác dịng § TL_RECT hình chữ nhật bao quanh TL ìleft = min(left (TL )) ïtop = min(top (TL)) ï í ïright = max(right (TL)) ïỵbottom = max(bottom(TL)) Với: left(TL) : mảng giá trị left hình chữ nhật TL right(TL) : mảng giá trị right hình chữ nhật TL top(TL) : mảng giá trị top hình chữ nhật TL bottom(TL) : mảng giá trị bottom hình chữ nhật TL § Hình chữ nhật bao quanh TL_RESULT định nghĩa TL_RECT § TL định nghĩa dịng ký tự khi, diện tích TL_RECT bao quanh lớn 2% diện tích ảnh tỉ lệ dài/rộng lớn Giải thuật trải qua lần lược bước sau: Bước 1: Chuyển ảnh màu sang ảnh mức xám Bước 2: Tìm hình chữ nhật bao quanh contour Bước 3: Sắp xếp hình chữ nhật vừa tìm theo thuộc tính left tăng dần Bước 4: Lặp qua hình chữ nhật theo dãy xếp bước 3, để nhóm hình chữ nhật lại với nhau, vùng chứa dòng ký tự - Lẩy hình chữ nhật thứ i với i nằm [0, N-1] gọi x N tống số hình chữ nhật - Lưu x vào danh sách TL - Tìm hình chữ nhật y, gần với x (*) - Tính khoảng cách d(x,y) (**) - Nếu d(x,y) < TX (***) + Thêm y vào TL + Đặt x=y, quay lại bước (*) - Nếu d(x,y) >=TX + Kiểm tra TL có phải dịng ký tự khơng? + Nếu TL dịng ký tự lưu lại + Nếu TL khơng dịng ký tự lưu phần tử TL vào danh sách REMOVED quay bước với i=i+1 DANH TRÂN_B1400466 33 Đề tài:Nhận dạng danh danh thiếp GV hướng dẫn: TS Trần Nguyễn Minh Thư Bước 5: Tìm hình chữ bao quanh TL vừa tìm bước 4, gọi TL_RECT Bước 6: xếp TL_RECT theo thuộc tính top tăng dần Bước 7: Duyệt qua TL_RECT xếp bước Với TL_RECT[i] - Thêm TL_RECT[i] vào TL_RESULT - Tìm TL_RECT, hình chữ nhật REMOVED thuộc line với TL_RECT[i], gọi x x thuộc line ì x.top >= TOP í ỵ y.bottom TL_RECT[i].right - Sắp xếp left_list theo thứ tự giảm dần x.right - Sắp xếp right_list theo thứ tự tăng dần x.left - Duyệt qua phần tử x[i] left_list right_list thực bước sau: + Tính d(x[i],x[i+1]) +Tính TV2 TV = h * x.bottom - x.top h Vơi h=(TL_RECT[i].bottom – TL_RECT[i].top) +Nếu d