Xây dựng phần mềm nhận dạng hộ chiếu và làm thủ tục xuất nhập cảnh tại cửa khẩu

Hình 2 : Máy đọc hộ chiếu hãng Keen Sinh Hình 3: Trang nhân thân của hộ chiếu Hình 4: Thông tin trên dòng ICAO của hộ chiếu Hình 5 : Hộ chiếu trẻ em không có số chứng minh nhân dân Hình

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

-

Vũ Tuấn Lâm

XÂY DỰNG PHẦN MỀM NHẬN DẠNG HỘ CHIẾU VÀ LÀM THỦ

TỤC XUẤT NHẬP CẢNH TẠI CỬA KHẨU

LUẬN VĂN THẠC SỸ KHOA HỌC CÔNG NGHỆ THÔNG TIN

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

-

Vũ Tuấn Lâm

XÂY DỰNG PHẦN MỀM NHẬN DẠNG HỘ CHIẾU VÀ LÀM THỦ

TỤC XUẤT NHẬP CẢNH TẠI CỬA KHẨU

Chuyên ngành: Công nghệ thông tin

Mã đề tài: NTT09-50

Người hướng dẫn khoa học:

TS Tạ Tuấn Anh

Hà Nội - 2011

2 Mục đích nghiên cứu của luận văn 10

Chương 1: NHẬN THỨC CHUNG VỀ NHẬN DẠNG HỘ CHIẾU 13

Chương 2 : MỘT SỐ PHƯƠNG PHÁP NHẬN DẠNG KÝ TỰ 20

5 Một số vấn đề của mạng Nueral trong nhận dạng 26

6 Kiến trúc mạng Nueral MLP trong hệ thống nhận dạng 26

2 Mô hình mờ và kỹ thuật mô hình hóa mờ 31 2.1 Cấu trúc và hoạt động của một mô hình mờ 31

III- Phương pháp trích chọn đặc trưng kết hợp với SVM (Support Vector

Machine) cho việc nhận dạng

3 Nhận dạng sử dụng phương pháp SVM 37 Chương 3: QUY TRÌNH XỬ LÝ ẢNH NHẬN DẠNG, ỨNG DỤNG

GIẢI THUẬT ARAOKAR CHO VIỆC NHẬN DẠNG HỘ CHIẾU

39 I- Quy trình thuật toán xử lý ảnh nhận dạng 39

1 Đặc điểm giải thuật 51

2 Kích thước dữ liệu đầu vào với giải thuật Araokar 52

3 Cơ chế học của mạng Nueral với thuật toán Araokar 53

5 Các vấn đề về hiệu suất trong nhận dạng 58

6 Một số lưu ý với giải thuật 59 Chương 4: PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG CHƯƠNG TRÌNH 60

I Phân tích và thiết kế hệ thống theo mô hình UML 60

II Một số giao diện chương trình 66

1 Chương trình chính huấn luyện và nhận dạng tự động 66

4 Báo cáo số lượng XNC theo cửa khẩu 68 KẾT QUẢ CÀI ĐẶT VÀ THỬ NGHIỆM HỆ THỐNG 69

DANH MỤC CÁC TỪ NGỮ TIẾNG ANH

ORC - Optical Character Recognition

ICAO- International Civil Aviation Organization

SVM - Support Vecter Machine

SDM - sequential decision making

DANH MỤC CÁC HÌNH VẼ ĐỒ THỊ

Hình 1: Máy đọc hộ chiếu của hãng IBOX

Hình 2 : Máy đọc hộ chiếu hãng Keen Sinh

Hình 3: Trang nhân thân của hộ chiếu

Hình 4: Thông tin trên dòng ICAO của hộ chiếu

Hình 5 : Hộ chiếu trẻ em không có số chứng minh nhân dân

Hình 6: Một số hộ chiếu các quốc gia khác

Hình 7: Quy trình nhận dạng hộ chiếu

Hình 8: Mô hình một neural nhân tạo

Hình 9 : Sơ đồ đơn giản về một mạng neural nhân tạo

Hình10 - Sơ đồ đồ thị có hướng đơn giản

Hình 11: Mô hình mạng neural nhiều lớp

Hình 12: Sơ đồ quá trình mô hình hoá mờ và ba giai đoạn chính của nó Hình 13 - Cấu trúc mô hình mờ

Hình14: Mô hình mờ Mamdani sử dụng tích và max lần lượt cho phép toán AND mờ và OR mờ

Hình15: Mô hình mờ Sugeno

Hình 16: Mô hình mờ Tsukamoto

Hình17: Trích chọn đặc trưng trọng số vùng

Hình 18: Biểu đồ hình chiếu (Projection histograms)

Hình 19: Trích chọn các khối bên ngoài của chữ

Hình 20: Trích chọn đặc trưng wavelet Haar

Hình 21: Lấy mẫu theo véc tơ đặc trưng hướng

Hình 28: Quá trình ánh xạ từ ma trận điểm sang ma trận nhị phân Ảnh 29: Ảnh ma trận I chuyển thành ma trận M

Hình 30: Minh họa 3 ký tự ma trận điểm ảnh S

Hình 31: Ma trận trọng số sau 3 lần huấn luyện

Hình 32: Mô hình mạng nueral nhân tạo cho thuật toán Araokar Hình 33: Mẫu ký tự S đã được huấn luyện và P chưa được huấn luyện Hình 34 Sơ đồ dòng thông tin trong hệ thống làm thủ tục XNC Hình 35 : Biểu đồ trình tự

LỜI CẢM ƠN

Được học tập tại Trường Đại học Bách khoa Hà nội chuyên ngành Công nghệ thông tin Dưới sự giảng dạy và hướng dẫn nhiệt tình của các thầy cô giáo Viện Công nghệ Thông tin và truyền thông Các học viên Cao học khóa 2009 đã hoàn thành chương trình khóa học và được trang bị các kỹ năng, phương pháp tiếp cận, nghiên cứu khoa học giải quyết các vẫn đề thuộc về chuyên ngành của mình

Thực hiện Quyết định số 1772/ QĐ-ĐHBK-SĐH ngày 9 tháng 3 năm 2010 của Hiệu trưởng trường Đại học Bách khoa Hà nội về việc giao đề tài luận văn Thạc sỹ

cho Học viên Vũ Tuấn Lâm – Số hiệu học viên CB091328 với đề tại “Xây dựng phần mềm nhận dạng hộ chiếu và làm thủ tục xuất nhập cảnh tại cửa khẩu”, dưới sự

hướng dẫn của TS Tạ Tuấn Anh – Phó Viện trưởng Viện CNTT và Truyền thông – Đại học Bách khoa Hà nội

Trong quá trình tiến hành làm luận văn, được sự giúp đỡ và định hướng nghiên cứu của TS Tạ Tuấn Anh, Tôi đã đi nghiên cứu các vấn đề về Hộ chiếu, ảnh hộ chiếu, các phương pháp xử lý ảnh và các giải thuật, phương pháp liên quan đến việc nhận dạng ký tự trên hộ chiếu để xây dựng một chương trình tự động nhận dạng hộ chiếu và làm thủ tục xuất nhập cảnh tại cửa khẩu

Tuy nhiên, do thời gian có hạn, mặc dù đã cố gắng nhưng chắc chắn luận văn còn nhiều điểm thiếu xót Rất mong nhận được ý kiến đóng góp của các thầy cô giáo

và các bạn đồng nghiệp để luận văn thêm hoàn thiện

Em xin chân thành cảm ơn TS Tạ Tuấn Anh, người đã định hướng nghiên cứu

và hướng dẫn em nhiệt tình trong quá trình hoàn thành Luận văn này

MỞ ĐẦU

Công nghệ xử lý ảnh và nhận dạng ký tự là một lĩnh vực mới, có tính ứng dụng thực tế cao, đem lại hiệu quả rõ rệt Ở Việt Nam xử lý ảnh và nhận dạng là một ngành khoa học được nghiên cứu và phát triển muộn hơn so với nhiều ngành khoa học khác nhưng tốc độ phát triển khá nhanh, sự ra đời của nó đã tạo ra các kỹ thuật quan trọng ảnh hưởng trực tiếp đến các lĩnh vực của đời sống, xã hội

Trong thực tế, những công viêc, những bài toán thực hiện theo phương thức cũ

sẽ không còn phù hợp nữa Ngày nay trước yêu cầu hội nhập quốc tế đòi hỏi phải ứng dụng, tiếp cận những công nghệ mới để thay đổi phương thức thực hiện công việc đạt hiệu quả cao nhất Kỹ thuật xử lý hình ảnh và nhận dạng ký tự không nằm ngoài quy luật đó

Ở Việt Nam hàng năm số lượng người xuất nhập cảnh qua các cửa khẩu rất lớn, khoảng trên 4 triệu người 1 năm Cả nước có hơn 30 cửa khẩu quốc tế (trong đó

có 4 cửa khẩu quốc tế hàng không) và 50 cửa khẩu chính Việc làm thủ tục xuất nhập cảnh ở các cửa khẩu là công việc thường xuyên và liên quan đến các thông tin lưu trên hộ chiếu

Việc kiểm soát và làm thủ tục xuất nhập cảnh được thực hiện theo đúng quy trình Các thông tin sẽ được nhập vào máy tính để lưu trữ, theo dõi quá trình xuất nhập cảnh của hành khánh Việc làm này hoàn toàn theo lối thủ công, bằng tay mất rất nhiều thời gian mà hiệu quả không cao

Hiện tại ở các cửa khẩu của Việt Nam đã được trang bị một số loại thiết bị nhận dạng hộ chiếu của nước ngoài nhằm bán tự động quá trình làm thủ tục XNC cho hành khách, các loại máy đọc có thể kể đến như

1.1 Máy đọc hộ chiếu IBOX

Đây là thiết bị của Hungary được lắp giáp tại Việt Nam Tích hợp với hệ thống máy tính

Dòng máy đọc và kiểm tra hộ chiếu đa năng IBOX Passport Multi Reader là dòng máy chuyên dùng với thuật toán xử lý chặt chẽ và thông minh Máy được tích hợp giữa phần cứng tiên tiến với phần mềm nhận dạng OCR, 2D Barcode có độ

chính xác chuyên dùng cho việc đọc và kiểm tra Hộ chiếu, Visa và các loại giấy tờ tuy thân khác một cách hoàn toàn tự động

Hình 1: Máy đọc hộ chiếu của hãng IBOX

Nhược điểm: Giá thành cao 11.000USD trước khi tiến hành nhận dạng phải

có mẫu để căn chỉnh tọa độ Tích hợp với phần mềm phức tạp và thường xuyên hỏng hóng Khi hỏng phải thay thế cả cụm linh kiện, rất tốn kém

Không thích hợp với thời tiết khí hậu của Việt Nam, hay bị lỗi khi thời tiết bị

ẩm Đèn tín hiệu cực tím thường xuyên bị cháy

1.2 Máy đọc hộ chiếu Passpord Reader của hãng Keen Sing

Hình 2 : Máy đọc hộ chiếu hãng Keen Sinh

Đây là dòng máy đọc hộ chiếu có tốc độ đọc nhanh, nhưng khả năng nhận dạng thường bị lỗi và sót ký tự Việc tích hợp với phần mềm hay bị lỗi, yêu cầu phải mua phần mềm nhận dạng đi kèm Giá thành khá cao

Chi tiết có thể tham khảo tại Website của hãng theo địa chỉ:

http://www.keesingreferencesystems.com/products/for_checking_id/passport_reader

1.3 Máy đọc hộ chiếu Border Guard

Nước sản xuất Mỹ Tích hợp tương ứng như một máy tính kèm thiết bị đọc

hộ chiếu Nhỏ gọn, có phần mềm nhận dạng đi kèm

Nhược điểm: cấu hình không cao, chỉ chạy được hệ điều hành WinNT rất khó khăn trong việc kết nối mạng Hỏng thường không có thiết bị thay thế Bóng đèn tạo ánh sáng trắng hay bị cháy

Các đời máy thường thay đổi, không thể mua thiết bị thay thế

Tuy đã được đầu tư các hệ thống máy nhận dạng hộ chiếu mua ở nước ngoài nhưng có nhược điểm là giá thành quá cao (200 triệu/chiếc) Không làm chủ được công nghệ khi có sự cố hỏng hóc phải tiến hành thay thế không có trang thiết

bị Việc tích hợp phần mềm với thiết bị luôn bị trục trặc và yêu cầu về hình ảnh nhận dạng phải rõ nét theo đúng kích thước quy định sẵn của trang thiết bị

Từ những nhược điểm trên và xuất phát từ yêu cầu thực tế, cần thiết phải đi nghiên cứu, xây dựng một chương trình nhận dạng để hoàn toàn làm chủ công nghệ, thuận tiện trong việc nâng cấp, thay thế phần mềm, giảm giá thành sản phẩm

và có khả năng ứng dụng cao

2 Mục đích nghiên cứu của luận văn

Mục đích của luận văn là nghiên cứu kỹ thuật xử lý ảnh và nhận dạng ký

tự Tập trung vào nghiên cứu ứng dụng mạng nueral nhân tạo, thuật toán nhận dạng Araokar để nhận dạng những thông tin trên hộ chiếu, xây dựng chương trình nhận dạng hộ chiếu và làm thủ tục xuất nhập cảnh tại cửa khẩu, phát triển thành một ứng dụng có ý nghĩa thực tiễn

3 Cơ sở nghiên cứu

Dựa trên đầu vào là các đối tượng ảnh hộ chiếu Đây là một đối tượng khá phức tạp với dung lượng điểm ảnh, độ sáng tối, môi trường để thu nhận ảnh phong phú kéo theo nhiễu Từ đó tiếp cận các phương pháp xử lý ảnh, phương pháp nhận dạng ký tự để chuyển các thông tin trên ảnh hộ chiếu thành tài liệu sử dụng cho mục đích làm thủ tục xuất nhập cảnh

Dựa vào các phương pháp nhận dạng đã và đang được sử dụng như trích chọn mẫu, máy học, sử dụng mạng nueral với trọng số, các kỹ thuật trong hệ thống nhận dạng để có cái nhìn tổng thể về nhận dạng ký tự, khắc phục các nhược điểm, tận dụng các ưu điểm như chất lượng, độ chính xác, tính hiệu quả của những phương pháp trên, tập trung nghiên cứu kỹ thuật nhận dạng ứng dụng giải thuật Araokar để nhận dạng thông tin trên hộ chiếu, tối ưu hóa giải thuật, xây dựng chương trình làm thủ tục XNC

4 Cấu trúc của luận văn

Luận văn được trình bày thành 4 chương và 1 phụ lục

Chương 1: Nhận thức chung về nhận dạng hộ chiếu, khái niệm hộ chiếu, các loại hộ chiếu, các đặc điểm hộ chiếu, những thông tin lưu trữ trên dòng ICAO của hộ chiếu, các bước tiến hành nhận dạng hộ chiếu

Chương 2: Tìm hiểu một số phương pháp nhận dạng ký tự đã và đang được

sử dụng như như phương pháp sử dụng mang Nueral nhân tạo, sử dụng hệ mờ để nhận dạng, phương pháp máy học SVM (Support Vecter Machine)

Chương 3: Quy trình xử lý ảnh với các bài toán con xử lý ảnh nhận dạng, phân tích giải thuật Araokar, ứng dụng giải thuật này cho việc nhận dạng ký tự trên

hộ chiếu

Chương 4: Xây dựng chương trình nhận dạng hộ chiếu hỗ trợ việc làm thủ tục xuất nhập cảnh tại cửa khẩu

5 Phương pháp nghiên cứu

Nghiên cứu cấu trúc, các thông tin trên hộ chiếu, cách thức mã hóa thông tin

cá nhân trên dòng ICAO của hộ chiếu

Nghiên cứu các phương pháp xử lý ảnh như giảm nhiễu, xoay, tách dòng dữ liệu cần nhận dạng , cân bằng xám, chuyển ảnh về ma trận nhị phân, phương pháp lấy mẫu

Tìm hiểu một số phương pháp nhận dạng ký tự ảnh đã và đang được ứng dụng từ đó rút ra ưu, khuyết điểm của mỗi phương pháp

Nghiên cứu giải thuật Araokar về nhận dạng ký tự, ứng dụng giải thuật Araokar xây dựng các module nhận dạng dòng ICAO của hộ chiếu, xây dựng chương trình tự động làm thủ tục xnc tại cửa khẩu

Chương 1 NHẬN THỨC CHUNG VỀ NHẬN DẠNG HỘ CHIẾU

1.Hộ chiếu là gì:

Hộ chiếu có hình dạng như một quyển sách nhỏ, có số quản lý của nhà sản xuất và từ “Hộ chiếu” (PassPort) được in trên nó Hộ chiếu mang ảnh người được cấp, chữ ký người có thẩm quyền cấp, đặc điểm nhận dạng và những thông tin cá nhân để nhận dạng người được cấp

Chức năng: Chức năng chính của hộ chiếu là để nhận dạng người được cấp

hộ chiếu, là chứng minh thư quốc tế của mỗi cá nhân và và cung cấp các thông tin cho cơ quan xuất nhập cảnh để làm thủ tục qua lại biên giới giữa các quốc gia

Các loại hộ chiếu gồm có:

- Hộ chiếu phổ thông: Cấp cho mọi công dân có ý định đi nước ngoài

- Hộ chiếu công vụ đặc biệt: Cấp cho các công chức đi nước ngoài về việc công

- Hộ chiếu ngoại giao: Cấo cho công dân đảm nhận nhiệm vụ tại cơ quan ngoại giao và lãnh sự ở nước ngoài và thành viên gia đình họ đi theo Hộ chiếu ngoại giao còn được cấp cho người đứng đầu nhà nước, Bộ trưởng trong chính phủ, quan chức lãnh đạo trong quân đội, các giáo sỹ cao cấp, thành viên của đoàn đại biểu ngoại giao đặc biệt và người đứng đầu đoàn đại biểu các nước dự hội nghị chính phủ

- Hộ chiếu thuyền viên: Cấp cho thành viên đoàn thủy thủ của các tầu buôn của nước cấp hộ chiếu nhằm tạo điều kiện đi lại trên thế giới cùng tầu, thuyền

- Hộ chiếu thường có 72 trang, 2 trang bìa được làm bằng bìa cứng, có in chữ PassPort, khâu lại bằng chỉ Giấy in hộ chiếu là giấy có chất liệu phát quang, với nhiều hình hoa văn để tránh làm giả , bên trong gồm có trang nhân thân chứa các thông tin :

+ Quốc tịch (Nationality) - Ghi cả tên quốc gia cấp hộ chiếu và mã quốc gia theo chuẩn ISO 3166-1 alpha-3

+ Số hộ chiếu (Passport N0)– Là một dãy ký tự, thông thường ký tự đầu tiên

là 1 chữ cái, các ký tự tiếp theo là chữ số

+ Loại hộ chiếu (Type): Có thể là 1 hoặc 2 ký tự, mỗi loại hộ chiếu được quy ước sử dụng các ký tự khác nhau Hộ chiếu phổ thống có ký hiệu là “P”, Hộ chiếu công vụ “CV”, Hộ chiếu ngoại giao “NG”, Hộ chiếu thuyền viên “TV”

Hình 3: Trang nhân thân của hộ chiếu

+ Ảnh - Ảnh của người được cấp hộ chiếu, thường là ảnh dán có đóng dấu nổi quốc huy của quốc gia hoặc được in trực tiếp ảnh lên hộ chiếu để tránh trường hợp làm giả

+Họ và tên người được cấp hộ chiếu (Full name): Ghi đầy đủ họ và tên người được cấp hộ chiếu

+ Mã số (Code) – Mã quốc tịch 3 ký tự

+ Ngày sinh (Date of birth) –Ghi đầy đủ ngày tháng năm sinh

+ Giới tính (Sex) : Nam ghi là M, Nữ ghi là F

+ Thời hạn hộ chiếu (Date of expiry):

+ Nơi cấp (Place of issue)

Các thông tin trên dòng ICAO

- Các mã kiểm tra: là một dãy số dùng để kiểm tra tính hợp lệ của hộ chiếu Từ dãy số này muốn kiểm tra xem hộ chiếu có bị làm giả không ta sử nhân dãy số với 1

mã số bí mật Kết quả sẽ được ghi vào chữ số cuối cùng của dòng 2 trên bảng ICAO

Số HC Mã quốc tịch

( 3 ký tự)

Ngày sinh ( Năm/tháng/ngày)

Ngày hết hạn ( Năm/tháng/ngày)

Số CMND

GT Các mã kiểm

tra (Check sum)

Các ký tự dự phòng hoặc ngăn cách

Ảnh 5 : Hộ chiếu trẻ em không có số chứng minh nhân dân

Hiện nay một số nước đã sử dụng hộ chiếu điện tử, đây là hộ chiếu có gắn chíp bên trong trang nhân thân lưu trữ toàn bộ thông tin cá nhân người cấp hộ chiếu tuy nhiên số lượng sử dụng chưa nhiều và chủ yếu các nước vẫn sử dụng loại hộ chiếu thông dụng kể trên

Trên hộ chiếu, mỗi nước sử dụng các ký tự và cách in khác nhau, tuy nhiên

về cơ bản thông tin trên dòng ICAO theo đúng chuẩn và font chữ giống nhau:

Hình 6: Một số hộ chiếu các quốc gia khác

- Mỗi quốc gia có quy định cơ quan cấp hộ chiếu riêng, ở Việt Nam cơ quan được phép cấp hộ chiếu là Cục quản lý Xuất nhập cảnh – Bộ Công an, các tổng lãnh

sứ quán tại các nước, Bộ ngoại giao

- Thủ tục cấp hộ chiếu hiện nay cũng khá đơn giản, khai báo các thông tin cá nhân, chụp ảnh và làm đơn xin cấp hộ chiếu Thời hạn làm hộ chiếu khoảng 7 ngày

từ khi làm đủ các thủ tục trên

- Mỗi cá nhân phải quản lý hộ chiếu của mình, khi xuất nhập cảnh tại các cửa khẩu đều phải xuất trình hộ chiếu, nếu bị mất phải báo cho cơ quan công an để tiến hành hủy hộ chiếu bị mất

3 Quy trình và phương pháp nhận dạng hộ chiếu

Nhận dạng hộ chiếu là quy trình nhận dạng từ ảnh hộ chiếu để trích suất được các thông tin lưu trữ trong dòng ICAO từ đó sử dụng các thông tin này phục

vụ quá trình làm thủ tục XNC tại cửa khẩu

Đầu vào quá trình nhận dạng là là file ảnh (*.bmp,*.jpg,…) được chụp hoặc quét từ trang nhân thân chứa các thông tin về người xuất nhập cảnh Để việc nhận dạng có độ chính xác vùng nhận dạng (Dòng ICAO) có kích thước 1200 x 180 pixel Ảnh nhận dạng đã được đưa về ảnh đen trắng và qua quá trình tiền xử lý

Việc nhận dạng Hộ chiếu và làm thủ tục xuất nhập cảnh diễn ra tại các cửa khẩu quốc gia, quốc tế Mỗi cá nhân khi làm thủ tục xuất nhập cảnh tại cửa khẩu phải xuất trình hộ chiếu, cán bộ làm thủ tục sẽ kiểm tra hộ chiếu, đối chiếu các thông tin trên hộ chiếu với người mang hộ chiêu, nếu phù hợp sẽ đóng dấu kiểm chứng để cho công dân đó xuất cảnh hoặc nhập cảnh

Phương pháp nhận dạng hộ chiếu bao gồm các bước được mô tả như sau:

Hình 7: Quy trình nhận dạng hộ chiếu

- Thu nhận ảnh hộ chiếu: thực chất là quy trình chụp ảnh, quét ảnh phần trang thông tin chứa dòng ICAO Quá trình này có thể sử dụng máy quét canner Fuji Xerox DocuScanC3200Avới tốc độ quét Tốc độ quét đen trắng 31 tờ/phút độ phân giải600x600dpi Optical 24bit color

- Phân tích ảnh để tách lấy phần thông tin cần nhận dạng: quá trình này sẽ tách phần ảnh và phần thông tin cần nhận dạng (dòng ICAO) để đưa vào bước tiếp theo

- Tiền xử lý ảnh: Đây là quá trình phân ngưỡng, xoay ảnh, cân bằng xám, chuyển đổi về ảnh đen trắng

Tiền xử lý ảnh

- Lấy mẫu, chuyển đổi sang ma trận điểm ảnh: xử dụng giải thuật lấy mẫu để đưa vào ma trận nhị phân kích thước 20x30 phục vụ quá trình nhận dạng

- Sử dụng giải thuật Araokar để nhận dạng: sử dụng giải thuật với việc so sánh

ma trận trọng số để đưa ra được ký tự cần nhận dạng từ ma trận điểm ảnh

- Sử dụng thông tin nhận dạng làm thủ tục XNC: Từ thông tin này, sử dụng giải thuật tách các thông tin riêng lẻ gồm họ tên, ngày tháng năm sinh, số hộ chiếu, loại hộ chiếu…và kết hợp với phần mềm làm thủ tục XNC

Chương 2:

MỘT SỐ PHƯƠNG PHÁP NHẬN DẠNG KÝ TỰ

I Sử dụng mạng neural nhân tạo

1 Khái niệm mạng neural nhân tạo

Neural nhân tạo là một đơn vị tính toán có nhiều đầu vào và một đầu ra, mỗi

đầu vào đến từ một liên kết Đặc trưng của neural là một hàm kích hoạt phi tuyến chuyển đổi tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra Hàm kích hoạt này đảm bảo tính chất phi tuyến cho tính toán của mạng neural

Hình 8: Mô hình một neural nhân tạo

Một neural được cầu tạo gồm các thành phần chính : liên kết neural, bộ cộng , hàm kích hoạt

Liên kết neural là một thành phần của mạng neural nhận tạo để liên kết giữa các neural, nó nối đầu ra của neural lớp này với đầu vào của một neural trong lớp khác Đặc trưng của thành phần liên kết là một trọng số mà mỗi tín hiệu đi qua đều

được nhân với trọng số này Các trọng số liên kết chính là các tham số tự do cơ bản

của mạng neural, có thể thay đổi được nhằm thích nghi với môi trường xung quanh

Bộ cộng dùng để tính tổng các tín hiệu đầu vào của neural, đã được nhân với

các trọng số liên kết tương ứng phép toán được mô tả ở đây tạo nên một bộ hợp tuyến tính

Hàm kích hoạt hay còn gọi hàm kích hoạt phi tuyến, chuyển đổi một tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra Hàm kích hoạt này đảm bảo tính chất phi tuyến cho tính toán mạng neural Nó được xem như là một hàm giới hạn, nó giới hạn phạm vi biên độ cho phép của tín hiệu đầu ra trong một khoảng giá trị hữu hạn Mô hình neural trong hình 1.2 còn bao gồm một hệ số điều chỉnh b tác động từ bên ngoài Hệ số điều chỉnh b có tác dụng tăng lên hoặc giảm đi đầu vào thực của hàm kích hoạt, tùy theo nó dương hay âm

Bảng 1.1 : Một số hàm kích hoạt cơ bản trong mạng neural:

hardlim a = 0 với n < 0

a = 1 với n ≥ 0 hardlims a = -1 với n < 0

a = n với 0 ≤ n ≤ 1

a = 1 với n > 1 tansig

n

e

e e

compet a = 1 với neural có n lớn nhất

a = 0 với các neural còn lại

2 Mô hình mạng neural

Hình 9: Sơ đồ đơn giản về một mạng neural nhân tạo

Mô hình mạng neural ở trên gồm 3 lớp: lớp nhập (input), lớp ẩn(hidden) và lớp xuất (output) Mỗi nút trong lớp nhập nhận giá trị của một biến độc lập và chuyển vào mạng

Dữ liệu từ tất cả các nút trong lớp nhập được tích hợp – ta gọi là tổng trọng số – và chuyển kết quả cho các nút trong lớp ẩn Gọi là “ẩn” vì các nút trong lớp này chỉ liên lạc với các nút trong lớp nhập và lớp xuất, và chỉ có người thiết kế mạng mới biết lớp này (người sử dụng không biết lớp này)

Các nút trong lớp xuất nhận các tín hiệu tổng trọng hóa từ các nút trong lớp

ẩn Mỗi nút trong lớp xuất tương ứng với một biến phụ thuộc

3.Xây dựng mạng neural

Về cơ bản ta có thể hiểu mạng neural là một đồ thị có hướng như hình 1.8 Trong đó các đỉnh của đồ thị là các neural và các cạnh của đồ thị là các liên kết giữa các neural

Hình10 - Sơ đồ đồ thị có hướng đơn giản

Vì vậy để xây dựng một mạng neural ta xây dựng một đồ thị có hướng: số đỉnh của đồ thị bằng số neural trong mạng, giá trị của các cạnh chính là trọng số liên kết neural

Ví dụ xây dựng một mạng neural đơn giản:

Đầu vào: Cho :

Mạng neural có sô lớp (với sô lớp>1)

Mỗi lớp có số neural trong một lớp (số neural>=1)

Trọng số w liên kiết neural ngẫu nhiên trong khoảng (-a,a)

Đầu ra: Mạng neural nhân tạo

Kiểu dữ liệu: chọn lưu dữ kiểu mảng :

Bước 1: Chọn lớp i=2 là lớp bắt đầu

Bước 2: Chọn lớp i là lớp hiện thời

Bước 3 : Tại lớp đang xét i , xét neural thứ j

Bước 4: Thực hiện khởi tạo ngẫu nhiên trọng số kết nối với neural k của lớp

i-1 trong khoảng (-a,a)

w(i,j,k)=random(-a,a)

Bước 5: Nếu k <= số neural[i-1] quay lại “Bước 4”, ngược lại thực hiện “Bước 6” Bước 6: Nếu j<= số neural[i] quay lại “Bước 3”, ngược lại thực hiện “Bước 7” Bước 7: Nếu i<=số lớp quay lại “Bước 3” ngược lại kết thúc

4.2 Học có giám sát

Một thành phần không thể thiếu của phương pháp này là sự có mặt của một người thầy (ở bên ngoài hệ thống) Người thầy này có kiến thức về môi trường thể hiện qua một tập hợp các cặp đầu vào - đầu ra đã được biết trước Hệ thống học (ở đây là mạng neural) sẽ phải tìm cách thay đổi các tham số bên trong của mình (các trọng số và các ngưỡng) để tạo nên một ánh xạ có khả năng ánh xạ các đầu vào thành các đầu ra mong muốn Sự thay đổi này được tiến hành nhờ việc so sánh giữa đầu ra thực sự và đầu ra mong muốn

4.3 Học không giám sát

Trong học không có giám sát, ta được cho trước một số dữ liệu x và hàm chi phí cần được cực tiểu hóa có thể là một hàm bất kỳ của dữ liệu x và đầu ra của mạng, f – hàm chi phí được quyết định bởi phát biểu của bài toán Phần lớn các ứng dụng nằm trong vùng của các bài toán ước lượng như mô hình hóa thống kê, nén,

5 Một số vấn đề của mạng neural trong nhận dạng

Khi xây dựng một ứng dụng mạng neural chúng ta cần quan tâm một số vấn

đề sau:

Vấn đề về kiến trúc mạng neural : neural nào nối với neural nào? Đây chính là

sự lựa chọn mô hình của mạng neural Nó sẽ phụ thuộc vào sự trình bày dữ liệu và ứng dụng Những mô hình phức tạp quá dẫn đến những vấn đề lựa chọn quá trình huấn luyện hay là việc lựa chọn giải thuật học

Lựa chọn giải thuật học: ở đây có nhiều sự cân bằng giữa các giải thuật học Gần như bất kỳ giải thuật nào sẽ làm tốt với độ chính xác của các siêu tham số cho việc huấn luyện trên tập dữ liệu cố định cho trứớc Tuy nhiên sự lựa chọn và điều hướng của giải thuật cho việc huấn luyện trên các tập dữ liệu này cần thực hiện

nhiều thí nghiệm, đó là điều rất quan trọng Trên một mô hình nếu lựa chọn giải thuật và hàm đánh giá phù hợp thì mạng neural có thể cho kết quả rất tốt

Trọng số của các cung nối và ngưỡng thay đổi thường xuyên Đã có nhiều nghiên cứu về vấn đề này và cũng đã có một số kết quả :

Nếu mạng gây ra lỗi, thì có thể xác định neural nào gây ra lỗi => điều chỉnh neural đó

Với cách tiếp cận này, mạng phải biết rằng nó gây ra lỗi

Trong thực tế, lỗi chỉ được biết sau một thời gian dài

Chức năng của nột neural không quá đơn giản như mô hình Bởi vì mạng neural hoạt động như một hộp đen

Do vậy khi sử dụng mạng neural cần chú ý:

Xây dựng mạng khởi tạo(dùng một lớp ẩn có số neural= ½ tổng số neural của lớp nhập và l ớp xuất)

Huấn luyện mạng dùng các giải thuật huấn luyện Nên thực hiện trên nhiều mạng khác nhau để tránh trường hợp cực tiểu cục bộ

Nếu máy “Không thuộc bài” => thêm một vài neural cho tầng ẩn

Ngược lại nếu máy “Học vẹt”=> bớt một vài neural ra khỏi tầng ẩn

Khi đã tìm được một kiến trúc mạng tương đối tốt lấy mẫu lại tập dữ liệu và huấn luyện lại để tìm các mạng mới

6 Kiến trúc mạng Nueral MLP (MultiLayer Perceptron) trong hệ thống nhận dạng

6 1 Kiến trúc hệ thống mạng

Như đã trình bày ở trên, các loại mạng Neural thông dụng gồm có: mạng truyền thẳng (feel- forward), mạng hồi qui (feedback), mạng tự tổ chức (self-organizing) Mạng truyền thẳng feed-forward bao gồm nhiều lớp các đơn vị xử lý phi tuyến (non-linear processing unit) Một vector đầu vào sẽ được đưa vào lớp vào của mạng và sau đó các tính toán được thực hiện lan truyền thẳng từ lớp vào sang các lớp ẩn và kết thúc ở lớp ra Mạng Perceptron nhiều lớp MLP

(MultiLayer Perceptron) là một trong những loại mạng neural nhân tạo được sử dụng

Mạng MLP được đề cập sẽ có 3 lớp: lớp vào có 150 nút tương ứng với

150 phần tử của vectơ ma trận pixel, lớp ẩn có 250 và lớp ra có 16 Neural tương ứng với 16 bit nhị phân giá trị Unicode của các ký tự

Hình 11: Mô hình mạng neural nhiều lớp

6.2 Phương thức hoạt động

Quá trình huấn luyện mạng

Quá trình huấn luyện là quá trình học với các tập mẫu (Xs, Ts) (s=1 n) để điều chỉnh tập trọng số liên kết Giải thuật huấn luyện được áp dụng trong thiết

kế chương trình nhận dạng ký tự là giải thuật lan truyền ngược sai số Back

Propagation

Bước 1: Lan truyền xuôi đầu vào Xs={x1, x2, …, xn} qua mạng:

- Đầu ra tại Neural j của lớp ẩn y = g ( ∑n w x − θ ) ( 1 )

Nueral

Nueral

Nueral

- Đầu ra tại Neural k của lớp ra:

Bước 2: Lan truyền ngược sai số:

So sánh các phần tử của vectơ đầu ra thực Ys với các phần tử tương ứng của vectơ đầu ra mẫu Ts để tính sai lệch: ek=tk - yk

Tổng bình phương sai số của mạng ứng với mẫu học (Xs, Ts)

Thông tin về sai số được lan truyền ngược qua mạng để điều chỉnh lại các giá trị trọng số tại vòng lặp thứ l:

Với liên kết giữa Neural ẩn và Neural ra:

Với η là hệ số học, yj tính theo công thức (1):

Với liên kết giữa neural vào và neural ẩn:

) 2 ( )

( (

) (

k j i ij jk

m i

ik i

1

) ( ).

( )

1 (

)) ( ( ).

( )

(

jk jk

ik

k k k

k

w l

w l

w

l y g l e l

∆ +

= +

=

δ

) 4 ( )

( ) 1 (

) 1 ( ).

( )

( ) (

).

(

1

ij ij

ij

m j

jk k

j j

i j ij

w l

w l

w

l w l y

g i

x l w

∆ +

= +

δ η

Sau khi hiệu chỉnh trọng số, mẫu Xs tiếp tục được đưa vào mạng lần thứ (l+1)

và tiếp tục thuật toán hiệu chỉnh trọng số cho đến khi E< ε cho trước hoặc số vòng lặp đạt đến mức định trước

Mẫu tiếp theo được đưa vào mạng và quá trình huấn luyện lặp lại như trên cho đến khi mạng học thuộc tất cả các mẫu Lưu cấu hình mạng lại để sẵn sàng đưa vào sử dụng

Hàm kích hoạt sử dụng trong mạng Perceptron nhiều lớp là hàm sigmoid lưỡng cực :

Hoặc hàm sigmoid đơn cực:

Đạo hàm của cả 2 hàm này đều là: g’(s)=g(s) (1-g(s))

6.3 nhận dạng

Mạng sau khi được huấn luyện được sử dụng như một bảng tra Các ảnh ký

tự sau bước tiền xử lý được đưa vào đầu vào mạng, đầu ra mạng là vectơ Y với các phần tử yk được tính theo công thức (1) và (2) Như vậy đầu ra mạng là giá trị Unicode của ký tự

Hậu xử lý dữ liệu

Giai đoạn này làm nhiệm vụ chuyển đổi giá trị Unicode sang dạng ký tự

tương ứng và sắp xếp lại các ký tự dưới dạng text theo dạng ảnh văn bản ban đầu

Đánh giá

Tăng số vòng lặp tổng quát sẽ tỉ lệ thuận hiệu suất của mạng Nhưng đến một mức nào đó nó sẽ gây ra hiện tượng học vẹt (over learning), sẽ bỏ qua trạng thái tối ưu

Kích thước đầu vào cũng là một nhân tố ảnh hưởng trực tiếp đến hiệu suất của mạng Thực tế số đầu vào càng nhiều mạng yêu cầu được huấn luyện nhiều hơn để có thể nhận bắt lỗi tốt

1 1

2 )

as

e s

+

= 1

1 )

(

số vòng lặp xác định Giá trị tham số này càng nhỏ thì mạng hiệu chỉnh trọng số càng chậm Nhưng muốn đạt đến trạng thái tối ưu thì ta phải tăng số vòng lặp nhiều hơn

II- Sử dụng mô hình mờ để nhận dạng ký tự

1 Khái niệm nhận dạng với mô hình mờ

Đây là một kỹ thuật lựa chọn để nhận dạng ký tự là với mô hình hóa mờ Nói chung, quá trình mô hình hoá mờ liên quan tới ba giai đoạn, Giai đoạn đầu tiên thực hiện việc lựa chọn cấu trúc mô hình Cấu trúc mô hình chứa đựng đặc tả cơ bản của mô hình

mờ bao gồm các thông tin về đầu vào, đầu ra mô hình, các giá trị ngôn ngữ biểu diễn mỗi biến mờ, các định nghĩa hàm thuộc đặc trưng cho mỗi giá trị ngôn ngữ, định nghĩa toán

tử hợp thành sử dụng trong suy diễn, cơ chế mờ hoá và khử mờ, vân vân

Giai đoạn thứ hai gắn liền với thuật toán học áp dụng cho mô hình Trên cơ sơ

cấu trúc mô hình cơ bản hình thành trong giai đoạn một, giai đoạn hai thực hiện quá trình biên dịch các mẫu học và chuyển đổi chúng thành các luật mờ trong cơ sở tri thức (cơ sở luật)

Giai đoạn ba thực hiện quá trình suy diễn dựa trên các luật mờ đã được đúc rút,

với đầu vào là chính tập dữ liệu mẫu, và tạo ra một “tác động” nào đó ở đầu ra của mô

hình lên môi trường hoạt động của hệ thống, và như vậy đã khép lại một chu trình kín

Hình 12: Sơ đồ quá trình mô hình hoá mờ và ba giai đoạn chính của nó

Bằng việc xử lý trước tập mẫu học, có thể xác định được các biến quan trọng nhất của hệ thống, ước lượng sơ bộ về các phân đoạn mờ mô tả mỗi biến Thêm vào

đó, tập mẫu học tốt còn cho phép giảm thời gian hội tụ của các thuật toán mô hình hoá mờ để đạt tới cấu trúc mô hình đích thực Do vậy, lựa chọn tập mẫu học là một khâu quan trọng trong quá trình mô hình hoá mờ

2 Mô hình hóa mờ và kỹ thuật mô hình hóa mờ

2.1 Cấu trúc và hoạt động của một mô hình mờ

Hình 13 - Cấu trúc mô hình mờ

Cơ sở luật (rule base) các luật mờ IF-THEN, thực chất là một tập các phát biểu hay quy tắc mà con người có thể hiểu được, mô tả hành vi của hệ thống, chẳng hạn: “Nếu nhiệt độ là lạnh thì chỉnh nhiệt đầu ra lò sưởi cao”

Cơ chế suy diễn (reasoning mechanism) thực hiện suy diễn mờ dựa trên cơ

sở tri thức và giá trị đầu vào để đưa ra một giá trị dự đoán ở đầu ra

Giao diện mờ hoá (fuzzification interface) thực hiện chuyển đổi các đầu vào

rõ thành mức độ trực thuộc các giá trị ngôn ngữ

Giao diện khử mờ (defuzzification interface) thực hiện chuyển đổi kết quả suy diễn mờ thành giá trị đầu ra rõ

2.2 Phân loại mô hình mờ

Mô hình mờ Mamdani là dạng mô hình điển hình nhất, với bộ luật bao gồm

các luật mà phần tiền đề và phần kết luận đều là các tập mờ Hình 4 minh họa mô

(giá trị rõ)

(giá trị mờ) (giá trị mờ)

I- Cơ sở tri thức

Bộ tham số Cơ sở luật

II- Cơ chế suy

mờ

hình Mamdani hai luật điển hình với một đầu ra z, chịu tác động của hai đầu vào rõ

x và y với phép hợp thành Product - Max

Hình14: Mô hình mờ Mamdani sử dụng tích và max lần lượt cho phép toán

AND mờ và OR mờ

Hình15: Mô hình mờ Sugeno

Mô hình mờ Takagi - Sugeno được cấu thành từ một tập các luật mờ mà phần

kết luận của mỗi luật này là một hàm (không mờ) ánh xạ từ các tham số đầu vào của

mô hình tới tham số đầu ra mô hình Cụ thể, một luật mờ điển hình trong mô hình Takagi - Sugeno có dạng:

Nếu x là A và y là B thì z = f(x, y),

Trong đó, A và B là các tập mờ trong phần tiền đề, trong khi z = f(x,y) là một hàm rõ trong phần kết luận

Hình 15 cho thấy thủ tục suy diễn mờ của mô hình mờ Sugeno bậc nhất

Trong mô hình mờ Tsukamoto, phần kết luận của mỗi luật mờ if-then được

biểu diễn bằng một tập mờ với một hàm thuộc đơn điệu như đã thấy ở Hình 6 Giá

trị đầu ra tổng thể là trung bình có trọng số của đầu ra rõ của mỗi luật Theo đó, đầu

ra của mỗi luật được xác định là một giá trị rõ được suy ra từ triển vọng của luật Đầu ra tổng hợp thu được từ giá trị trung bình có trọng số của đầu ra của mỗi luật Hình 16 minh hoạ toàn bộ thủ tục suy diễn của hệ hai đầu vào hai luật

Hình 16: Mô hình mờ Tsukamoto

Mô hình hóa mờ là một kỹ thuật tính toán mềm khá mới mẻ và đầy tiềm năng

áp dụng cho bài toán mô hình hóa hệ thống kỹ thuật mô hình hóa mờ được dùng để giải quyết bài toán nhận dạng

III- Phương pháp trích trọn đặc trưng kết hợp với SVM (Support Vector Machine) cho việc nhận dạng

1 Đặc điểm:

Trong lĩnh vực nhận dạng, vấn đề trích chọn đặc trưng là một bước rất quan trọng, nó có ảnh hưởng lớn đến chất lượng cũng như tốc độ của một hệ thống nhận dạng Trích chọn đặc trưng như thế nào để vẫn đảm bảo không mất mát thông tin và thu gọn kích thước của dữ liệu đầu vào là điều mà rất nhiều người đang quan tâm Có một số phương pháp trích chọn đặc trưng thường được sử dụng làm tiền đề cho quá trình huấn luyện

Sau khi đã thực hiện quá trình trích chọn đặc trưng sẽ sử dụng mô hình nhận dạng được xây dựng trên cơ sở phương pháp véc tơ tựa (SVM – Support Vector Machines) để nhận dạng ký tự Đây là một phương pháp máy học tiên tiến đã có nhiều thành công trong các lĩnh vực khai phá dữ liệu cũng như nhận dạng

2 Một số phương pháp trích chọn đặc trưng

2.2 Biểu đồ chiếu (Projection histograms)

Ý tưởng cơ bản của phương pháp trích chọn đặc trưng này là chiếu các điểm đen trên ảnh 2 chiều theo các hướng ngang, dọc và hai đường chéo thành một dãy các tín hiệu 1 chiều Ưu điểm của các đặc trưng này là không phụ thuộc vào nhiễu, tuy nhiên nó vẫn phụ thuộc vào độ nghiêng của chữ

Hình 18: Biểu đồ hình chiếu (Projection histograms)

2 2

Với ảnh kích thước 16 x 16, chọn 16 ngang + 16 dọc + 2 x 31 chéo = 94 đặc trưng

2.3 Trích chọn chu tuyến (Contour profiles)

Phần được trích chọn là khoảng cách từ biên của khung chứa ảnh tới điểm đen đầu tiên của chữ trên cùng 1 dòng quét Phương pháp trích chọn này mô tả tốt các khối bên ngoài của chữ và cho phép phân biệt một số lượng lớn các ký tự Trong thực nghiệm, với ảnh kích thước 16 x 16, có 16 trái + 16 phải + 16 trên +16 dưới = 64 đặc trưng

Hình 19: Trích chọn các khối bên ngoài của chữ

2.4 Trích chọn đặc trưng wavelet Haar

Sử dụng ý tưởng của phương pháp trích chọn đặc trưng wavelet Haar

để chọn tập đặc trưng cho mỗi ảnh ký tự đầu vào

Từ ảnh nhị phân kích thước 2n x 2n, quá trình trích chọn đặc trưng được mô

tả theo thuật toán sau:

2 - Tính Fi= Tổng các điểm đen trong toàn bộ ma trận (A,n);

for (j=1; i ≤ 4;

j++) PUSH((Aj,n div 2), Queue);

- i = i + 3;

}