Tìm hiểu mạng neural hamming và ứng dụng trong bài toán nhận dạng chữ cái tiếng việt

ĐẠI HỌC THÁI NGUYÊN TÌM HIỂU MẠNG NEURAL HAMMING VÀ ỨNG DỤNG TRONG BÀI TOÁN NHẬN DẠNG CÁC CHỮ CÁI TIẾNG VIỆT Thái Nguyên – 2013 Số hóa trung tâm học liệu http://www.lrc.tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TÌM HIỂU MẠNG NEURAL HAMMING VÀ ỨNG DỤNG TRONG BÀI TOÁN NHẬN DẠNG CÁC CHỮ CÁI TIẾNG VIỆT Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: TS Lê Quang Minh Thái Nguyên – 2013 Số hóa trung tâm học liệu http://www.lrc.tnu.edu.vn/ LỜI CẢM ƠN Để hoàn thành luận văn này, bên cạnh nỗ lực cố gắng thân cịn có hƣớng dẫn nhiệt tình q Thầy Cơ, nhƣ động viên ủng hộ gia đình bạn bè suốt thời gian học tập nghiên cứu thực luận văn thạc sĩ Xin chân thành bày tỏ lòng biết ơn đến Thầy giáo TS Lê Quang Minh, ngƣời hết lòng giúp đỡ tạo điều kiện tốt cho tơi hồn thành luận văn Xin gửi lời tri ân điều mà Thầy dành cho Xin chân thành bày tỏ lịng biết ơn đến tồn thể q Thầy Cô trƣờng Đại học Công nghệ Thông tin & Truyền thơng nhƣ q Thầy Cơ tận tình truyền đạt kiến thức quý báu tạo điều kiện thuận lợi cho tơi suốt q trình học tập, nghiên cứu thực luận văn Xin chân thành bày tỏ lòng biết ơn đến gia đình, ngƣời khơng ngừng động viên, hỗ trợ tạo điều kiện tốt cho suốt thời gian học tập thực luận văn Cuối cùng, xin chân thành bày tỏ lòng biết ơn đến anh chị bạn bè đồng nghiệp hỗ trợ cho suốt trình học tập, nghiên cứu thực luận văn cách hoàn chỉnh Thái Nguyên, tháng 11 năm 2013 Học viên thực Phùng Văn Kiệm Số hóa trung tâm học liệu http://www.lrc.tnu.edu.vn/ MỤC LỤC LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC HÌNH VẼ MỞ ĐẦU CHƢƠNG I: TỔNG QUAN VỀ HIỆN TRẠNG CÁC BÀI TOÁN NHẬN DẠNG VÀ THIẾT LẬP BÀI TOÁN NGHIÊN CỨU 1.1 Tổng quan toán nhận dạng 1.2 Cụ thể toán nhận dạng chữ Tiếng Việt 1.3 Thiết lập toán 1.3.1 Ảnh đầu 1.3.2 Tiền sử lý 1.3.2.1 Nhị phân hóa ảnh 1.3.2.2 Lọc nhiễu 1.3.2.3 Chuẩn hóa kích thƣớc ảnh 1.3.2.4 Làm trơn biên chữ 1.3.2.5 Làm đầy chữ 1.3.2.6 Làm mảnh chữ 1.3.2.7 Điều chỉnh độ nghiêng văn 1.3.3 Quá trình biến đổi ảnh 1.3.3.1 Biến đổi Fourier 1.3.3.2 Biến đổi Wavelet 1.3.3.3 Phƣơng pháp mô men 1.3.3.4 Khai triển Karhunent-Loeve 1.3.4 Nhận dạng 10 1.3.4.1 Đối sánh mẫu 10 Số hóa trung tâm học liệu http://www.lrc.tnu.edu.vn/ 1.3.4.2 Phƣơng pháp tiếp cận cấu trúc 11 1.3.4.3 Mơ hình Markov ẩn (HMM - Hidden Markov Model) 13 1.3.4.4 Máy véc tơ tựa (SVM) 13 1.3.4.5 Mạng nơ ron 14 1.3.5 Kết 15 1.4 Kết luận 15 CHƢƠNG II: TÌM HIỂU MẠNG NEURAL VÀ MẠNG HAMMING 16 2.1 Mạng Neural 16 2.1.1 Khái niệm mạng Neural 16 2.1.2 Lịch sử phát triển mạng Neural 16 2.1.3 Đặc trƣng mạng neural 18 2.1.3.1 Tính phi tuyến 18 2.1.3.2 Tính chất tƣơng ƣớng đầu vào đầu 19 2.1.3.3 Tính chất thích nghi 19 2.1.3.4 Tính chất đƣa lời giải có chứng 19 2.1.3.5 Tính chất chấp nhận sai xót 20 2.1.3.6 Khả cài đặt VLSI(Very-large-scale-intergrated) 20 2.1.3.7 Tính chất đồng dạng phân tích thiết kế 20 2.1.4 Phân loại mạng neural nhân tạo 21 2.1.4.1 Phân loại theo kiểu liên kết neural 21 2.1.4.2 Một số loại mạng neural 21 2.1.5 Xây dựng mạng neural 23 2.1.6 Huấn luyện mạng neural 25 2.1.6.1 Phƣơng pháp học 25 2.1.6.2 Thuật toán học 26 2.1.7 Ứng dụng mạng neural 31 2.2 Mạng Hamming 32 Số hóa trung tâm học liệu http://www.lrc.tnu.edu.vn/ 2.2.1 Kiến trúc mạng Hamming 32 2.2.2 Thuật tốn học điển hình mạng Neural 34 2.3 Kết luận 40 CHƢƠNG III: ỨNG DỤNG MẠNG HAMMING TRONG BÀI TOÁN NHẬN DẠNG CÁC CHỮ CÁI TIẾNG VIỆT 41 3.1 Đặc thù khó khăn toán nhận dạng chữ Tiếng Việt 41 3.2 Thuật tốn chung chƣơng trình 43 3.3 Cấu trúc mạng Neural Hamming chƣơng trình nhận dạng chữ Tiếng Việt 44 3.4 Xây dựng chƣơng trình nhận dạng chữ Tiếng Việt 46 3.4.1 Cơng cụ ngơn ngữ lập trình 46 3.4.2 Xây dựng chƣơng trình 46 3.4.2.1 Xây dựng mơ hình mạng Neural Hamming tín hiệu đầu vào 46 3.4.2.2 Định vị thu gọn kích cỡ ảnh 48 3.4.2.3 Xây dựng thuật toán 49 3.4.2.4 Nhận dạng 50 3.4.2.5 Giao diện chƣơng trình 54 3.5 Thử nghiệm chƣơng trình 54 3.6 Nhận xét chung trình thử nghiệm nhận dạng chữ Tiếng Việt kết luận chƣơng 60 KẾT LUẬN 62 TÀI LIỆU THAM KHẢO 63 Số hóa trung tâm học liệu http://www.lrc.tnu.edu.vn/ DANH MỤC CÁC TỪ VIẾT TẮT Từ Ý nghĩa RBF Radial Basic Function HMM Hidden Markov Model SVM Support Vector Machines USPS United States Postal Service MNIST Bộ mẫu chữ số viết tay NIST-Viện Công nghệ Tiêu chuẩn Quốc gia Hoa Kỳ (National Insitute of Standard and Technology of the United States) SV Support Vector SOM Self Origanizing Map ANN Artificial Neural Network VLSI Very-large-scale-intergrated MLP Multi Layer Perceptron LMS Least Means Square Số hóa trung tâm học liệu http://www.lrc.tnu.edu.vn/ DANH MỤC BẢNG, HÌNH VẼ Bảng 3.1: Kết nhận dạng chữ Tiếng Việt Font Times New Roman 57 Bảng 3.2: Kết nhận dạng chữ Tiếng Việt Font Arial 59 Hình 1.1 Sơ đồ hệ thống nhận dạng Hình 1.2 Nhị phân hóa ảnh Hình 1.3 Nhiễu đốm nhiễu vệt Hình 1.4.Chuẩn hóa kích thƣớc ảnh ký tự “A” “P” Hình 1.5.(a) Ảnh gốc, (b) Ảnh sau đƣợc làm trơn biên Hình 1.6 Làm mảnh chữ Hình 1.7 Hiệu chỉnh độ nghiêng văn Hình 2.1: Mạng tiến với mức neural 21 Hình 2.2: Mạng tiến kết nối đầy đủ với mức ẩn mức đầu 22 Hình 2.3: Mạng hồi quy khơng có neural ẩn khơng có vịng lặp tự phản hồi 23 Hình 2.4: Mạng hồi quy có neural ẩn 23 Hình 2.5: Sơ đồ đồ thị có hƣớng đơn giản 24 Hình 2.6 Cấu trúc mạng hamming 32 Hình 2.7 Sơ đồ khối thuật tốn lan truyền ngƣợc 39 Hình 3.1 Phân tích chữ cỡ 30x20 thành điểm ảnh 41 Hình 3.2 Phân tích chữ cỡ 60x30 thành điểm ảnh 42 Hình 3.3 Sơ đồ thuật tốn chung chƣơng trình 43 Hình 3.4 Lƣu đồ trình xử lý ảnh 44 Hình 3.5 Cấu trúc mạng Neural 45 Hình 3.6 Hàm truyền Neural lớp 45 Hình 3.7 Q trình xử lý ảnh thuật tốn 47 Hình 3.8 Định vị trí biên ảnh 48 Hình 3.9 Hàm truyền Neural lớp thứ 49 Hình 3.10 Sơ đồ hàm đầu 51 Số hóa trung tâm học liệu http://www.lrc.tnu.edu.vn/ Hình 3.11 Giao diện chƣơng trình 54 Hình 3.12 Kết nhận dạng chữ Â với kích thƣớc 80x50 độ nhiễu 25% 55 Hình 3.13 Kết nhận dạng chữ Â với kích thƣớc 80x50 pixel độ nhiễu 35% 55 Hình 3.14 Kết nhận dạng chữ Â với kích thƣớc 60x30 pixel độ nhiễu 25% 56 Hình 3.15 Kết nhận dạng chữ Â font Arial với kích thƣớc 60x30 pixel với độ nhiễu 25% 56 Hình 3.16 Bảng kết trọng số đầu ảnh khơng tính nhiễu 57 Hình 3.17 Bảng kết trọng số đầu ảnh có tính nhiễu 57 Hình 3.18 So sánh ảnh đầu vào ảnh mẫu 60 Số hóa trung tâm học liệu http://www.lrc.tnu.edu.vn/ MỞ ĐẦU Từ lâu nhà khoa học nhận thấy ƣu điểm óc ngƣời tìm cách bắt chƣớc để thực máy tính, tạo cho có khả học tập, nhận dạng phân loại Vì nhà khoa học nghiên cứu sáng tạo mạng Neural nhân tạo Nó thực đƣợc ý nhanh chóng trở thành hƣớng nghiên cứu đầy triển vọng đặc biệt lĩnh vực nhận dạng Và toán nhận dạng ký tự toán lớp toán nhận dạng, xử lý ảnh Hiện giới, sản phẩm nhận dạng ký tự đƣợc triển khai tƣơng đối rộng rãi Tuy nhiên sản phẩm nhận dạng ký tự tiếng Anh, nhận dạng ký tự tiếng Việt có ngƣời Việt Nam phát triển đƣợc Ở nƣớc ta vài năm gần có số sản phẩm nhận dạng tiếng việt đƣợc triển khai thị trƣờng Nhƣng sản phẩm đƣợc bán thị trƣờng dƣới dạng đóng kín nên việc để phát triển thành phần mềm tự động cập nhật ảnh điều khơng thể Vì nên tơi chọn đề tài: “Tìm hiểu mạng Neural Hamming ứng dụng toán nhận dạng chữ Tiếng Việt” Hệ thống chữ Tiếng Việt đƣợc xây dựng dựa chữ Latinh có thêm chữ ghép dấu phụ Do việc nhận dạng gặp khó khăn so với chữ Latinh thông thƣờng cần phải có thuật tốn xử lý đem lại độ xác cao Trong khuôn khổ, thời lƣợng luận văn, tơi đƣa chƣơng trình mơ mạng Neural nhận dạng 29 chữ Tiếng Việt từ A đến Y 10 chữ số từ đến Số hóa trung tâm học liệu http://www.lrc.tnu.edu.vn/ 51 Gán đầu Neural =0 Định vị cắt ảnh với kích cỡ cần thiết Định vị ảnh bƣớc chuyển hóa thành dạng vecto Nếu nhƣ điểm ảnh thứ k ảnh xét mà màu đen (black) giá trị đầu Neural đƣợc cộng thêm trọng số tín hiệu đầu vào từ điểm ảnh k Trong trƣờng hợp ngƣợc lại trừ trọng số tín hiệu đầu vào Giá trị đầu nhận đƣợc qua hàm truyền xác định giá trị đầu Code chƣơng trình thuật tốn phần đƣợc xây dựng nhƣ sau : for(int i=0; i=N/2) InputRow[i].fOutput=N/2; } Hình 3.10 Sơ đồ hàm đầu Số hóa trung tâm học liệu http://www.lrc.tnu.edu.vn/ 52 Tiếp theo ta cần truyền giá trị đầu lớp thứ vào đầu vào lớp thứ danh sách kết nhận dạng trƣớc Code nhƣ sau: float fOutputs[M]; for(int i=0; i