Kỹ thuật nhận dạng chữ số dựa vào mạng nơron trong nhập điểm tự động

i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG TRẦN NGỌC MINH KỸ THUẬT NHẬN DẠNG CHỮ SỐ DỰA VÀO MẠNG NƠRON TRONG NHẬP ĐIỂM TỰ ĐỘNG Chuyên ngành: Khoa học máy tính Mã số: 60 48 0101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: PGS.TS ĐỖ NĂNG TOÀN Thái Nguyên – năm 2015 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ ii LỜI CẢM ƠN Trƣớc hết xin gửi lời cảm ơn sâu sắc đến thầy hƣớng dẫn khoa học PGS.TS Đỗ Năng Toàn dẫn khoa học, định hƣớng nghiên cứu tận tình hƣớng dẫn suốt trình làm luận văn Tôi xin cảm ơn Thầy viện Công Nghệ Thông Tin, Thầy Cô trƣờng Đại học Công Nghệ Thông Tin Truyền Thông - Đại học Thái Nguyên quan tâm bảo trực tiếp giảng dạy, giúp đỡ suốt trình học tập nghiên cứu Tôi xin chân thành cảm ơn lãnh đạo phòng, ban trƣờng Cao đẳng Cộng đồng Bắc Kạn tạo điều kiện cho học tập nghiên cứu đề tài Cuối cùng, xin cảm ơn gia đình bạn bè, ngƣời ủng hộ động viên để yên tâm nghiên cứu luận văn Trần Ngọc Minh Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ iii LỜI CAM ĐOAN Tôi xin cam đoan công trình riêng tôi, dƣới hƣớng dẫn PGS.TS Đỗ Năng Toàn Các số liệu kết nghiên cứu luận văn trung thực không trùng lặp với đề tài khác Mọi tham khảo luận văn đƣợc trích dẫn rõ ràng tên tác giả, tên công trình, thời gian, địa điểm công bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo hay gian trá xin hoàn toàn chịu trách nhiệm Trần Ngọc Minh Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ iv MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN iii MỤC LỤC iv DANH MỤC HÌNH ẢNH vi MỞ ĐẦU CHƢƠNG KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ NHẬN DẠNG PHIẾU ĐIỂM 1.1 Khái quát xử lý ảnh [1] 1.1.1 Các giai đoạn trình xử lý ảnh 1.1.2 Mô tả ảnh 1.1.3 Một vấn đề xử lý ảnh 1.2 Nhận dạng phiếu điểm 15 CHƢƠNG MẠNG NƠRON VÀ NHẬN DẠNG PHIẾU ĐIỂM 20 2.1 Mạng nơron nhân tạo[5] 20 2.1.1 Mô hình toán học 21 2.1.2 Phân loại 22 2.1.3 Các đặc trƣng mạng nơron nhân tạo 24 2.1.4 Một số mô hình mạng nơron bản[5][6] 27 2.2 Kỹ thuật nhận dạng phiếu điểm 31 2.2.1 Hiệu chỉnh độ dịch chuyển 31 2.2.2 Hiệu chỉnh góc lệch 33 2.2.2.1 Phƣơng pháp chiếu nghiêng 33 2.2.2.2 Phƣơng pháp biến đổi Hough 35 2.2.2.3 Phƣơng pháp láng giềng gần 37 2.3 Nhận dạng phiếu điểm dựa vào mạng nơron 38 2.3.1 Thiết kế mạng nơron 38 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ v 2.3.2 Lƣợc đồ huấn luyện mạng 41 2.3.3 Thuật toán BackPropagation[9] 42 2.3.4 Nhận dạng đƣa vào sở liệu 44 CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM 45 3.1 Huấn luyện 45 3.1.1 Lựa chọn mẫu 45 3.1.2 Kết huấn luyện 49 3.2 Nhận dạng chữ số 49 3.3 Phân tích lựa chọn công cụ 50 3.3.1 Phân tích chọn công cụ 50 3.3.2 Chƣơng trình thử nghiệm 51 PHẦN KẾT LUẬN 55 KẾT LUẬN VÀ KIẾN NGHỊ 56 TÀI LIỆU THAM KHẢO 57 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ vi DANH MỤC HÌNH ẢNH Hình 1.1: Ảnh gốc Hình 1.2: Ảnh giảm độ sáng Hình 1.3 Ảnh tăng cường độ sáng Hình 1.4: Ảnh gốc Hình 1.5: Ảnh giảm độ tương phản Hình 1.6: Ảnh tăng độ tương phản Hình 1.7: Mô thuật toán lọc trung vị để loại bỏ nhiễu Hình 1.8: Mô tả phép quay ảnh Hình 1.9: Mẫu bảng điểm thu nhận từ máy quét Hình 1.10: Bức ảnh trước điều chỉnh kích thước Hình 1.11: Bức ảnh sau điều chỉnh kích thước thành M*N Hình 2.1: Mô hình toán học mạng nơron Hình 2.2: Mô hình liệu tổng quát Hình 2.3: Mô hình thuật toán học có giám sát Hình 2.4: Mô hình mạng Hopfield Hình 2.5: Mô hình mạng ABAM Hình 2.6: Mô hình tổng quát mạng Perceptron Hình 2.7: Mô hình tổng quát mạng Back Propagation Hình 2.8: Mô hình mạng nơron ngược hướng Hình 2.9: (a) ảnh mẫu (b) ảnh cần nhận dạng Hình 2.10: Mô hình biểu đồ tần suất ảnh mẫu ảnh cần nhận dạng, (a) ảnh mẫu,(b) ảnh cần nhận dạng, (c) lược đồ tần suất ảnh mẫu ảnh cần nhận dạng vẽ chồng lên Hình 2.11: Các hình chiếu theo chiều thẳng đứng nằm ngang văn Hình 2.12: Biểu đồ minh hoạ phương pháp người láng giềng gần Hình 2.13: Cấu trúc mạng nơron Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ vii Hình 2.14: Lược đồ thuật toán huấn luyện mạng Hình 2.15: Lược đồ thuật toán BackPropagation Hình 2.16: Lược đồ thuật toán nhận dạng kí tự Hình 3.1: Một mẫu liệu huấn luyện mạng Hình 3.4: Hoàn thành việc học mạng Hình 3.3: Ấn nút học mạng, bắt đầu trình học Hình 3.2: Trạng thái khởi đầu, khởi tạo trình học Hình 3.5: Tiến hành nhận dạng, chọn ảnh thử nghiệm Hình 3.6: Chương trình load ảnh thử nghiệm vào Hình 3.7: Kết nhận dạng Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ MỞ ĐẦU Cùng với phát triển nhanh chóng phần cứng máy tính, phần mềm trở nên đa dạng, phong phú, hoàn thiện hỗ trợ hiệu cho ngƣời Các phần mềm ngày mô nhiều nghiệp vụ phức tạp, hỗ trợ cho ngƣời dùng sử dụng thuận tiện, thời gian xử lý nhanh chóng số nghiệp vụ tự động hoá cao số Mạng nơ ron nhân tạo mô xử lý thông tin, đƣợc nghiên cứu từ hệ thống thần kinh sinh vật, giống nhƣ não để xử lý thông tin Nó bao gồm số lƣợng lớn mối gắn kết cấp cao để xử lý yếu tố làm việc mối liên hệ giải vấn đề rõ ràng ANNs giống nhƣ ngƣời, đƣợc học kinh nghiệm, lƣu kinh nghiệm hiểu biết sử dụng tình phù hợp Hiện nay, hầu hết sở giáo dục đào tạo nƣớc ta đƣợc trang bị phần mềm quản lý điểm nhằm nâng cao chất lƣợng giảng dạy quản lý học sinh, sinh viên, giúp giảm bớt phần lớn công việc đội ngũ cán quản lý giáo dục Tuy nhiên việc cập nhật điểm thi vào hệ thống phần mềm quản lý giáo dục thủ công, làm tốn nhiều công sức đội ngũ giáo vụ mà có nhiều sai sót đặc biệt với trƣờng có số lƣợng môn học số sinh viên lớn Từ lý trên, chọn đề tài “KỸ THUẬT NHẬN DẠNG CHỮ SỐ DỰA VÀO MẠNG NƠRON TRONG NHẬP ĐIỂM TỰ ĐỘNG” với mong muốn phần giải đƣợc phần khó khăn Thay phải nhập điểm thủ công, việc nhập điểm trở nên dễ dàng, thuận tiện với chƣơng trình tự động cập nhật điểm Việc cập nhật điểm tự động rõ ràng giải đƣợc khó khăn bất tiện chƣơng trình quản lý điểm thông thƣờng để lại * Đối tƣợng phạm vi nghiên cứu Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ - Nghiên cứu trình phiếu điểm viết tay giảng viên qua máy quét thu đƣợc hình ảnh đƣa vào máy tính - Nhập điểm tự động trƣờng Cao Đẳng Cộng Đồng Bắc Kạn * Hƣớng nghiên cứu đề tài - Phiếu điểm viết tay giảng viên qua máy quét thu đƣợc hình ảnh đƣa vào máy tính - Phân vùng ảnh thành vùng ảnh cần thiết: Mã sinh viên (hoặc số báo danh) Điểm thi - Nhận dạng thông qua mạng nơron với mẫu thu thập đƣợc - Cập nhật vào Cơ sở liệu * Phƣơng pháp nghiên cứu - Nghiên cứu tài liệu viết tổng quan - Phƣơng pháp nghiên cứu toán nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động - Phƣơng pháp phân tích, đánh giá đối tƣợng (phiếu điểm) - Nghiên cứu triển khai thử nghiệm chƣơng trình * Ý nghĩa khoa học đề tài - Bản thân hiểu sâu áp dụng đƣợc phƣơng pháp cụ thể nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động - Nâng cao chất lƣợng công việc việc nhập điểm tự động cán quản lý giáo dục Giảm thiểu sai sót trình nhập điểm * Cấu trúc luận văn bao gồm chƣơng sau: - Chƣơng 1: Khái quát xử lý ảnh nhận dạng phiếu điểm - Chƣơng 2: Mạng nơron nhận dạng phiếu điểm - Chƣơng 3: Chƣơng trình thử nghiệm kỹ thuật nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động - Kết luận: Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ CHƢƠNG KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ NHẬN DẠNG PHIẾU ĐIỂM 1.1 Khái quát xử lý ảnh [1] Xử lý ảnh mảng quan trọng kỹ thuật thị giác máy tính, tiền đề cho nhiều nghiên cứu thuộc lĩnh vực Hai nhiệm vụ trình xử lý ảnh nâng cao chất lƣợng thông tin hình ảnh xử lý số liệu cung cấp cho trình khác có việc ứng dụng thị giác vào điều khiển Đã có nhiều công trình nghiên cứu nhiều quốc gia từ năm 1920 đến xử lý ảnh góp phần thúc đẩy tiến lĩnh vực lớn mạnh không ngừng Quá trình việc thu nhận ảnh nguồn (từ thiết bị thu nhận ảnh dạng số tƣơng tự) gửi đến máy tính Dữ liệu ảnh đƣợc lƣu trữ định dạng phù hợp với trình xử lý Ngƣời lập trình tác động thuật toán tƣơng ứng lên liệu ảnh nhằm thay đổi cấu trúc ảnh phù hợp với mục đích khác 1.1.1 Các giai đoạn trình xử lý ảnh Để hình dung cấu hình hệ thống xử lý ảnh chuyên dụng hay hệ thống xử lý ảnh nghiên cứu, đào tạo, trƣớc hết xem xét bƣớc cần thiết xử lý ảnh Thu nhận ảnh Xử lý trước Phân đoạn Tách đặc tính Phân loại a Thu nhận ảnh Ảnh thu nhận qua camera, thông thƣờng ảnh thu nhận qua camera tín hiệu tƣơng tự, nhƣng tín hiệu số hoá Ảnh thu nhận từ vệ tinh qua cảm ứng hay ảnh, tranh đƣợc quét scanner Sau đƣợc lƣu trữ máy tính Gồm có trình: Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 43 Bắt đầu Khởi tạo trọng số Tổng trọng số tín hiệu đầu vào Thông tin lỗi đƣợc tính Cập nhật giá trị trọng số Kết thúc Hình 2.15: Lược đồ thuật toán BackPropagation  Khởi tạo trọng số - Giá trị trọng số liên kết nơron đƣợc khởi tạo ngẫu nhiên  Feed Fordward: - Mỗi nơron tầng đƣợc tính tổng trọng số tín hiệu vào - Sử dụng hàm activation để tính giá trị từ nơron Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 44  Back Propagation lỗi - Thông tin lỗi đƣợc tính - Ta sử dụng giá trị để tính toán thông tin lỗi nơron lại  Cập nhật giá trị trọng số - Chúng ta sử dụng thông tin lỗi node để tính toán cập nhật lại giá trị cho trọng số liên kết nơron 2.3.4 Nhận dạng đƣa vào sở liệu * Thuật toán: Các bƣớc giai đoạn nhận dạng đƣợc tóm tắt qua số bƣớc sau:  Lựa chọn ảnh mà ta mong muốn nhận dạng  Phân tích ảnh thành dòng ánh xạ ảnh sang mảng kí tự  Mỗi dòng lại đƣợc phân tách thành kí tự riêng biệt: + Điều chỉnh lại kích thƣớc thành M*N + Phân tích xử lý ảnh kí tự để ánh xạ sang vector + Đƣa vào mạng nơron tính toán output + Chuyển đổi output thành kí tự tƣơng ứng ghi vào CSDL Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 45 Hình 2.16: Lược đồ thuật toán nhận dạng kí tự CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM 3.1 Huấn luyện 3.1.1 Lựa chọn mẫu Chƣơng trình nhận dạng kí tự chữ số viết tay đƣợc thu nhận qua máy quét có nhiều kí tự nhiều hàng khác Luận văn xây dựng chƣơng trình thử nghiệm áp dụng thuật toán BackPropagation để nhận dạng chữ số phục vụ cho việc nhập điểm tự động Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 46 Xây dựng lớp kí tự số: 0, 1, 2, 3, 4, 5, 6, 7, 8, Do số kí tự chữ số khác mặt kích thƣớc, kí tự ta xét thêm kích thƣớc chữ số Bƣớc đầu thử nghiệm, xây dựng mẫu liệu chữ số viết tay Giảng viên trƣờng Cao đẳng Cộng Đồng Bắc Kạn Các tập mẫu đƣợc dùng để huấn luyện chữ số viết tay giảng viên trƣờng Việc thu thập mẫu chữ viết tay giảng viên trƣờng đƣợc thực cách sử dụng máy quét Mẫu phiếu điểm nhận dạng chữ số viết tay: Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 47 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 48 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 49 3.1.2 Kết huấn luyện Tập liệu huấn luyện sau qua khâu tiền xử lý trích chọn đặc trƣng đƣợc đƣa vào mạng nơron Sau kết thúc trình huấn luyện, hệ thống lƣu lại giá trị tham số để phục vụ cho việc nhận dạng sau để kết luận từ liệu mẫu đƣa vào thu đƣợc tham số dựa mạng 3.2 Nhận dạng chữ số * Quy trình hệ thống nhận dạng: Đầu tiên, tập liệu huấn luyện gồm chữ số viết tay đƣợc đọc vào chƣơng trình Mỗi mẫu tập liệu huấn luyện đƣợc gán giá trị tƣơng ứng với số từ đến Sử dụng phƣơng pháp ngƣỡng toàn cục phƣơng pháp xác định ngƣỡng Otsu để xác định ngƣỡng chuyển đổi ảnh xám sang ảnh nhị phân Sử dụng lọc trung vị để loại bỏ nhiễu Việc sử dụng lọc trung vị để lọc nhiễu phƣơng pháp hiệu đƣợc áp dụng rộng rãi Sau lọc nhiễu sử dụng phƣơng pháp Projection Hozirontal để thực tách dòng trích rút vùng liệu cần lấy Sau huấn luyện, ta tiến hành thử nghiệm nhận dạng số viết tay Chức nhận dạng số viết tay đƣợc xây dựng gồm vùng chính: vùng viết số (sử dụng chuột máy tính), vùng biểu đồ thị kết phân lớp, vùng kết nhận dạng tìm đƣợc * Chức nhận dạng phiếu điểm gồm công đoạn: - Chọn phiếu điểm: Lựa chọn phiếu điểm cần nhận dạng - Xử lý phiếu điểm: Loại bỏ nhiễu ảnh phiếu điểm, trích chọn vùng hiển thị điểm ảnh - Nhận dạng: Sử dụng phƣơng pháp Projection Hozirontal tạo để nhận dạng điểm phiếu Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 50 3.3 Phân tích lựa chọn công cụ 3.3.1 Phân tích chọn công cụ a Phân tích chọn công cụ Sau có ảnh phiếu điểm đƣợc quét cách, việc nhận dạng phiếu điểm thực lần lƣợt bƣớc nhƣ sau: - Tiền xử lý: Ảnh phiếu điểm sau quét thƣờng có nhiễu, phần nhiệm vụ bƣớc lọc nhiễu Sau ảnh phải đƣợc biến đổi ảnh nhị phân để tạo điều kiện cho phân đoạn bƣớc - Phân đoạn trích chọn đặc trƣng: Tách ảnh qua tiền xử lý thành hàng, hàng bao gồm cột Sau từ cột tách kí tự cần nhận dạng, trích chọn đặc trƣng - Huấn luyện nhận dạng: Xây dựng support vector nhận dạng từ phiếu điểm Trƣớc nhận dạng, trình huấn luyện đƣợc thực trƣớc dựa tập mẫu có sẵn - Hậu xử lý: Tổng hợp kí tự đƣợc nhận dạng riêng lẻ thành liệu để cập nhật vào sở liệu Chƣơng trình đƣợc phát triển hệ điều hành Windows, lập trình công cụ Visual C# Mẫu nhận dạng đƣợc thu thập từ văn in, viết tay quét vào máy quét ảnh với kích cỡ định dạng khác nhau, thiết kế chƣơng trình theo thuật toán nghiên cứu b Chuẩn hoá liệu - Input: Tập liệu huấn luyện gồm chữ số từ đến 9, phiếu điểm - Output: Nhận dạng giá trị điểm phiếu điểm Tập liệu huấn luyện: ảnh chữ số viết tay đƣợc nhị phân hóa, có kích thƣớc M*N Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 51 Hình 3.1: Một mẫu liệu huấn luyện mạng Phiếu điểm cần nhận dạng: Là ảnh scan phiếu điểm đƣợc sử dụng trƣờng Cao Đẳng Cộng Đồng- Bắc Kạn 3.3.2 Chƣơng trình thử nghiệm Sau xây dựng phân lớp chữ số từ đến 9, ta tiến hành nhận dạng với liệu test gồm 500 chữ số Kết nhƣ sau: Hình 3.2: Trạng thái khởi đầu, khởi tạo trình học Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 52 Hình 3.3: Ấn nút học mạng, bắt đầu trình học Hình 3.4: Hoàn thành việc học mạng Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 53 Hình 3.5: Tiến hành nhận dạng, chọn ảnh thử nghiệm Hình 3.6: Chương trình load ảnh thử nghiệm vào Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 54 Hình 3.7: Kết nhận dạng Với liệu này, chƣơng trình nhận dạng 95% giá trị trùng với giá trị ảnh Ở tập mẫu đƣợc dùng để huấn luyện chữ số viết tay giảng viên trƣờng Việc thu thập mẫu chữ viết tay giảng viên trƣờng đƣợc thực cách sử dụng máy quét Sau thu thập mẫu, ta xây dựng mạng nơron huấn luyện mạng dựa mẫu thu thập đƣợc Việc huấn luyện mạng đƣợc thiết kế thành module riêng chƣơng trình cho phép ngƣời dùng tạo kiểu mạng nơron theo kiến trúc khác Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 55 PHẦN KẾT LUẬN Việc sử dụng mạng nơron cho trình nhận dạng làm công việc nhận dạng đơn giản nhiều độ xác cao (có thể nói đạt tới 100%) đƣợc nhận dạng mẫu đƣợc học Hơn việc sử dụng mạng nơron nhận dạng đƣợc mẫu mang tính chất gần giống kiểu với chữ lấy mẫu Một ƣu điểm tuyệt vời việc sử dụng mang nơron nhanh chóng đƣa định Không phải duyệt so sánh liệu mẫu CSDL, điều làm tăng tốc độ nhận dạng chƣơng trình Chƣơng trình hoàn toàn ứng dụng vào thực tế Bởi theo đƣợc biết trƣờng phải nhập liệu tay Điều thực khó khăn giáo vụ môn mà thi tập trung, việc nhập điểm lên tới hàng nghìn sinh viên Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 56 KẾT LUẬN VÀ KIẾN NGHỊ Những kết luận văn I Luận văn trình bày số hiểu biết quản lý nhập tự động, quy trình thực hệ thống nhập điểm tự động Luận văn khai thác Kỹ thuật nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động Khai thác Kỹ thuật nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động II Hƣớng phát triển luận văn Tích hợp thêm thuật toán nâng cao chất lƣợng ảnh nhằm tăng khả phát nhận dạng chữ số nhập điểm tự động Cài đặt phƣơng pháp nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động Thực phát nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động loại ảnh văn Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 57 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt [1] Đỗ Năng Toàn, Phạm Việt Bình (2007), Giáo trình xử lý ảnh, NXB KH kỹ thuật [2] Đỗ Năng Toàn, Phạm Văn Dũng, Phạm Việt Bình (2005), “Ứng dụng chu tuyến phát gúc nghiêng văn bản”, Kỷ yếu Hội thảo Quốc gia lần thứ - Một số vấn đề chọn lọc Công nghệ Thông tin Truyền thông, Đà Nẵng 18-20/08 /2004, Nxb KH&KT, Hà Nội 2005, 432-441 [3] Đỗ Năng Toàn, Ngô Quốc Tạo, Một số phương pháp nâng cao hiệu nhận dạng phiếu điều tra dạng dấu phục vụ cho thiết kế hệ nhập liệu tự động markread, Tạp chí Tin học Điều khiển học, Tập 15, số 4, năm 1999 [4] Lƣơng Mạnh Bá, Nguyễn Thanh Thuỷ (1999), Nhập môn xử lý ảnh số, NXB Khoa học kỹ thuật [5] Nguyễn Đình Thúc (2000), Mạng nơron phương pháp ứng dụng, NXB Giáo dục Tài liệu Tiếng Anh [6] Pelin CORGEL, Oguzhan OZTAS, Handwritten character recognition system using artificial Neural Networks, Computer Engineering Department, Engineering Faculty, Istanbul University, Avcilar, Istanbul, TURKEY [7] U.-V Marti and H Bunke, Text Line Segmentation and word recognition in a system for general writer Independent Handwriting Recognition, IEEE (February 5, 2001) [8] Wojciech Kacalak, New methods for handwriting recognition using artificial neural networks, Technical university of Koszalin, Department of Mechanical Engineering, Raclawicka 15-17, 75-620 Koszalin,Poland [9] http://en.wikipedia.org/wiki/Backpropagation (20/04/2009) Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ [...]... đầu vào X qua mạng NN thành tập đầu ra Y tƣơng ứng Cần lƣu ý thêm rằng các nơron trên cùng một lớp có thể tính toán đồng thời, do vậy độ phức tạp tính toán nói chung sẽ phụ thuộc vào số lớp mạng Các thông số cấu trúc mạng nơron bao gồm: - Số tín hiệu vào, số tín hiệu ra - Số lớp nơron - Số nơron trên mỗi lớp - Số lƣợng liên kết của mỗi nơron - Các trọng số liên kết nơron - Tốc độ học - Ngƣỡng sai số. .. Các mạng này đƣợc gọi là các mạng tự tổ chức - Học tăng cƣờng Các kỹ thuật học trong mạng nơron có thể nhằm vào hiệu chỉnh các trọng số liên kết (gọi là học tham số) hoặc điều chỉnh, sửa đổi cấu trúc của mạng bao gồm số lớp, số nơron, kiểu và trọng số các liên kết (gọi là học có cấu trúc) Cả hai mục đích học có thể thực hiện đồng thời hoặc tách biệt  Học tham số: Giả sử có k nơron trong mạng và mỗi nơron. .. CHƢƠNG 2 MẠNG NƠRON VÀ NHẬN DẠNG PHIẾU ĐIỂM 2.1 Mạng nơron nhân tạo[5] Có nhiều phƣơng pháp đề nhận dạng chữ viết tay Trong đề tài này, tôi sử dụng mạng nơron để thực hiện việc nhận biết chữ viết tay Việc sử dụng mạng nơron có nhiều tiện dụng và hiệu quả hơn các phƣơng pháp khác Khi sử dụng phƣơng pháp này chúng ta không phải lƣu trữ lƣợng mẫu nhiều, và cũng có thể nhận dạng đƣợc những mẫu mà chƣa có trong. .. lý đơn giản (nơron) hoạt động song song Tính năng của hệ thống, tuỳ thuộc vào cấu trúc của hệ các trọng số liên kết nơron và quá trình tính toán tại các nơron đơn lẻ Mạng nơron có thể học từ dữ liệu mẫu và tổng quát hoá dựa trên các dữ liệu mẫu học Trong mạng nơron, các nơron đón nhận tín hiệu vào gọi là nơron vào (Input) và các nơron đƣa ra thông tin gọi là nơron ra (Output) Số hóa bởi Trung tâm Học... dụng mạng Giả sử đƣa vào vectơ tín hiệu X, sử dụng mạng để tính đầu ra tƣơng ứng với tín hiệu vào X Điểm chú ý quan trọng là ma trận W không thay đổi trong quá trình sử dụng mạng - Một số điểm về mạng HF: + Mạng HF cho phép tạo ánh xạ tự kết hợp trên các tập dữ liệu + Giá trị vào ta có giá trị lƣỡng cực + Học có giám sát + Mạng cho phép phục hồi dữ liệu + Khả năng nhớ mẫu phụ thuộc vào số nơron của mạng. .. (Pattern completion) Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 27 2.1.4 Một số mô hình mạng nơron cơ bản[5][6] a Mạng nơron một lớp a1 Mạng Hopfield (HF) - Kiến trúc mạng Hình 2.4: Mô hình mạng Hopfield - Huấn luyện mạng Mạng Hopfield học dựa trên nguyên tắc học có giám sát Giả sử có p mẫu học tƣơng ứng với các véctơ tín hiệu vào Xs, s=1 p Mạng sẽ xác đinh bộ trọng số W sao cho: Xs=Tinh(Xs,... dựng mạng nơron sao cho có hiệu quả cao nhất trong việc nhận dạng và huấn luyện Điều này tùy thuộc vào việc lựa chọn kiến trúc của mạng, phƣơng pháp huấn luyện, các tham số đầu vào của mạng, các hàm kích thích trên từng lớp… Mạng nơron nhân tạo (Artificial Neural Network gọi tắt là ANN) bao gồm: các nút (đơn vị xử lý, nơron) đƣợc nối với nhau bởi các liên kết nơron Mỗi liên kết kèm theo một trọng số. .. trọng số W c Xác định cấu trúc mạng tối ƣu Lựa chọn sai cấu trúc mạng có thể dẫn tới hoạt động mạng trở nên kém hiệu quả Nói cách khác, cũng giống nhƣ trong mô hình thống kê, các mạng nơron có thể đƣa tới tình trạng quá thừa tham số Bài toán xác định cấu trúc mạng tốt có thể xem nhƣ bài toán tìm kiếm trong không gian tham số Tuy vậy, không gian tham số có thể rất lớn và để xác định một trạng thái W trong. .. luyện mạng Mạng học dựa trên nguyên tắc có giám sát với tập mẫu {(Xs,Ys)} Ý tƣởng cơ bản của quá trình huấn luyện mạng là xác định bộ trọng số W sao cho outs = Tinh(Xs,W) = Ys đối với mọi mẫu học s - Sử dụng mạng và khả năng biểu diễn của mạng Các hàm có thể đƣợc tính nhờ mạng Perceptron tƣơng đối phong phú Sau đây là một số hàm tiêu biểu: - Hàm “đa số - Hàm “thiểu số b Mạng nơron nhiều lớp b1 Mạng. .. p2 p3 : w11  : w1R a f θ pR Đầu vào Net Đầu ra: a = f(Wp + θ) Hình 2.1: Mô hình toán học mạng nơron Giống nhƣ các nơron sinh học, nơron nhân tạo cũng có nhiều đầu vào Hình 2.2 cho thấy một nơron có R đầu vào Các đầu vào p1, p2, …, pR đƣợc lần lƣợt nhân với các trọng số w11, w12, …, w1R (tức là lấy tích vô hƣớng) của ma trận trọng số W Tổng các thông tin vào có trọng số là: Net = Σ wj pj + θ Ngƣời ta ... có số lƣợng môn học số sinh viên lớn Từ lý trên, chọn đề tài “KỸ THUẬT NHẬN DẠNG CHỮ SỐ DỰA VÀO MẠNG NƠRON TRONG NHẬP ĐIỂM TỰ ĐỘNG” với mong muốn phần giải đƣợc phần khó khăn Thay phải nhập điểm. .. điểm - Chƣơng 2: Mạng nơron nhận dạng phiếu điểm - Chƣơng 3: Chƣơng trình thử nghiệm kỹ thuật nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động - Kết luận: Số hóa Trung tâm Học liệu - ĐHTN... http://www.lrc-tnu.edu.vn/ 20 CHƢƠNG MẠNG NƠRON VÀ NHẬN DẠNG PHIẾU ĐIỂM 2.1 Mạng nơron nhân tạo[5] Có nhiều phƣơng pháp đề nhận dạng chữ viết tay Trong đề tài này, sử dụng mạng nơron để thực việc nhận biết chữ viết tay