Nhận dạng kí tự viết tay bằng mạng neuron

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - NGUYỄN TƯ HOÀN NHẬN DẠNG KÝ TỰ VIẾT TAY BẰNG MẠNG NEURON LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội – Năm 2010 Mục lục Danh mục kí hiệu viết tắt Danh mục hình vẽ Danh mục bảng MỞ ĐẦU Chương Tổng quan 12 1.1 Bài tốn nhận dạng kí tự viết tay 12 1.2 Các hướng nghiên cứu 13 1.2.1 Nhận dạng online 13 1.2.2 Nhận dạng off-line 15 1.3 Mục đích, phạm vi, định hướng nghiên cứu 26 Chương Mạng neuron nhân tạo 27 2.1 Cơ sở mạng neuron nhân tạo 27 2.1.1 Mơ hình neuron nhân tạo 2.2 Đặc trưng mạng neuron nhân tạo 27 32 2.3 Các mơ hình kiến trúc mạng neuron nhân tạo 34 2.4 Phương pháp học giải thuật học lan truyền ngược sai số 37 2.4.1 Lý thuyết học vấn đề nhận dạng mẫu 37 2.4.2 Thuật toán học lan truyền ngược sai số 43 Chương Nhận dạng kí tự viết tay mạng neuron nhân chập 57 3.1 Mạng Neuron nhân chập 57 3.1.1 Mơ hình mạng neuron nhân chập 59 3.1.2 Huấn luyện mạng neuron nhân chập 61 3.1.3 Lịch sử ứng dụng mạng neuron nhân chập 64 3.2 Kiến trúc mạng neuron nhân chập cho nhận dạng chữ viết tay 66 3.3 Các cải tiến 68 3.3.1 Mở rộng tập liệu biến dạng tập liệu học 68 3.3.2 Nhập kí tự giống vào lớp 71 3.3.3 Huấn luyện khơng hồn tồn 72 3.4 Áp dụng hệ thống nhận dạng kí tự viết tay 73 Chương Thiết kế, cài đặt thực nghiệm 74 4.1 Phân tích thiết kế 74 4.1.1 Phân tích yêu cầu 74 4.1.2 Các khối chương trình thực nghiệm 75 4.2 Kịch thực nghiệm 4.2.1 Mô tả sở liệu 75 76 4.2.2 Kịch thực nghiệm 4.3 Kết đánh giá 76 80 4.3.1 Hiệu nhận dạng 80 4.3.2 Thời gian tính tốn 82 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 84 TÀI LIỆU THAM KHẢO 86 Lời cam đoan Tôi – Nguyễn Tư Hoàn - cam kết luận văn tốt nghiệp cơng trình nghiên cứu thân tơi hướng dẫn TS Nguyễn Linh Giang Các kết nêu luận văn trung thực, chép tồn văn cơng trình khác Danh mục kí hiệu viết tắt C-Cube: Cursive Character Challenge CSDL: Cơ sở liệu MNIST: Modified National Institute of Standards and Technology MLP: Multilayer-Perceptron NEC: National Executive Committee OCR: Optical Character Recognition PDA: Personal Digital Assistant Danh sách hình vẽ 1.1 Quy trình nhận dạng chữ viết tay online 14 1.2 Các kiểu đầu vào bước phân đoạn 14 1.3 Chuẩn hóa độ nghiêng 17 1.4 Một kiểu mã hóa đường xương kí tự Arabic 21 1.5 So khớp dùng từ điển (a) Kết phân đoạn (b) Đồ thị phân đoạn tương ứng (c) Cây phân đoạn 26 2.1 Mơ hình neuron nhân tạo 28 2.2 Mơ hình phi tuyến neuron 29 2.3 Các loại hàm kích hoạt 30 2.4 Mạng tiến mức 35 2.5 Mạng tiến đa mức với tầng ẩn 36 2.6 Mạng hồi quy 37 2.7 Quy tắc học hiệu chỉnh lỗi 39 2.8 Mơ hình học với người dạy 40 2.9 Hướng hai luồng tín hiệu 43 2.10 Đồ thị luồng tín hiệu neuron đầu 45 2.11 Luồng tín hiệu neuron ẩn j nối với neuron đầu k 47 2.12 Tác dụng số moment α 50 3.1 Kiến trúc mạng neuron nhân chập với pha 59 3.2 Ví dụ tầng trích chọn đặc trưng F − Rabs − N − PA Ảnh đầu vào đưa qua tầng lọc, sau điều chỉnh hàm abs(gi tanh(.)), chuẩn hóa tương phản cục trừ chia, cuối cộng gộp 60 3.3 Sự lan truyền ngược lỗi tầng lọc 63 3.4 Sự lan truyền ngược lỗi tầng gộp đặc trưng 63 3.5 Kiến trúc mạng neuron nhân chập dùng cho nhận dạng kí tự 67 3.6 Biến dạng Affine 69 3.7 Biến dạng đàn hồi với tham số khác (Góc trái ảnh gốc) 70 3.8 Độ giống cặp chữ in thường-in hoa 71 3.9 Mạng neuron nhân chập hệ thống nhận dạng kí tự viết tay 73 4.1 Phân cấp chức chương trình huấn luyện nhận dạng chữ viết tay 75 4.2 Một số mẫu sở liệu MNIST 76 4.3 Một số mẫu sở liệu C-Cube 77 4.4 Kịch thực nghiệm với liệu chữ số MNist 77 4.5 Lưu đồ bước huấn luyện 78 4.6 Lưu đồ bước kiểm thử 78 4.7 Thực nghiệm với liệu C-Cube không phân biệt chữ hoa thường 79 4.8 Thực nghiệm với liệu chữ hoa tách từ liệu C-Cube79 4.9 Độ nhầm lẫn cặp kí tự 81 Danh sách bảng 4.1 Hiệu nhận dạng tập liệu khác 80 4.2 Hiệu nhận dạng không áp dụng cải tiến 80 MỞ ĐẦU Lý chọn đề tài Trong năm gần đây, “Trí tuệ nhân tạo” có ứng dụng đáng kể khoa học đời sống dựa vào việc mơ trí thơng minh người Thực sự, trở tảng cho việc xây dựng hệ thống máy thơng minh đại Từ đó, lĩnh vực khoa học đời: “Lý thuyết mạng neuron nhân tạo” Tiếp thu kết nghiên cứu thần kinh sinh học, mạng neuron nhân tạo thường xây dựng thành cấu trúc mô trực tiếp tổ chức thần kinh não người Sau nhiều năm phát triển kể từ nghiên cứu McCulloch Pitts năm 40, ngày nay, khả phần cứng phần mềm đủ mạnh, “Lý thuyết mạng neuron nhân tạo” có ý đầy đủ nhanh chóng trở thành hướng nghiên cứu đầy triển vọng việc xây dựng máy thông minh tiến gần tới trí tuệ người Những thành cơng gần việc ứng dụng mạng neuron nhân tạo chứng sức mạnh nhiều lĩnh vực khác Một ứng dụng kinh điển mạng neuron lớp toán nhận dạng mẫu, đó, mẫu tập hợp tham số biểu thị thuộc tính đối tượng Với chất dễ thích nghi mơi trường chấp nhận lỗi, mạng neuron thể ưu điểm mạnh mẽ việc nhận dạng mẫu Vì thế, coi mạng neuron trước tiên công cụ để nhận dạng Cho đến nay, có nhiều cơng trình nghiên cứu lý thuyết thực nghiệm mạng neuron cho mục đích nhận dạng thu nhiều thành cơng to lớn Qua q trình nghiên cứu thời gian làm luận văn, nhận thấy, mạng neuron, đặc biệt mạng neuron nhân chập - đề cập kỹ phần nội dung - có khả nhận dạng tốt mẫu có dạng hình học phong phú Vì vậy, tơi xác định, nhiệm vụ luận văn nghiên cứu cài đặt thử nghiệm ứng dụng mạng neuron nhân chập phục vụ cho việc nhận dạng kí tự viết tay đồng thời thử nghiệm cải tiến để nâng cao hiệu nhận dạng thuật toán Lịch sử nghiên cứu • Chuẩn hóa chuyển đổi định dạng ảnh CSDL huấn luyện kiểm thử (vì dùng CSDL khác trình bày phần 4.2) 4.1.2 Các khối chương trình thực nghiệm Dựa vào phân tích trên, khối chương trình thực nghiệm miêu tả hình sau: Hình 4.1: Phân cấp chức chương trình huấn luyện nhận dạng chữ viết tay Để dễ cài đặt, chức phát triển chương trình độc lập: • Chức huấn luyện kiểm thử chức cài đặt chương trình CharacterTrainer • Chức hiển thị sở liệu cài đặt CCubeViewer • Chức chuẩn hóa chuyển đổi định dạng sở liệu cài đặt chương trình CCubeDbConverter 4.2 Kịch thực nghiệm Trước trình bày kịch thực nghiệm, ta mô tả hai sở liệu (CSDL) dùng để huấn luyện kiểm thử chương trình 75 4.2.1 Mơ tả sở liệu Tập liệu chữ số MNIST: Tập liệu MNIST bao gồm tập huấn luyện (training set) - 60000 mẫu tập kiểm thử (testing set) - 10000 mẫu Các mẫu viết khoảng 250 người Các tác giả tập huấn luyện kiểm thử khác Mỗi mẫu ảnh đa mức xám có kích thước 28x28 gán nhãn tay Định dạng tập liệu địa download tìm thấy địa chỉ: http://yann.lecun.com/exdb/mnist/index.html Sau hình ảnh số kí tự trích từ CSDL MNIST Hình 4.2: Một số mẫu sở liệu MNIST Tập liệu chữ C-Cube: Tập liệu C-Cube bao gồm tập huấn luyện (training set) - 38160 mẫu tập kiểm thử (testing set) - 19133 mẫu Các mẫu tách từ văn tay Các ảnh nhị phân, kích thước khác gán nhãn tay Định dạng tập liệu địa download nằm địa chỉ: http://ccc.idiap.ch/ Sau hình ảnh số kí tự trích từ CSDL C-Cube 4.2.2 Kịch thực nghiệm 4.2.2.1 Thực nghiệm với tập liệu MNIST Tập liệu training gồm file: • train-images.idx3-ubyte (tập liệu ảnh) • train-labels.idx1-ubyte : (tập nhãn tương ứng) 76 Hình 4.3: Một số mẫu sở liệu C-Cube Tập liệu test gồm file: • t10k-images.idx3-ubyte (tập liệu ảnh) • t10k-labels.idx1-ubyte (tập nhãn tương ứng) Kịch thực nghiệm thực sau: Hình 4.4: Kịch thực nghiệm với liệu chữ số MNist Lưu đồ bước huấn luyện hình 4.5 Trong hình 4.5, điều kiện dừng tổng lỗi trung bình đủ nhỏ số mẫu nhận nhầm đủ nhỏ Sau kết thúc trình huấn luyện, ta thu file chứa cấu trúc trọng số mạng neuron huấn luyện Lúc ta thực kiểm thử Các bước kiểm thử trình bày lưu đồ 4.6 77 S Load liệu Chọn tham số Đ Huấn luyện Stop thỏa mãn điều kiện dừng Hình 4.5: Lưu đồ bước huấn luyện S Load liệu Đ Kiểm thử Hiển thị ảnh lỗi Stop Hiển thị ảnh lỗi ? Hình 4.6: Lưu đồ bước kiểm thử Bước hiển thị ảnh lỗi cho phép ta thấy hình ảnh, nhãn thực tế nhận từ mạng neuron mẫu bị nhận dạng nhầm 4.2.2.2 Thực nghiệm với tập liệu C-Cube Tập liệu C-Cube có 38160 mẫu huấn luyện, 19130 mẫu kiểm thử gồm tất kí tự khơng phân biệt hoa thường Ở đây, ta đưa hai kịch huấn luyện kiểm thử khác Trong kịch thứ nhất, thực huấn luyện với tất mẫu cung cấp CSDL Trong kịch thứ hai, ta trích tất kí tự in hoa, lúc toán nhận dạng thu gọn lại: nhận dạng kí tự viết tay in hoa Các kí tự viết hoa có cấu trúc hình học tương đối khác nhau, đó, việc áp dụng giải thuật học mạng neuron nhân chập tỏ hiệu Đối với kí tự khơng phân biệt hoa thường Mạng Neuron nhân chập cần có ảnh đầu vào với kích thước cố định, ta cần thực chuẩn hóa ảnh kích thước (28x28) sau tiến hành thực nghiệm Kịch thực nghiệm hình sau Chương trình CCubeDbConverter_Insensitive thực việc chuẩn hóa mẫu huấn luyện kiểm thử CSDL C-Cube 78 Hình 4.7: Thực nghiệm với liệu C-Cube không phân biệt chữ hoa thường Các bước thực nghiệm với tập liệu sau chuẩn hóa tương tự với Mnist Đối với kí tự in hoa Các kí tự in hoa tách từ kí tự tương ứng tập liệu huấn luyện tập kiểm thử liệu C-Cube Kịch thực nghiệm hình sau: Hình 4.8: Thực nghiệm với liệu chữ hoa tách từ liệu C-Cube 79 Chương trình CCubeDbConverter_Capitial_Letter thực việc trích kí tự in hoa từ tập gốc chuẩn hóa chúng Các bước thực nghiệm với tập liệu sau chuẩn hóa tương tự với Mnist 4.3 Kết đánh giá 4.3.1 Hiệu nhận dạng Các kết thu tập liệu khác thực theo kịch bảng 4.1 Bảng 4.1: Hiệu nhận dạng tập liệu khác Tập liệu MNIST Tập chữ không phân biệt hoa thường Tập chữ in hoa Độ xác 99.2% 83.15% 89.12% Hình 4.9 biểu thị độ nhầm lẫn kí tự hiệu nhận dạng kí tự riêng biệt cho trường hợp kí tự in hoa Giải thuật tương tự (không áp dụng cải tiến nêu phần 3.3.2, 3.3.3) thử nghiệm với kịch Các kết liệt kê bảng 4.2 Bảng 4.2: Hiệu nhận dạng không áp dụng cải tiến Tập liệu Tập chữ không phân biệt hoa thường Tập chữ in hoa Độ xác 81.32% 86.93% Từ kết bảng hình, ta thấy: • Hiệu nhận dạng thuật toán tập liệu chữ số cao nhiều so với tập chữ viết tay Điều giải thích sau: Các chữ số thường viết riêng lẻ - kí tự viết thường khơng dính liền - việc tách dễ dàng mẫu ảnh thu không bị nét dính liền với kí tự khác làm nhiễu 80 Hình 4.9: Độ nhầm lẫn cặp kí tự Hơn nữa, kiểu cách chữ biến động không nhiều người viết khác Như vậy, cấu trúc hình học chữ số ổn định, ta dễ nhận thấy hình dạng chữ số phân biệt Bên cạnh đó, số lượng đầu nhận dạng 10, đó, hiệu nhận dạng cao so với trường hợp nhận dạng chữ Trái lại, cấu trúc hình học chữ có biến động lớn Kiểu chữ người khác khác Hơn nữa, mẫu huấn luyện kiểm thử mà dùng tách từ kí tự văn bản, đó, bị tách, chúng giữ lại nét ấy, điều làm nhiễu giảm hiệu thuật tốn Ngồi ra, hình dạng chữ nhiều trường hợp giống • Hiệu nhận dạng trường hợp kí tự in hoa cao so với trường hợp kí tự khơng phân biệt hoa thường Điều giải thích sau: 81 – Hình dạng chữ in hoa thường ổn định so với chữ thường – Số lớp phân loại cho trường hợp chữ không phân biệt hoa thường lớn so với kí tự in hoa – Các nét dính liền từ kí tự in hoa với kí tự khác văn thường nhỏ so với kí tự in thường với Do đó, mẫu chữ in hoa CSDL bị nhiễu nét so với trường hợp kí tự in thường • Một số kí tự ‘Q’, ‘W’ có hiệu nhận dạng thấp chúng có số lượng mẫu tập huấn luyện không lớn ( ∼ 1%) • Các kết bảng 4.1 cao so với kết tương ứng bảng 4.2 Điều chứng tỏ, cải tiến nêu mục 3.3.2, 3.3.3 có tác dụng đáng kể việc nâng cao hiệu nhận dạng tập chữ viết tay • Đối với liệu chữ số viết tay, kết thu cao kết thu từ phương pháp sử dụng biểu đồ chiếu, trích chọn chu tuyến, trích chọn đặc trưng Wavelet Haar công bố [28] (97,0%, 95,5%, 97,8%) Như vậy, phương pháp dùng mạng neuron nhân chập tỏ thích hợp chữ số viết tay Đối với tập liệu chữ C-Cube, kết thu cao so với phương pháp sử dụng mạng neuron đa lớp khác cơng bố [9], thấp kết cho phương pháp sử dụng máy học SVM [9] Điều chứng tỏ, kiến trúc đặc biệt mạng neuron nhân chập tỏ thích hợp phương pháp trích chọn đặc trưng huấn luyện mạng neuron đa lớp thông thường 4.3.2 Thời gian tính tốn Trong phần này, ta đánh giá thời gian huấn luyện dựa vào số Epochs cần thiết để mạng đến trạng thái ổn định, coi hội tụ, tập liệu khác (sự định dừng trình học thực tay) Các kết sau: • Đối với tập liệu MNIST: 25-30 epochs • Đối với tập chữ không phân biệt hoa thường: 50-60 epochs 82 • Đối với tập chữ in hoa: 45-50 epochs Ta thấy, đa dạng tập liệu lớn thời gian cần để hội tụ lâu 83 KẾT LUẬN Mạng neuron nhân chập tỏ thích hợp cho tốn nhận dạng mẫu có cấu trúc hình học phong phú, đặc biệt mẫu kí tự viết tay Luận văn trình bày kết nghiên cứu mạng neuron nhân tạo, đặc biệt mạng neuron nhân chập giải thuật liên quan Đồng thời, luận văn trình bày kiến trúc mạng neuron nhân chập áp dụng cho toán nhận dạng chữ viết tay phân tích thiết kế, thử nghiệm giải thuật Một số cải tiến nêu chúng cải thiện đáng kể hiệu nhận dạng thuật tốn Tuy nhiên, có điểm khó khăn ln tồn việc nhận dạng chữ viết tay biến động cấu trúc hình học kí tự lớn; đó, khơng đạt kết cao tập liệu chữ số Hơn nữa, tốn nhận dạng kí tự riêng lẻ khơng có thơng tin ngữ cảnh liên quan đến kí tự cần nhận dạng Đối với việc nhận dạng chữ cái, điều hữu ích cần thiết, kí tự chữ số, kí tự đứng cạnh thường không nối liền với nhau, thơng tin ngữ cảnh khơng cần thiết Giải thuật cải tiến cài đặt thành công kết thực nghiệm khả quan Điều chứng tỏ tính khả thi việc áp dụng mạng neuron nhân chập vào lĩnh vực nhận dạng mẫu hình học Bên cạnh đó, cần kể đến tác dụng biện pháp cải tiến nêu • Biện pháp biến dạng mẫu huấn luyện tăng đáng kể kích thước tập huấn luyện làm thay đổi cách hiệu nhận dạng hệ thống Đây phương pháp hiệu để tăng kích thước liệu có cấu trúc hình học nói chung • Việc nhập cặp kí tự giống thành lớp huấn luyện khơng hồn tồn tỏ phương pháp phù hợp với tập chữ viết tay, nhờ đó, hiệu hệ thống nhận dạng tăng đáng kể HƯỚNG PHÁT TRIỂN Trên sở đó, tơi xin đưa số hướng phát triển thời gian tới sau: • Mạng neuron nhân chập hướng nghiên cứu phù hợp cho toán nhận dạng vân tay, nhiên, thời gian tương đối ngắn thử 84 nghiệm chương trình, tơi chưa tiến hành hết thử nghiệm để thiết kế kiến trúc mạng tối ưu tham số cần thiết để mang lại hiệu tốt cho thuật tốn Vì vậy, thời gian tới, tơi dự định tiếp tục thử nghiệm để đưa kiến trúc mạng tham số tối ưu cho cải tiến nêu phần nội dung • Bên cạnh đó, nói, thơng tin ngữ cảnh cần thiết cho toán nhận dạng chữ cái, đó, thời gian tới, tơi đề xuất hướng nghiên cứu thêm phần phân đoạn ảnh để từ phát triển giải thuật nhận dạng văn đồng thời qua đó, cung cấp thơng tin ngữ cảnh làm cho thuật tốn nhận dạng kí tự riêng lẻ thêm xác Như vậy, mạng neuron nhân chập chứng tỏ cách tiếp cận phù hợp cho tốn nhận dạng kí tự viết tay, quan tâm nghiên cứu nhiều giới cho lĩnh vực khác - nói phần 3.1.3 Mặc dù hướng tiếp cận chưa nghiên cứu nhiều Việt Nam, hướng có triển vọng tương lai cần quan tâm nghiên cứu 85 Tài liệu tham khảo [1] A.K.Jain and K.Karu (1996) Page segmentation using texture analysis Pattern Recognit, p 743–770 [2] A.Abdulkader (2006) A two-tier approach for arabic offline handwriting recognition IWFHR’06 [3] A.Frome, G.Cheung, A.Abdulkader, M.Zennaro, A.Bissacco, B., H.Adam, H.Neven, and L.Vincent (2009) Large-scale privacy protection in street-level imagery ICCV’09 [4] B.Hussain and M.Kabuka (Jan 1994) A novel feature recognition neural network and its application to character recognition IEEE Trans Pattern Anal Machine Intell , p 99–106, no vol 16 [5] C.Bishop (1995) Neural Networks for Pattern Recognition Cambridge University Press, Cambridge, UK [6] C.Garcia and M.Delakis (2004) Convolutional face finder: A neural architecture for fast and robust face detection IEEE Transactions on Pattern Analysis and Machine Intelligence [7] C.Y.Liou and H.C.Yang (Sept 1996) Handprinted character recognition based on spatial topology distance measurements IEEE Trans Pattern Anal.Machine Intell , p 941–945, no vol 18 [8] D.Graupe (2007) Principles of Artificial Neural Networks World Scientific Publishing Co., Inc [9] F.Camastra, M.Spinetti, and A.Vinciarelli (2006) Offline cursive character challenge: a new benchmark for machine learning and pattern recognition algorithms Pattern Recognition, International Conference on, 2, 913–916 86 [10] F.Nasse, C.Thurau, and G.A.Fink (2009) Face detection using gpu-based convolutional neural networks pp 83–90 [11] F.Camastra (2007) A SVM-based cursive character recognizer Elsevier Science Inc [12] F.Ning, D.Delhomme, Y.LeCun, F.Piano, L.Bottou, and P.Barbano (2005) Toward automatic phenotyping of developing embryos from videos IEEE Transactions on Image Processing [13] H.D.Block, B.W.Knight, and F.Rosenblatt (1962) Analysis of a four layer serious coupled perceptron No vol 34, Rev.Mod.Phys [14] H.S.Beigi (1993) An overview of handwriting recognition Proceedings of the st Annual Conference on Technological Advancements in Developing Countries, pp 30–46 [15] K.Chellapilla and P.Simard (2006) A new radical based approach to offline handwritten east-asian character recognition IWFHR’06 [16] K.Kavukcuoglu, M.Ranzato, R.Fergus, and Y.LeCun (2009) Learning invariant features through topographic filter maps CVPR’09 [17] K.Chellapilla, M.Shilman, and P.Simard (2006) Optimally combining a cascade of classifiers Proceeding of Document Recognition and Retrieval 13, Electronic Imaging, 6067 [18] K.Chellapilla, S.Puri, and P.Simard (2006) High performance convolutional neural networks for document processing IWFHR’06 [19] K.Fukushima and S.Miyake (1982) Neocognitron: A new algorithm for pattern recognition tolerant of deformations and shifts in position Pattern Recognition, pp 455–469 [20] Li-Min-Fu (1995) Neural Network in Computer Intelligence Mc Graw Hill.Inc Internation Edition [21] LiuChengLin (2008) Partial discriminative training of neural networks for classification of overlapping classes ANNPR ’08: Proceedings of the 3rd IAPR workshop on Artificial Neural Networks in Pattern Recognition, Berlin, Heidelberg, pp 137–146, Springer-Verlag [22] M.Delakis and C.Garcia (2008) Text detection with convolutional neural networks International Conference on Computer Vision Theory and Applications (VISAPP) 87 [23] M.L.Minsky and S.Papert (1969) Perceptrons: An Introduction to Computational Geometry Cambridge, MA: MIT Press [24] M.Osadchy, Y.LeCun, and M.Miller (May 2007) Synergistic face detection and pose estimation with energy-based models Journal of Machine Learning Research, pp 1197–1215 [25] N.Arica and F.T.Yarman (May.2001) An overview of character recognition focused on off-line handwriting pp 216–233 [26] N.V.S.Reddy and P.Nagabhushan (1998) A three dimensional neural network model for unconstrained handwritten numeral: A new approach Pattern Recognit, p 511–516 [27] N.Pinto, D.D.Cox, and J.J.DiCarlo (2008) Why is real-world visual object recognition hard? PLoS Comput Biol [28] P.A.Phương (2009) Một số phương pháp trích chọn đặc trưng hiệu cho vấn đề chữ viết tay rời rạc Tạp chí khoa học Đại học Huế [29] P.A.Phương, N.Q.Tạo, and L.C.Mai (2008) Trích chọn đặc trưng wavelet haar kết hợp với svm cho việc nhận dạng chữ viết tay tiếng việt Tạp chí cơng nghệ thông tin truyền thông [30] P.Y.Simard, D.Steinkraus, and J.C.Platt (2003) Best practices for convolutional neural networks applied to visual document analysis Proceedings of Seventh International Conference on Document Analysis and Recognition, 2003., pp 958 – 963 [31] R.Vaillant, C.Monrocq, and Y.LeCun (1994) Original approach for the localisation of objects in images IEEE Proc on Vision, Image and Signal Processing, vol.141, no.4 , pp 245–250 [32] S.Lyu and E.P.Simoncelli (2008) Nonlinear image representation using divisive normalization IEEE Conference on Computer Vision and Pattern Recognition [33] T.Kohonen (1995) Learning vector quantization MIT Press [34] T.Kohonen (1995) Self Organizing Maps No vol 30, New York: Springer [35] V.Jain and H.S.Seung (2008) Natural image denoising with convolutional networks MIT Press [36] Y.LeCun, U.Muller, J.Ben, E.Cosatto, and B.Flepp (2005) Off-road obstacle avoidance through end-to-end learning in “Advances in Neural Information Processing Systems (NIPS 2005)” MIT Press 88 [37] Y.LeCun, Kavukcuoglu, and K.Farabet (2010) Convolutional networks and applications in vision Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS), Paris, pp 253 – 256 [38] Y.LeCun, B.Boser, J.S.Denker, D.Henderson, R.E.Howard, Hubbard, and L.D.Jackel (1989) Handwritten digit recognition with a back-propagation network Neural Information Processing Systems [39] Y.LeCun, B.Boser, J.S.Denker, D.Henderson, R.E.Howard, W.Hubbard, and L.D.Jackel (1989) Backpropagation applied to handwritten zip code recognition Neural Computation [40] http://en.wikipedia.org/wiki/handwriting_recognition [41] http://vi.wikipedia.org/wiki/nhận_dạng_các_kí_tự_quang_học 89 ... để nhận dạng dạng hình học phức tạp kí tự viết tay Do đó, mục tiêu phạm vi luận văn nghiên cứu, cài đặt chương trình thử nghiệm ứng dụng mạng Neuron nhân chập cho việc nhận dạng kí tự viết tay, ... tập trung nghiên cứu nhận dạng mẫu kí tự viết tay đơn lẻ, off-line Nội dung luận văn đóng góp tác giả Những điểm đạt luận văn là: • Phương pháp nhận dạng kí tự viết tay mạng neuron nhân chập trước... tay Nhận dạng kí tự viết tay bắt nguồn từ toán lớn toán nhận dạng kí tự quang học [41] Nhận dạng ký tự quang học (Optical Character Recognition: OCR), toán chuyển hình ảnh chữ viết tay chữ đánh