Nghiên cứu nhận dạng chữ số viết tay dùng mạng noron

NGUYỄN PHÚ TĨ NGHIÊN CỨU NHẬN DẠNG CHỮ SỐ VIẾT TAY DÙNG MẠNG NƠRON KHÓA K23CNTT BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH NGUYỄN PHÚ TĨ NGHIÊN CỨU NHẬN DẠNG CHỮ SỐ VIẾT TAY DÙNG MẠNG NƠRON LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN LONG AN, 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH NGUYỄN PHÚ TĨ NGHIÊN CỨU NHẬN DẠNG CHỮ SỐ VIẾT TAY DÙNG MẠNG NƠRON Chuyên ngành: Công nghệ thông tin Mã số: 60.48.02.01 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: TS Lê Hồng Trang LONG AN, 2017 LỜI CAM ĐOAN Tôi xin cam đoan kết nghiên cứu luận văn tơi có tham khảo số nội dung tài liệu tạp chí liệt kê mục lục tài liệu Tơi không chép nội dung người khác kết nghiên cứu riêng hướng dẫn thầy TS Lê Hồng Trang Tác giả luận văn Nguyễn Phú Tĩ LỜI CẢM ƠN Việc trao đổi kinh nghiệm học tập chuyên môn, nghiệp vụ việc cần thiết cho người góp phần nâng cao trình độ nâng cao hiệu làm việc nên thân luôn phấn đấu không ngừng học tập, rèn luyện để lãnh hội nhiều tri thức Tuy nhiên thời gian học tập rèn luyện thân gặp khơng ích khó khăn vừa học vừa làm, thời gian làm luận văn vừa tích cực nghiên cứu vừa tìm tịi thêm tài liệu, học thêm bạn giúp đỡ tạo điều kiện thuận lợi Trường Đại học Vinh, Trường Đại học Kinh tế-Cơng nghiệp Long An Trước tình cảm q báo đó, cho phép thân tơi xin cảm ơn Trường Đại học Vinh, Trường Đại học Kinh tế-Công nghiệp Long An, Khoa Công nghệ thông tin Trường Đại học Vinh, quý thầy cô thầy Tiến sĩ Lê Hồng Trang, truyền đạt, góp ý, động viên sâu sắc chân tình, xin chân thành cảm ơn bạn học viên khóa K23CNTT Long An giúp đỡ động viên để thân hoàn thành việc học, hoàn thành nội dung luận văn, cảm ơn gia đình quan tâm, động viên cho việc học, việc làm luận văn Long An, ngày 02 tháng năm 2017 Học viên Nguyễn Phú Tĩ MỤC LỤC Trang LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT DANH MỤC CÁC BẢNG, DANH MỤC CÁC HÌNH MỞ ĐẦU Lý chọn đề tài Lịch sử vấn đề Đối tƣợng phạm vi nghiên cứu 3.1 Đối tượng 3.1.1 Nghiên cứu lý thuyết 3.1.2 Nghiên cứu thực nghiệm 3.2 Phạm vi nghiên cứu Mục đích, nhiệm vụ nghiên cứu 4.1 Mục đích tổng quát 4.2 Mục đích cụ thể 4.3 Nhiệm vụ nghiên cứu Phƣơng pháp nghiên cứu 10 5.1 Nghiên cứu offline 11 5.2 Nghiên cứu online 11 5.3 Nghiên cứu thực nghiệm 11 Đóng góp Luận văn 11 Kết cấu luận văn 11 Chƣơng TIỀN XỬ LÝ ẢNH VÀ TRÍCH CHỌN ĐẶC TRƢNG 12 1.1 Tổng quan tiền xử lý ảnh 12 1.2 Các công đoạn tiền xử lý 12 1.2.1 Chuyển xám ảnh 13 1.2.2 Phân ngưỡng ảnh 14 1.2.3 Nhiễu ảnh 15 1.2.3.1 Một số loại nhiễu ảnh thường gặp 16 1.2.3.2 Một số phương pháp lọc nhiễu 16 1.2.4 Làm trơn ảnh, tách biên đối tượng 18 1.2.5 Trích chọn đặc trưng chuỗi Fourier 21 Chƣơng MẠNG NƠRON 23 2.1 Tổng quan mạng nơron 23 2.2 Mạng nơron nhân tạo 25 2.3 Mạng Nơron truyền thẳng nhiều tầng (MLP Multilayer Perceptron) 29 2.3.1 Kiến trúc mạng MLP 29 2.3.2 Huấn luyện mạng MLP 30 2.3.3 Học có giám sát mạng nơron 31 2.3.4 Thuật toán lan truyền ngược (Backpropagation) 31 2.3.4.1 Ưu điểm 33 2.3.4.2 Hạn chế 34 2.4 Mạng nơron tích chập 34 2.4.1 Định nghĩa mạng nơron tích chập 34 2.4.2 Tích chập (Convolution) 34 2.4.3 Mơ hình mạng nơron tích chập 36 2.5 Mạng nơron tích chập sâu (Deep convolutional networks) 37 Chƣơng NHẬN DẠNG CHỮ SỐ VIẾT TAY DÙNG MẠNG NƠRON 41 3.1 Xây dựng mơ hình 41 3.2 Kiểm tra thử nghiệm 44 3.3 Kết luận 48 3.4 Hướng phát triển 48 TÀI LIỆU THAM KHẢO 49 DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT HMM - Hidden Markov Model SVM - Support Vector Machines SV - Support Vector MLP - Multilayer Perceptron DANH MỤC CÁC BẢNG, DANH MỤC CÁC HÌNH Hình 1.1 Mơ hình nhận dạng mẫu tổng qt 10 Hình 1.2 Chuyển ảnh màu thành ảnh xám 14 Hình 1.3 Phương pháp phân ngưỡng 14 Hình 1.4 Ảnh sau lọc trung bình lọc thơng thấp 18 Hình 1.5 Ảnh sau lọc Prewitt, Sobel 19 Hình 1.6 Ảnh sau trích chọn đặc trưng Fourier 22 Hình 2.1 Cấu trúc não người 24 Hình 2.2 Cấu trúc Nơron nhân tạo 24 Hình 2.3 Nơron nhân tạo có nhiều đầu vào 25 Hình 2.4 Cấu tạo mạng nơron nhân tạo 26 Hình 2.5 Mạng nơron tự kết hợp 27 Hình 2.6 Mạng nơron kết hợp khác kiểu 27 Hình 2.7 Cấu trúc mạng nơron truyền thẳng nhiều tầng 28 Hình 2.8 Mạng nơron phản hồi 29 Hình 2.9 Mạng nơron truyền thẳng nhiều tầng 29 Hình 2.10 Minh họa tích chập 35 Hình 2.11 Ảnh mờ sau chập 36 Hình 2.12 Ảnh phát biên sau chập 36 Hình 3.1 Mơ hình mạng nơron nhận dạng chữ số viết tay 41 Hình 3.2 Hình tập liệu mẫu huấn luyện 43 Hình 3.3 Ảnh kết nhận dạng số số 46 Hình 3.4 Ảnh minh họa ký tự số nhận dạng bị sai 47 MỞ ĐẦU Lý chọn đề tài Chữ viết tay gắn bó với lịch sử lồi người qua hàng vạn năm Từ thuở xa xưa, người tập khắc nét chữ tượng hình lên vách đá để diễn tả ngơn ngữ Trải qua vài chục kỷ, chữ viết giúp người ghi chép lại lịch sử Mặc dù với phát triển cơng nghệ có nhiều ứng dụng khơng cần viết chữ giấy dần bị thay thiết bị công nghệ đại khẳng định, chữ viết tay giữ vai trò quan trọng đời sống xã hội Nhận dạng chữ in chữ viết tay giúp cho trình đọc tài liệu nhập liệu nhanh chóng nhằm chuyển văn tài liệu giấy sang tài liệu số để dễ dàng chỉnh sửa, lưu trữ truy xuất; việc nhận dạng chữ số viết tay số giúp đọc liệu số chứng từ, hóa đơn, phiếu ghi nhanh chóng, xác, kịp thời Do nghiên cứu nhận dạng chữ viết tay quan trọng, việc nhận dạng chữ số viết tay từ đến giúp cho số hóa chữ số chi phiếu ngân hàng, mã số bì thư dịch vụ bưu chính, hay chữ số biểu mẫu nói chung nhằm phục vụ cho cơng việc người ngày tốt hơn, tiết kiệm nhiều thời gian từ nâng cao suất lao động Với mong muốn giúp cho việc nhập liệu từ phiếu ghi số dễ dàng nhằm nâng cao hiệu công việc Và đồng ý thầy Tiến sĩ Lê Hồng Trang nên chọn đề tài nghiên cứu nhận dạng chữ số viết tay dùng mạng nơron Lịch sử vấn đề Nhận dạng toán xuất cách lâu ln thu hút nhiều quan tâm, không dừng lại mức độ nghiên cứu mà ứng dụng rộng rãi nhiều lĩnh vực Các tốn nhận dạng mẫu, nhận dạng tiếng nói đuợc ứng dụng nhiều lĩnh vực Trong tốn nhận dạng chữ viết nói chung nhận dạng chữ số viết tay đuợc quan tâm nhiều nghiên cứu bước đầu đạt đuợc thành công Hiện nay, với phần mềm phẩm FineReader 12.0 hãng ABBYY nhận dạng chữ in theo 20 ngôn ngữ khác Cùng với xu hướng phát triển người ý nghiên cứu pháp phương pháp nhận dạng chữ viết tay máy TABLET PC Riêng Việt Nam với phần mềm VnDOCR 4.0 Viện Cơng nghệ Thơng tin Hà Nội nhận dạng tài liệu chứa hình ảnh, bảng văn tiếng Việt với độ xác 98% Tuy nhiên, toán nhận dạng chữ viết tay vấn đề thách thức lớn nhà nghiên cứu phụ thuộc nhiều vào kiểu chữ người viết với biến đổi đa dạng cách viết trạng thái tinh thần người viết Cho nên toán nhận dạng chữ viết tay số viết tay tiếp tục nghiên cứu nhóm nghiên cứu Huỳnh Hữu Lộc, Lưu Quốc Hải, Đinh Đức Anh Vũ nhận dạng chữ viết tay dùng trích rút thông tin theo chiều mạng nơron công bố tạp chí Khoa Khoa học Kỹ thuật máy tính, Trường Đại học Bách khoa TP Hồ Chí Minh số K2-2011, kết xác 84 phần trăm; nhóm Đỗ Thanh Nghị Phạm Nguyên Khang, nhận dạng ký tự số viết tay giải thuật máy học rừng ngẫu nhiên xiên phân, Tạp chí Khoa học Trường Đại học Cần Thơ năm 2013, nhận dạng xác 99.12 phần trăm Thạc sĩ Trần Văn Nam, nhận dạng ký tự mạng neural lan truyền ngược, tạp chí khoa học Trường Đại học Trà Vinh năm 2013, kết nhận dạng xác đến 98.89 phần trăm 35 2.10 Hình 2.10 Minh họa tích chập (Nguồn http://deeplearning.stanford.edu/wiki/index.php/ Feature_extraction_using_convolution) Ma trận bên trái ảnh đen trắng Mỗi giá trị ma trận tương đương với điểm ảnh (pixel), màu đen, màu trắng (nếu ảnh grayscale giá trị biến thiên từ đến 255) Ta dùng ma trận lọc 3×3 nhân thành phần tương ứng với ma trận ảnh bên trái Giá trị đầu tích thành phần cộng lại Kết tích chập ma trận (convoled feature) sinh từ việc trượt ma trận lọc thực tích chập lúc lên tồn ma trận ảnh bên trái - Ta làm mờ ảnh ban đầu cách lấy giá trị trung bình điểm ảnh xung quanh cho vị trí điểm ảnh trung tâm 36 Hình 2.11 Ảnh mờ sau chập (Nguồn https://ongxuanhong.wordpress.com/2015/12/29/ convolutional-neural-networks-la-gi/) - Ngồi ra, ta phát biên cạnh cách tính vi phân (độ dị biệt) điểm ảnh lân cận Hình 2.12 Ảnh phát biên sau chập (Nguồn https://ongxuanhong.wordpress.com/2015/12/29/ convolutional-neural-networks-la-gi/) 2.4.3 Mơ hình mạng nơron tích chập CNNs gồm vài lớp convolution kết hợp với hàm kích hoạt phi tuyến (nonlinear activation function) để tạo thông tin trừu tượng (abstract/higher-level) cho lớp Trong mơ hình mạng nơron truyền thẳng (Feedforward Nơron Network) lớp kết nối trực tiếp với thông qua trọng số w (weighted vector) Các lớp cịn gọi có kết nối đầy đủ (fully connected layer) hay lớp affine (affine layer) Trong mô hình CNNs ngược lại, lớp liên kết với thơng 37 qua chế tích chập (convolution) Lớp kết tích chập từ lớp trước đó, nhờ mà ta có kết nối cục Nghĩa nơron lớp sinh từ lọc ma trận áp đặt lên vùng ảnh cục nơron lớp trước Trong suốt q trình huấn luyện, CNNs tự động học thông số cho lọc ma trận CNNs có tính bất biến tính kết hợp cục bộ, đối tượng, đối tượng chiếu theo gốc độ khác phép dịch chuyển (translation), phép quay (rotation), phép co giãn (scaling) độ xác thuật tốn bị ảnh hưởng đáng kể Lớp tổng hợp cho biết tính bất biến phép dịch chuyển, phép quay phép co giãn 2.5 Mạng nơron tích chập sâu (Deep convolutional networks) Mạng tích chập với việc sử dụng mạng truyền thống có nhiều phép tốn lặp xây dựng mạng hiệu Mạng nơron tích chập có nhiều kĩ thuật hiệu tích chập, giảm số chiều để huấn luyện nhiều liệu thực mạng cũ Kết hệ thống làm việc gần người Trong mạng nơron tích chập mạng sâu sử dụng rộng rãi mạng tích chập sâu Đặc biệt, điểm ảnh ảnh đầu vào, ta mã hóa cường độ điểm ảnh giá trị nơron tương ứng tầng đầu vào Đối với ảnh kích thước 28x28 điểm ảnh mà sử dụng, mạng có 784 (28x28) nơron đầu vào Sau ta huấn luyện trọng số (weight) độ lệch (bias) để đầu mạng ta mong đợi Mạng tích chập sâu số biến thể sử dụng mạng nơron để nhận dạng ảnh Mạng tích chập sử dụng ba ý tưởng trường tiếp nhận cục bộ, trọng số chia sẻ tổng hợp sau: - Trường tiếp nhận cục (Local receptive fields): Đầu vào 28 × 28 nơron, giá trị tương ứng với 28 x28 cường độ điểm ảnh mà sử dụng 38 mơ tả hình  Để xác hơn, nơron lớp ẩn kết nối với vùng nhỏ nơron đầu vào, vùng × 5, tương ứng với 25 điểm ảnh đầu vào Vùng ảnh đầu vào gọi vùng tiếp nhận cục cho nơron ẩn cửa sổ nhỏ điểm ảnh đầu vào Mỗi kết nối học trọng số nơron ẩn học độ lệch (overall bias)  Sau trượt trường tiếp nhận cục toàn ảnh Đối với trường tiếp nhận cục bộ, có nơron ẩn khác tầng ẩn Để minh họa điều cách cụ thể, bắt đầu với trường tiếp nhận cục góc bên trái hình sau:  Sau đó, trượt trường tiếp nhận cục điểm ảnh bên phải (tức nơron), để kết nối với nơron ẩn thứ hai sau: 39  Vậy việc xây dựng lớp ẩn có ảnh đầu vào 28 × 28 × trường tiếp nhận cục ta có 24 × 24 nơron lớp ẩn Có điều di chuyển trường tiếp nhận cục ngang qua 23 nơron (hoặc xuống 23 nơron), trước chạm với phía bên phải (hoặc dưới) ảnh đầu vào - Trọng số độ lệch (Shared weights and biases): Mỗi nơron ẩn có độ lệch × trọng số liên kết với trường tiếp nhận cục Các trọng số độ lệch tương tự cho nơron ẩn 24 × 24 Nói cách khác, nơron ẩn thứ j, k, đầu là:  Ở đây, σ hàm kích hoạt nơron dùng hàm sigmoid, b giá trị chung cho độ lệch Mwl, m mảng × trọng số chia sẻ Và, cuối cùng, sử dụng axy biểu thị giá trị kích hoạt đầu vào vị trí x, y  Vì lý này, gọi đồ từ lớp đầu vào cho lớp ẩn đồ đặc trưng (feature map) Chúng ta gọi trọng số xác định đồ đặc trưng trọng số chia sẻ (shared weights) Và gọi độ lệch xác định đồ đặc trưng độ lệch chia sẻ (shared bias) Các trọng số 40 chia sẻ độ lệch thường gọi hạt nhân (kernel) hay lọc (filter) Vậy mạng nơron tính chập (CNNs - Convolutional Nơron Network) mơ hình học sâu (Deep Learning) giúp cho xây dựng hệ thống thơng minh với độ xác cao mạng nơron nhân tạo Tích chập sử dụng xử lý tín hiệu số, cho phép ta mờ ảnh làm tăng màu ảnh (tăng độ xám) ban đầu Ngồi ra, tính chập phát biên cạnh ảnh; tính chập có tính bất biến tính kết hợp 41 Chƣơng NHẬN DẠNG CHỮ SỐ VIẾT TAY DÙNG MẠNG NƠRON 3.1 Xây dựng mơ hình Trước tiên trách ký tự từ ảnh, nhận dạng ký tự từ ảnh chuyển text Có nhiều phương pháp chuyển để chuyển mơ hình markov ẩn, máy vectơ hỗ trợ SVM, mạng nơron, Nội dung luận văn nghiên cứu thuật toán lan truyền ngược (backpropagation) mạng nơron đa lớp truyền thẳng (Multilayer Perceptron) hàm kích hoạt sigmoid để nhận dạng ký tự số viết tay theo số tự nhiên từ đến Mơ hình mơ tả hình 3.1 Hình 3.1 Mơ hình mạng nơron nhận dạng chữ số viết tay Phương pháp nhận dạng chữ số viết tay mạng nơron bao gồm bước mô tả sau - Dữ liệu vào: Thu nhận ảnh; Tiến hành phân tích ảnh để tìm ký tự; Tiền xử lý ký tự 42 - Thu nhận ảnh: Văn bản, tài liệu thu nhận máy quét, máy ảnh, thiết bị thu nhận ảnh thông dụng khác - Việc phân tích ảnh tìm ký tự để tiến hành tách ký tự ảnh khỏi ảnh tiền xử lý ký tự nhằm giải vấn đề ánh xạ giá trị pixel ảnh ký tự vào ma trận Mơ hình nhận dạng: Trong phương pháp thiết kế chương trình nhận dạng sử dụng mạng nơron có lớp truyền thẳng thuật lan truyền ngược Code tập huấn luyện mô tả Matlab chọn ngẫu nhiên 100 mẫu chữ viết tay tập kích thước mẫu liệu huấn luyện 5.000 mẫu chữ viết tay mơ tả hình 3.2 %% ========KHOI TAO ================ clear ; close all; clc %% ========THIET LAP THONG SO CHO TAP HUAN LUYEN============= inputLayerSize = 400; % 20 pixel x 20 pixel anh du lieu vao cua so numberOfLabels = 10; % nhan tu den 10 % (Luu y "0" nhan la 10) %% =========== TAI DU LIEU VA HINH DUNG DU LIEU ============= % Tai du lieu huan luyen fprintf('Loading and Visualizing Data \n') load('inputTrainingSetOf5000HandwrittenDigitsAndLabels.mat'); % Du lieu huan luyen da duoc luu X, y m = size(X, 1); % Chon ngau nhien 100 diem du lieu de hien thi randomIndices = randperm(m); randomlySelectedIndices = X(randomIndices(1:100), :); displayData(randomlySelectedIndices); title('Vi du 100 chu so ngau nhien duoc chon tu dau vao Tap Huan luyen'); fprintf('Chuong trinh dung Nhan Enter de tiep tuc.\n'); pause; 43 %% =HOI QUY LOGIC CHO MOT HOAC TAT CA PHAN LOAI CHO CHU SO VIET TAY== fprintf('\nHuan luyen mot hoac tat ca Hoi quy logic \n') lambda = 0.1; [all_theta] = oneVsAll(X, y, numberOfLabels, lambda); fprintf('Chuong trinh dung Nhan phim Enter de tiep tuc.\n'); pause; %% ============= DU DOAN CHO MOT HOAC TAT CA ================ predictions = predictOneVsAll(all_theta, X); fprintf('\nHuan luyen tap Set chinh xac: %f\n', mean(double(predictions == y)) * 100); Hình 3.2 Hình tập liệu mẫu huấn luyện 44 3.2 Kiểm tra thử nghiệm Chương trình chạy thử nghiệm máy laptop Toshiba Satellite C640, CPU Intel Core I3 M370 (2,4 GHz), Ram 2GB Mã (code) chương trình nhận dạng chữ số viết tay mô tả công cụ lập trình Matlab sau: %% MANG NORON %% KHOI TAO clear ; close all; clc %% THIET LAP THONG SO CHO inputLayerSize = 400; % hiddenLayerSize = 25; % numberOfLabels = 10; MANG NORON 20x20 Anh vao cua so 25 Don vi an % Nhan tu den 10 % (Luu y so "0" co nhan la 10) %% ===========TAI DU LIEU VA HINH DUNG DU LIEU ============= % Tai du lieu huan luyen fprintf('Loading and Visualizing Data \n') load('inputTrainingSetOf5000HandwrittenDigitsAndLabels.mat'); % Du lieu huan luyen duoc luu mang X, y numberOfTrainingExamples = size(X, 1); % Chon ngau nhieu 100 diem du lieu de hien thi sel = randperm(size(X, 1)); sel = sel(1:100); displayData(X(sel, :)); fprintf('Chuong trinh dung Nhan phim Enter de tiep tuc.\n'); pause; %% ================ Loading Pameters ================ 45 fprintf('\nTai thong so da luu mang noron \n') % Tai so cac bien Theta1 and Theta2 load('Theta1AndTheta2.mat'); % Theta1 co kich thuoc 25 x 401 % Theta2 co kich thuoc 10 x 26 %% ======THUC HIEN DU DOAN CHO HUAN LUYEN MANG NORON ======== % Sau huan luyen bang mang noron, se su dung no de nhan dang cac nhan predictions = predict(Theta1, Theta2, X); fprintf('\nHuan luyen tap Set chinh xac: %f\n', mean(double(predictions == y)) * 100); fprintf('Chuong trinh dung Nhan phim Enter de tiep tuc.\n'); pause; % Du lieu cua mang tai mot thoi diem no du doan % Hoan doi ngau nhien rp = randperm(numberOfTrainingExamples); for i = 1:numberOfTrainingExamples % Display fprintf('\nHien thi hinh\n'); displayData(X(rp(i), :)); predictions = predict(Theta1, Theta2, X(rp(i),:)); fprintf('\nDu doan Mang noron: %d (So %d)\n', predictions, mod(predictions, 10)); % Pause fprintf('Chuong trinh dung Nhan phim Enter de tiep tuc.\n'); pause; end 46 Kết nhận dạng cho số số hiển thị hình 3.3 Hình 3.3 Ảnh kết nhận dạng số số Chương trình thực nghiệm nhận dạng 1.000 lần cho kết nhận dạng 919 mẫu, đạt tỷ lệ 91.9%, kết nhận dạng sai 81 mẫu chiếm tỷ lệ 0.81% Trong 81 mẫu sai nhận dạng sai có số 0, 1, 2, 3, 4, 5, 6, 7, 8, chữ số nhận dạng sai nhiều số 22 lần, số 17 lần, số 10 lần, số nhận dạng sai số lần, số số lần Bảng kết nhận dạng sai xếp theo thứ tự giảm dần từ số lần nhận dạng sai cao thấp sau: Số nhận dạng Số lần nhận dạng sai 22 17 10 3 Chiếm tỷ lệ (%) Hình 3.4 bên hiển thị số bị nhận dạng sai 2,2 1,7 0,8 0,7 0,6 0,4 0,3 0,3 0,1 47 Số nhận dạng sai Số nhận dạng sai Số nhận dạng sai Số nhận dạng sai Số nhận dạng sai Số nhận dạng sai Số nhận dạng sai Hình 3.4 Ảnh minh họa ký tự số nhận dạng bị sai 48 3.3 Kết luận Với kết thực nghiệm cho thấy khả nhận dạng số viết tay mạng nơron cho tỷ lệ 91,9% tỷ lệ nhận dạng sai 8.1% Các trường hợp nhận dạng thường cho kết sai số 4, số 9, số 5, số Trong số có số nhận dạng thành số nhận dạng thành số 2, có số nhận dạng số số minh họa hình 3.4 3.4 Hƣớng phát triển Trước tiên, chương trình nhận dạng cho kết xác tương đối cao, nhiên cịn nhận dạng sai với tỷ lệ 0.8% cần khắc phục hạn chế để nâng cao độ xác cho nhận dạng Cần xây dựng giao diện chương trình phù hợp với người sử dụng Phát triển thêm mặt liệu để chương trình nhận dạng chữ số phiếu ghi nhiều dạng bảng khác Với thuật toán đơn giản mạng nơron hướng nghiên cứu lĩnh vực học máy, đặc biệt hệ thống nhận dạng đa số sử dụng mạng nơron 49 TÀI LIỆU THAM KHẢO Tiếng Việt: [1] Nguyễn Thanh Hải, Giáo trình xử lý ảnh, Trường Đại học Sư phạm Kỹ thuật Thành Phố Hồ Chí Minh, 2014 [2] Hoàng Hữu Việt, Bài giảng nhận dạng mẫu, Khoa CNTT Trường Đại học Vinh, 2016 [3] Lê Thị Thu Hằng, Nghiên cứu mạng neural tính chập ứng dụng cho toán nhận dạng biển số xe, Luận văn thạc sĩ Trường Đại học công nghệ Đại học Quốc gia Hà Nội, 2016 [4] Lê Thanh Trúc, Nhận dạng điểm số viết tay phục vụ công tác lên điểm Phịng Đào tạo Trường Đại học Tây Đơ, Luận văn thạc sĩ Trường Đại học Cần Thơ, 2013 [5] Trần Văn Nam, nhận dạng ký tự mạng neural lan truyền ngược, tạp chí khoa học Trường Đại học Trà Vinh, Số 14, tháng 6/2014 [6] Đỗ Thanh Nghị Phạm Nguyên Khang, nhận dạng ký tự số viết tay giải thuật máy học, Tạp chí Khoa học Trường Đại học Cần Thơ, 2013 Tiếng Anh: [1] http://neuralnetworksanddeeplearning.com/chap6.html [2] http://deeplearning.stanford.edu/wiki/index.php/Feature extraction_using_convolution [3] https://ongxuanhong.wordpress.com/2015/12/29/convolutionalneural-networks-la-gi/ ... tượng phạm vi nghiên cứu 3.1 Đối tƣợng 3.1.1 Nghiên cứu lý thuyết Nghiên cứu nhận dạng quang học, cụ thể nhận dạng chữ số viết tay Nghiên cứu nhận dạng mẫu, nghiên cứu mạng nơron mạng nơron tích... 8, chữ số nhận dạng sai nhiều số 22 lần, số 17 lần, số 10 lần, số nhận dạng sai số lần, số số lần Bảng kết nhận dạng sai xếp theo thứ tự giảm dần từ số lần nhận dạng sai cao thấp sau: Số nhận dạng. .. tỷ lệ 91,9% tỷ lệ nhận dạng sai 8.1% Các trường hợp nhận dạng thường cho kết sai số 4, số 9, số 5, số Trong số có số nhận dạng thành số nhận dạng thành số 2, có số nhận dạng số số minh họa hình