Ứng dụng mạng noron nhận dạng chữ viết

Mục lục ọc viên: Lê Minh Đức Luận văn tốt nghiệp cao học -I- Mục lục ọc viên: Lê Minh Đức Luận văn tốt nghiệp cao học -II- Mục lục Học viên: Lê Minh Đức Luận văn tốt nghiệp cao học -III- Mục lục Luận văn tốt nghiệp cao học LỜI CAM ĐOAN Tôi xin cam đoan: Luận văn công trình nghiên cứu thực cá nhân, thực hướng dẫn khoa học Tiến sĩ Nguyễn Vĩnh An Các số liệu, kết luận nghiên cứu trình bày luận văn trung thực chưa công bố hình thức Tôi xin chịu trách nhiệm nghiên cứu Học viên Lê Minh Đức Học viên: Lê Minh Đức -IV- Mục lục Luận văn tốt nghiệp cao học MỤC LỤC Mục lục I Danh mục hình vẽ IX Danh mục bảng XI Danh mục tiếng anh viết tắt XII Mở đầu Chương I: Tổng quan trình xử lý ảnh nhận dạng mẫu ảnh 1.1 Giới thiệu chung 1.1.1 Xử lý ảnh ứng dụng 1.1.2 Các bước trình nhận dạng xử lý ảnh 1.1.2.1 Xử lý ảnh (Image processing) 1.1.2.2 Nhận dạng mẫu ảnh (Image Patten Recognition) 1.2 Các vấn đề xử lý ảnh 1.2.1 Những khái niệm liên quan 1.2.1.1 Điểm ảnh (pixel element) 1.2.1.2 Độ phân giải ảnh 1.2.1.3 Mức xám ảnh (Gray level) 1.2.1.4 Ảnh số 1.2.1.5 Các mối quan hệ điểm ảnh 1.2.1.6 Biểu đồ sắc thái hình ảnh (Histogram) 1.2.2 Biểu diễn ảnh 10 1.2.2.1 Biểu diễn mã loạt dài 10 1.2.2.2 Biểu diễn mã xích 11 1.2.2.3 Biểu diễn mã tứ phân 11 1.2.3 Nâng cao chất lượng ảnh 12 1.2.3.1 Nâng cao độ tương phản 12 1.2.3.2 Lọc nhiễu 13 1.2.4 Trích chọn đường biên 16 1.2.4.1 Toán tử Gradient 16 Học viên: Lê Minh Đức -V- Mục lục Luận văn tốt nghiệp cao học 1.2.4.2 Kỹ thuật Laplace 19 1.2.4.3 Trích chọn đường biên theo phương pháp Canny 20 1.2.5 Phân vùng ảnh 22 1.2.5.1 Phân vùng dựa vào lấy ngưỡng 23 1.2.5.2 Phân vùng dựa vào đường biên 23 1.2.5.3 Phân vùng dựa theo miền/vùng 24 1.2.6 Nhận dạng ảnh 25 Chương II: Mạng nơron 26 2.1 Giới thiệu chung mạng nơ-ron 26 2.1.1 Mạng nơron sinh học (Biological Neural Network) 26 2.1.2 Mạng nơron nhân tạo (Artificial Neural Network) 28 2.1.2.1 Nơron nhân tạo 28 2.1.2.2 Mạng nơron nhân tạo 28 2.1.3 Lịch sử phát triển mạng nơron nhân tạo 30 2.1.4 Phạm vi ứng dụng mạng nơron 31 2.1.4.1 Các ứng dụng mạng nơron nhân tạo 31 2.1.4.2 Ưu nhược điểm mạng nơron 32 2.2 Mô hình toán học kiến trúc mạng nơron 32 2.2.1 Mô hình toán học nơron (Neuron Model) 32 2.2.1.1 Mô hình toán học 32 2.2.1.2 Hàm hoạt hoá 34 2.2.2 Kiến trúc mạng nơron (Network Architecture) 34 2.2.2.1 Kiến trúc mạng lớp 35 2.2.2.2 Kiến trúc mạng đa lớp 37 2.2.2.3 Kiến trúc mạng hồi qui 39 2.2.2.4 Kiến trúc mạng truyền thẳng : 37 2.2.2.5 Kiến trúc mạng tự tổ chức : 39 2.2.3 Một số loại mạng nơron nhân tạo 41 2.3 Sử dụng mạng nơron nhân tạo 41 Học viên: Lê Minh Đức -VI- Mục lục Luận văn tốt nghiệp cao học 2.3.1 Hoạt động mạng nơron 41 2.3.2 Huấn luyện mạng (Training) : 42 2.3.2.1 Huấn luyện không giám sát Huấn luyện giám sát : 43 2.3.2.2 Huấn luyện giám sát 42 2.3.3 Một số luật học 44 2.3.3.1 Luật học Perceptron 44 2.3.3.2 Luật học Hebbian 44 2.3.3.3 Luật học lan truyền ngược (back-propagation): 45 2.3.3.4 Luật học cạnh tranh (competitive rule): 45 2.4 Nhận dạng với mạng nơron 46 2.4.1 Mạng Perceptron 46 2.4.1.1 Kiến trúc mạng 46 2.4.1.2 Huấn luyện mạng 47 2.4.1.3 Khả ứng dụng cho nhận dạng ảnh 50 2.4.2 Mạng Perceptron đa lớp 51 2.4.2.1 Kiến trúc mạng 51 2.4.2.2 Huấn luyện mạng 52 2.4.2.3 Khả ứng dụng cho nhận dạng ảnh 57 Chương III: Chương trình nhận dạng mẫu ảnh xử dụng mạng nơron 60 3.1 Giới thiệu 60 3.2 Chương trình nhận dạng kí tự 62 3.2.1 Xử lý liệu (phân tích ảnh) 62 3.2.1.1 Thu nhận tiền xử lý ảnh 62 3.2.1.2 Chỉnh góc nghiêng 63 3.2.1.3 Tách dòng kí tự 64 3.2.1.4 Tách kí tự 65 3.2.1.5 Tìm giới hạn kí tự 66 3.2.2 Chuẩn hóa mẫu ảnh nhận dạng 67 3.2.3 Xây dựng mạng nơron nhận dạng kí tự 68 Học viên: Lê Minh Đức -VII- Mục lục Luận văn tốt nghiệp cao học 3.2.3.1 Cấu hình mạng nơron 68 3.2.3.2 Tạo tập ký tự mẫu phương pháp huấn luyện mạng 70 3.2.3.3 Nhận dạng kí tự 72 3.3 Chương trình mô thực nghiệm 74 3.3.1 Các chức chương trình 74 3.3.2 Thực nghiệm 75 3.3.2.1 Thực nghiệm trình tính giá trị số tham số đầu vào 75 3.3.2.2 Thực nghiệm huấn luyện mạng 77 3.3.3 Kết nhận dạng 79 3.3.4 Kết luận chương 82 Kết luận: 84 Tài liệu tham khảo: 86 Học viên: Lê Minh Đức -VIII- Mục lục Luận văn tốt nghiệp cao học DANH MỤC HÌNH VẼ Hình 1-1 Quá trình xử lý ảnh Hình 1-2 Các giai đoạn xử lý ảnh Hình 1-3 Ví dụ ảnh số 2D Hình 1-4 Ví dụ ảnh đen trắng Hình 1-5 Ví dụ ảnh xám Hình 1-6 Ví dụ ảnh màu Hình 1-7 Lân cận điểm ảnh Hình 1-8 Minh họa biểu đồ histogram 10 Hình 1-9 Minh họa ảnh biểu diễn mã loạt dài 11 Hình 1-10 Minh họa biểu diễn mã xích 11 Hình 1-11 Ví dụ tăng độ tương phản ảnh 13 Hình 1-12 Ví dụ lọc nhiễu lọc trung vị 15 Hình 1-13 Sơ đồ khối lọc đồng hình 16 Hình 1-14 Mặt nạ hướng 18 Hình 1-15 Ví dụ trích chọn đường biên sử dụng kỹ thuật Gradient 19 Hình 1-16 Biên ảnh theo phương pháp Canny 22 Hình 2-1 Cấu tạo tế bào thần kinh sinh học(nơron) 27 Hình 2-2 Mô hình nơron nhân tạo 28 Hình 2-3 Cấu hình mạng nơron nhân tạo 29 Hình 2-4 Mô hình toán học nơron nhân tạo 33 Hình 2-5 Nơron đầu vào với hàm hoạt hóa hàm Hardlimit 34 Hình 2-6 Kiến trúc mạng lớp 35 Hình 2-7 Kiến trúc mạng truyền thẳng điển hình 39 Hình 2-8 Khối trễ 38 Hình 2-9 Kiến trúc mạng hồi quy Elman 38 Hình 2-10 Liên kết bên 40 Hình 2-11 Kiến trúc mạng Kohonen 41 Hình 2-12 Huấn luyện giám sát 43 Học viên: Lê Minh Đức -IX- Mục lục Luận văn tốt nghiệp cao học Hình 2-13 Kiến trúc mạng Perceptron 46 Hình 2-14 Biên định không gian mẫu 48 Hình 2-15 Không gian mẫu khả tách tuyến tính 49 Hình 2-16 Không gian mẫu không khả tách tuyến tính 50 Hình 2-17 Phân tách không gian mẫu với mạng Perceptron nơron lớp 50 Hình 2-18 Mạng Perceptron đa lớp 51 Hình 2-19 Mạng MLP giải toán hàm XOR Minsky Papert 52 Hình 2-20 Phân lớp mẫu với mạng MLP lớp 58 Hình 3-1 Tiến trình xử lý ảnh trước đưa nhận dạng 61 Hình 3-2 Minh họa biến đổi Hough phát góc nghiêng 64 Hình 3-3 Quá trình tách dòng kí tự 65 Hình 3-4 Quá trình tách kí tự 66 Hình 3-5 Tìm giới hạn kí tự 67 Hình 3-6 Sơ đồ mạng neural thiết kế 69 Hình 3-7 Mẫu kí tự font Arial 70 Hình 3-8 Mẫu kí tự font Tahoma 70 Hình 3-9 Mẫu kí tự font Times new roman 71 Hình 3-10 Lưu đồ trình huấn luyện mạng nơron 72 Hình 3-11 Lưu đồ nhận dạng kí tự 73 Hình 3-12 Giao diện chương trình nhận dạng mẫu ảnh sử 74 Hình 3-13: Ảnh đầu vào dùng để huấn luyện 78 Hình 3-14 File đầu mong muốn 78 Hình 3-15 : Kết sau huấn luyện 79 Hình 3-16 Ảnh đầu vào font Arial 80 Hình 3-17 Kết nhận dạng mẫu ảnh font Arial 80 Hình 3-18 Ảnh đầu vào font Tahoma 81 Hình 3-19 Kết nhận dạng mẫu ảnh font Tahoma 81 Hình 3-20 Ảnh đầu vào font Times new roman 81 Hình 3-21 Kết nhận dạng mẫu ảnh font Times new roman 82 Học viên: Lê Minh Đức -X- Chương3: Xây dựng chương trình nhận dạng • Luận văn tốt nghiệp cao học Chuyển đầu nhị phân Unicode thành ký tự tương ứng biểu diễn textbox - Lưu đồ BẮT ĐẦU Phân tích dòng ảnh Dòng Ánh xạ kí tự tới vector Tính toán đầu Chuyển từ Unicode sang kí tự Hết kí tự dòng ? S Kí tự Đ Hết Các dòng ? Dòng S Đ KẾT THÚC Hình 3-11 Lưu đồ nhận dạng kí tự Học viên: Lê Minh Đức - 73 - Chương3: Xây dựng chương trình nhận dạng Luận văn tốt nghiệp cao học 3.3 Chương trình mô thực nghiệm 3.3.1 Các chức chương trình Hình 3-12 Giao diện chương trình nhận dạng mẫu ảnh sử dụng mạng nơron • Ảnh đầu vào: Hiển thị ảnh kí tự cần nhận dạng • Ký tự phát hiện: Hiển thị ảnh kí tự sau tách • Ma trận phân tích: Hiển thi ảnh kí tự sau tách lưới • Số lần lặp tối đa.: Số lần lặp huấn luyện mạng • Số kí tự mẫu huấn luyện • Số lỗi: Số lỗi sau trình nhận dạng • Kết nhận dạng: Hiển thị kết nhận dạng textbox • Mã Hex: Hiển thị mã hexa kí tự • Mã Binary: Hiển thị mã nhị phân kí tự • Kết quả: Hiển thị kí tự nhận dạng • Mở ảnh: Tải mẫu ảnh cần nhận dạng Học viên: Lê Minh Đức - 74 - Chương3: Xây dựng chương trình nhận dạng Luận văn tốt nghiệp cao học • Chụp ảnh: Chụp ảnh để lấy mẫu ảnh nhận dạng • Xử lý ảnh: Xử lý mẫu ảnh trước nhận dạng • Nhận dạng kí tự • Nhận dạng: Nhận dạng toàn kí tự mẫu ảnh • Tải mạng: Tải tập huấn luyện để đưa mạng nơron • Huấn luyện: Huấn luyện mạng • Lưu mạng: Lưu kết sau huấn luyện thành file *.ann để đưa mạng nơron nhận dạng • Lưu đầu ra: Lưu kết sau nhận dạng thành file *.text • Kết thúc: Thoát chương trình 3.3.2 Thực nghiệm 3.3.2.1 Thực nghiệm trình tính giá trị số tham số đầu vào - Thực nghiệm tính số lần lặp lại Quá trình tăng số lần lặp có sinh quan hệ tỷ lệ rõ ràng mạng Tuy nhiên trường hợp cụ thể việc tăng số lần lặp có số hiệu ứng bất lợi nhiều số đưa vào dẫn đến nhận dạng sai Nó giới hạn tối ưu mở rộng việc cập nhật kết trọng số trạng thái vòng tối ưu Với việc tăng lặp lặp lại mạng thử lại tới trạng thái mong muốn tiếp tục quay lại Vì cần có số lần lặp tối ưu với lỗi chấp nhận Các giá trị khác số kí tự=124, tốc độ học=150, Sigmoid slope=0.014 Bảng 3.1 : Thực nghiệm tìm số lần lặp 300 Kiểu font Số kí tự lỗi 600 % lỗi Số kí tự lỗi 1500 % lỗi Số kí tự lỗi % lỗi Arial 5.6 2.4 1.11 Tahoma 4.85 1.6 0 Time NewRoman 2.5 0 Giá trị định cho số lần lặp 300 mạng neural có đặc trưng chấp nhận sai xót sử dụng số lần lặp lớn với số Học viên: Lê Minh Đức - 75 - Chương3: Xây dựng chương trình nhận dạng Luận văn tốt nghiệp cao học lượng neural lớn tập huấn luyện lớn ta cần nhiều thời gian cho việc huấn luyện dẫn đến tốn chi phí huấn luyện - Thực nghiệm tìm đầu vào (số kí tự đưa vào) Kích thước trạng thái đầu vào ảnh hưởng tới trình thực thi Nó tự nhiên, nhiều giá trị kí tự đầu vào thiết lập mạng phụ thuộc vào trình huấn luyện dễ bị mắc lỗi Thông thường phức tạp tập hợp đầu vào lớn cần mô hình mạng lớn với nhiều số lần lặp lại Các giá trị khác:số lần lặp = 300, tốc độ học = 150, Hệ số góc Sigmoid = 0.014 Bảng 3.2 : Thực nghiệm tìm số kí tự 50 Kiểu font Arial Tahoma Time New Roman Số kí tự lỗi 0 90 0 Số kí tự lỗi 2 % lỗi 124 0.044 0.022 Số kí tự lỗi 0.048 0.032 0.022 0.032 % lỗi % lỗi Giá trị định cho số kí tự đưa vào 90 với số lượng 90 ký tự tương đối đủ cho số lượng kí tự thông thường sử dụng gồm chữ hoa, chữ thường, chữ số dấu… - Thực nghiệm tìm tham số tốc độ học Sự thay đổi tham số tốc độ học ảnh hưởng tới thi hành mạng cho số lần lặp định sẵn Giảm giá trị tham số này, mạng cập nhật lại trọng số Nó làm giảm khả học khó cập nhật liên kết chậm hơn, tăng số lần lặp để đạt giá trị tối ưu Vì cần giá trị tối ưu cho thi hành mạng Theo kết bảng 3.3, giá trị tối ưu định cho tham số tốc độ học 150 sử dụng giá trị 50 hay 100 mạng học lâu độ xác không cao giá trị khác cho kết tương tự Các giá trị khác: số kí tự = 124, số lần lặp = 300, Hệ số góc Sigmoid=0.014 Học viên: Lê Minh Đức - 76 - Chương3: Xây dựng chương trình nhận dạng Luận văn tốt nghiệp cao học Bảng 3.3: Thực nghiệm tìm tốc độ học 50 100 150 Kiểu font Số kt lỗi % lỗi Số kt lỗi % lỗi Số kt lỗi % lỗi Arial 82 91.11 18 20 3.33 Tahoma 56 62.22 11 12.22 1.11 Time NewRoman 77 85.56 15 16.67 0 3.3.2.2 Thực nghiệm huấn luyện mạng Như biết có nhiều yếu tố ảnh hưởng tới trình huấn luyện mạng là: đa dạng đầu vào: kích thước , phong cách… Một điều cần thiết chuẩn bị trình tự ảnh kí tự đầu vào file ảnh đơn giản (*.bmp [bitmap] mở rộng), tương ứng với kí tự file văn (*.cts [character trainer set] mở rộng) lưư trữ hai file thư mục (cả hai file tên khác phần mở rộng) Ứng dụng cung cấp cho người dùng hộp thoại lựa chọn đường dẫn tới vị trí file văn *.cts đưa file ảnh tương ứng với Trong luận văn số tham số lựa chọn sau: Tốc độ học = 150 Hệ số góc Sigmoid = 0.014 Trọng số kết nối sở = 30 Số lần lại 300-600 tùy độ phức tạp loại font Trung bình ngưỡng lỗi = 0.0002 Học viên: Lê Minh Đức - 77 - Chương3: Xây dựng chương trình nhận dạng Luận văn tốt nghiệp cao học Mẫu dùng trình thực nghiệm huấn luyện: Ảnh đầu vào: Hình 3-13: Ảnh đầu vào dùng để huấn luyện Đầu mong muốn: ABCDEFGHIJKLMNOPQRSTUVWXYZ abcdefghijkImnopqrstuvwxyz 0123456789 ~!@#$%^&*()-+=\{}[]:';,./? ABCDEFGHIJKLMNOPQRSTUVWXYZ abcdefghijkImnopqrstuvwxyz 0123456789 ~!@#$%^&*()-+=\{}[]:';,./? Hình 3-14 File đầu mong muốn Kết huấn luyện: Sau huấn luyện xong lưu lại kết vào thư mục “Network” với *.ann để nhận dạng ta đưa giá trị vào mạng nơron Dưới hình 3-15 ví dụ giá trị trọng số file sau huấn luyện Học viên: Lê Minh Đức - 78 - Chương3: Xây dựng chương trình nhận dạng Luận văn tốt nghiệp cao học OCR ANN Weight values – Network Name = Latin Arial Hidden Layer Size = 250 Number of Patterns= 180 Number of Epochs = 300 Learning Rate = 150 Sigmoid Slope = 0.014 Weight Bias = 30 Weight[1 , , 0] = 88.89536 Weight[1 , , 1] = 107.0689 Weight[1 , , 2] = -75.75874 Weight[2 , 15 , 247] = 27.81977 Weight[2 , 15 , 248] = 6.722812 Weight[2 , 15 , 249] = 15.51853 Hình 3-15 : Kết sau huấn luyện Bảng 3.4: Thống kê kết huấn luyện: Loại font Số kí tự huấn luyện Số kí tự lỗi %lỗi Arial 90 6.6 Tahoma 90 5.5 Times new roman 90 3.3 Ghi 3.3.3 Kết nhận dạng Để nhận dạng mẫu ảnh ta huấn luyện mạng cách nhấn nút “Tải tập huấn luyện” để tải tập huấn luyện từ file tạo sẵn *.cts có font tương ứng với font mẫu ảnh cần nhận dạng, sau nhấn nút “Huấn luyện” để huấn luyện mạng nhấn nút “Tải mạng” tải file *.ann tạo sẵn Quá trình huấn luyện hoàn thành, thực nhận dạng kí tự cách nhấn nút “Mở ảnh” để tải ảnh cần nhận dạng chụp ảnh cần nhận dạng từ webcam, sau nhấn nút “Xử lý ảnh” để xử lí liệu ảnh Chúng ta nhấn nút “Nhận dạng ký tự” để nhận dạng kí tự nhấn nút “Nhận dạng” để nhận dạng toàn kí tự ảnh Khi kí tự hiển thị lưới kích Học viên: Lê Minh Đức - 79 - Chương3: Xây dựng ng chương ch trình nhận dạng Luận văn tốt ốt nghi nghiệp cao học thước 20*30 toàn bộộ kí tự t nhận dạng hiển thị khung “K Kết quả” Chúng ta lưu kết nhận ận dạng d cách nhấn nút “Lưu đầu ra” Một số kết quảả minh họa: h - Ảnh đầu vào font Arial : Ảnh bình thường Ảnh Nghiêng Hình 3-16 Ảnh đầu vào font Arial Hình 17 Kết nhận dạng mẫu ảnh font Arial - Ảnh đầu vào font Tahoma : Khi ảnh đầu vào bình thường th nghiêng, cho ta kết quảả hình 3-19: Học viên: Lê Minh Đức ức - 80 - Chương3: Xây dựng ng chương ch trình nhận dạng Luận văn tốt ốt nghi nghiệp cao học Hình 3-18 Ảnh đầu vào font Tahoma Hình 3-19 Kết nhận dạng mẫu ảnh font Tahoma - Ảnh đầu vào font Times new roman: Khi ảnh đầu vào bình th thường nghiêng, cho ta kết quảả hình 3-21: Hình 3-20 Ảnh đầu vào font Times new roman Học viên: Lê Minh Đức ức - 81 - Chương3: Xây dựng chương trình nhận dạng Luận văn tốt nghiệp cao học Hình 3-21 Kết nhận dạng mẫu ảnh font Times new roman 3.3.4 Kết luận chương Chương trình thực nghiệm huấn luyện nhận dạng ba loại font : Arial, Tahoma Times new roman đạt kết tốt, số tồn cần phát triển để đạt kết cao Đối với trình huấn luyện ta cần ý nhiều vào font Arial đặc biệt chữ “I_Hoa” chữ “l_Thường ” tách kí tự, chia lưới đưa kết vào mạng làm cho mạng không phân biệt hai kí tự dẫn đến sau nhận dạng sai Phương pháp cần tăng số lần lặp cho trình huấn luyện Ngoài số trường hợp ảnh hai kí tự nằm chéo số trường hợp sau: AV fa LT LV … Nó dẫn đến trình tách kí tự bị dính nhận dạng sai Đối với trường hợp ta cần phát triển phương pháp tách để tách kí tự Học viên: Lê Minh Đức - 82 - Chương3: Xây dựng chương trình nhận dạng Luận văn tốt nghiệp cao học Chương trình nhận dạng với độ xác cao Nếu ký tự nhận dạng chưa xác, ta thêm mẫu huấn luyện lại cho ký tự đến nhận dạng ký tự xác Ðể nhận dạng nhiều kiểu font khác tập mẫu huấn luyện cho ký tự phải có nhiều dạng phong phú, tưong ứng với cách font mà người sử dụng muốn nhận dạng Tóm lại, giải toán phải đáp ứng yêu cầu: - Giải phức tạp việc xử lý liệu đầu vào - Giải việc xử lý khối lượng liệu lớn - Giải độ chuẩn xác trình nhận dạng - Giải mức độ tổng quát, đa dạng, phong phú trình xây dựng huấn luyện mạng để đạt độ xác cao nhận dạng Học viên: Lê Minh Đức - 83 - Kết luận Luận văn tốt nghiệp cao học KẾT LUẬN Mặc dù nghiên cứu phôi thai lý thuyết mạng nơron năm 40 kỷ XX, vài thập niên trở lại thực có ứng dụng quan trọng mang đến nhiều hứa hẹn hệ máy thông minh Chính vậy, riêng cá nhân tôi, điều mẻ - môn lý thuyết tương lai Điều thúc đẩy vừa thực nghiên cứu lý thuyết vừa cố gắng cài đặt phần mềm thử nghiệm với hy vọng nắm gọi khoảng thời gian thực luận văn Theo gợi ý thầy giáo hướng dẫn, lựa chọn đề tài: "Ứng dụng mạng Nơron nhận dạng chữ viết " Sau thời gian nghiên cứu, kết mà đạt chưa đạt tổng kết lại sau: - Về mặt lý thuyết Nắm khái niệm thành phần kiểu kiến trúc mạng nơron, phân biệt số loại mạng nơron Nắm ý nghĩa việc học hay tích lũy, có vai trò to lớn quy tắc học, mô hình học thuật toán học nhiều khả ứng dụng khác Tìm hiểu ứng dụng mạng nơron thực tế Nắm kiến thức mô hình mạng nơron Perceptron đa lớp cách xây dựng mô hình mạng nơron thực tế Nắm quy trình chung xây dựng hệ thống nhận dạng mẫu ảnh sử dụng mạng nơron Vận dụng mạng nơron Perceptron đa lớp để xây dựng mô chương trình nhận dạng chữ viết Ngoài ra, việc xây dựng phần mềm thử nghiệm cho phép tôi: • Kiểm nghiệm kiến thức lý thuyết thu nhận • Có nhìn rõ nét kỹ thuật ứng dụng lý thuyết vào thực tế Học viên: Lê Minh Đức - 84 - Kết luận Luận văn tốt nghiệp cao học • Bên cạnh đó, nâng cao kỹ phân tích, thiết kế lập trình việc giải toán cụ thể - Về mặt thực tiễn Đưa phương pháp xử lý với chữ viết, xây dựng thành công hệ thống nhận dạng chữ viết sử dụng mô hình mạng nơron Perceptron đa lớp Góp phần giải toán dang dở Tuy biết điều thu nhận phần nhỏ nghành nghiên cứu lớn, song tự nhận thấy gặt hái thành công dịnh giai doạn nghiên cứu để phục vụ cho mục đích nghiên cứu sau - Hướng phát triển Bên cạnh kết đạt được, có vấn đề chưa đề cập, giải luận văn Trong thời gian tới, tiếp tục nghiên cứu hoàn thiện đề tài với mục tiêu đặt sau: Nâng cao hiệu độ xác hệ thống nhận dạng chữ viết Xây dựng hệ thống nhận dạng chữ viết tay tiếng Việt sử dụng mạng nơron - Một vài suy nghĩ sau nghiên cứu Trong bối cảnh nay, mà nghiên cứu chuyển sang hướng xây dựng hệ thống thông minh, mạng noron lên giải pháp đầy hứa hẹn Nó thể ưu diểm bật so với hệ thống khác khả mềm dẻo, linh hoạt tính toán thô, điểm khác biệt quan trọng óc người với máy thông minh nhân tạo Nhưng mà đòi hỏi dộ phức tạp cao thiết kế cài đặt hệ thống ứng dụng để đạt tính tốt Khả cải thiện không ngừng tương lai với phát triển mạch tích hợp phần cứng cỡ lớn nhớ ngày lớn cho phần mềm máy tính Chính mà mạng noron coi "kỹ thuật kỷ 21" Học viên: Lê Minh Đức - 85 - Tài liệu tham khảo Luận văn tốt nghiệp cao học TÀI LIỆU THAM KHẢO Tài liệu tham khảo tiếng việt: Lương Mạnh Bá, Nguyễn Thanh Thủy (1999), Nhập môn xử lý ảnh số, Nhà xuất Khoa học kỹ thuật, Hà nội Nguyễn Vĩnh An (2013), Xử lý ảnh số, Nhà xuất Đại học Quốc Gia Hà Nội Lê Dũng (2011), Bài giảng môn Nhận dạng mẫu ảnh sử dụng mạng nơron, Lớp cao học 11BKTĐT.KH, Trường Đại học Bách Khoa Hà Nội Nguyễn Tiến Dũng (2011), Bài giảng môn Xử lý ảnh số, Lớp cao học 11BKTTT.KH, Trường Đại học Bách Khoa Hà Nội Đỗ Năng Toàn, Phạm Việt Bình (2007), Giáo trình môn xử lý ảnh, Đại học Thái Nguyên Tài liệu tham khảo tiếng anh: Anand Venkataraman, The Backpropagation Algorith http://www.speech.sri.com/people/anand/771/html/node37.html Bernd Jahne (1995), Digital Image Processing, Spring Verlag Bishop, C.M (1995), Neural Networks for Pattern Recognition, Oxford University Press Bob Mitchell, Artificial Neural Network Handwriting Recognizer http://members.aol.com/Trane64/java/JRec.html 10 Daniel Klerfors (1998), Artificial Neural Networks, Saint Louis University 11 LeCul, Y., Bottou, L., Bengio, Y., Haffner, (1998), Gradient – based learning applied to document reconition, Proceedings of the IEEE, vol 86 12 Martin T Hagan, Howard B Demuth, Mark Beale (1996), Neural Network Design, Thomson Learning 12 http://msdn.microsoft.com/en-us/library/system.drawing.bitmap.aspx 13 http://msdn.microsoft.com/en-us/library/gg145023.aspx Học viên: Lê Minh Đức - 86 - Tài liệu tham khảo Luận văn tốt nghiệp cao học 14 http://en.wikipedia.org/wiki/Hough_transform 15 http://www.codeproject.com/ Học viên: Lê Minh Đức - 87 - [...]... loại thư tín, thư viện, + Nhận dạng biển số xe: trông giữ xe tự động, theo dõi an ninh, + Nhận dạng chữ ký điện tử: sử dụng trong các giao dịch điện tử + Chấm thi trắc nghiệm, thống kê tự động các phiếu điều tra + Nhận dạng chữ viết: sử dụng trên các thiết bị cảm ứng Do vậy, nên tôi đã lựa chọn đề tài: Ứng dụng mạng Nơron nhận dạng chữ viết Việc nghiên cứu một giải pháp nhận dạng ký tự tự động là thực... văn tốt nghiệp cao học ảnh và nhận dạng ảnh Chương 2: Mạng nơron Trình bày khái quát về mạng nơron nhân tạo, mô hình mạng nơron nhân tạo, sử dụng mạng nơron nhân tạo, nhận dạng với mạng nơron Perceptron Chương 3: Mô phỏng chương trình nhận dạng chữ viết sử dụng mạng nơron Trình bày khái quát về xử lí ảnh kí tự, xây dựng và huấn luyện mạng nơron, nhận dạng kí tự sử dụng mạng Perceptron đa lớp Trong khuôn... dạng chữ in bằng tay, chữ thảo bằng tay, vẫn còn là một đề tài của các nghiên cứu Giải pháp thường được sử dụng phổ biến cho bài toán nhận dạng ký tự này là sử dụng các kỹ thuật liên quan đến xử lý ảnh như: dãy điểm đặc trưng, phân tích đường biên, phân tích đường trơn, sơ đồ hình chiếu, đối sánh mẫu,… hoặc kết hợp sử dụng mạng noron truyền thẳng trong việc quyết định nhận dạng Tuy nhiên, mang noron. .. thường những ký tự này sẽ được ghi nhận lại dưới dạng hình ảnh (ảnh số) bằng các thiết bị chụp ảnh (ví dụ: biển số xe), quét ảnh (ví dụ: tài liệu in trên giấy, chữ viết tay, ) Bằng chương trình máy tính các ký tự này sẽ được nhận dạng một cách tự động từ các hình ảnh thu nhận được Thực tế cho thấy rằng nhận dạng ký tự là một bài toán quan trọng, cốt lõi của rất nhiều các ứng dụng trong thực tiễn như: + Số... cao trong thực tiễn Nghiên cứu trích chọn đặc trưng của ký tự và áp dụng mạng noron để nhận dạng ký tự Kết quả nghiên cứu có thể tiếp tục phát triển thành một module lõi khi tiến hành giải quyết các bài toán ứng dụng thực tiễn như ở trên Ngoài ra, giải pháp đưa ra cũng phấn đấu để đạt được một số kết quả nhất định đối với dạng chữ viết tay Tuy nhiên do hạn chế về mặt thời gian, cũng như độ phức tạp... việc nhận dạng ta phải lưu lại kết quả huấn luyện của từng ký tự, điều này làm cho tốc độ xử lý của chương trình chậm hơn và đặc biệt không hiệu quả khi các mẫu ký tự đầu vào thực sự hết sức đa dạng Việc thực hiện thu nhận thông tin dạng ký tự có thể thực hiện theo 2 cách: thủ công và tự động hóa Phương pháp thủ công mất nhiều thời gian, công sức, do vậy người ta mong muốn sử dụng phương pháp nhận dạng. .. Luận văn tốt nghiệp cao học CHƯƠNG I TỔNG QUAN QUÁ TRÌNH XỬ LÝ ẢNH TRONG NHẬN DẠNG MẪU ẢNH 1.1 Giới thiệu chung 1.1.1 Xử lý ảnh và ứng dụng Xử lý ảnh là ngành khoa học nghiên cứu các quá trính xử lý thông tin dạng hình ảnh (một dạng thông tin phong phú nhất đối với con người) Xử lý ảnh là một trong những lĩnh vực có nhiều ứng dụng trong thực tiễn như: - Nén và mã hóa ảnh, xử lý ảnh động … trong truyền... đề tài: Mạng nơron nhân tạo (Artificial Neural Network: ANN) là sự tái tạo bằng kỹ thuật những chức năng của hệ thần kinh cin người với vô số các nơron được liên kết truyền thông tin với nhau qua mạng Giống như con người, ANNs được học bởi kinh nghiệm, lưu những kinh nghiệm đó và sử dụng trong những tình huống phù hợp Trong kỹ thuật nhận dạng ký tự, các phương pháp ra quyết định trong nhận dạng truyền... trình mô phỏng nhận dạng ký tự chữ in với một số font cơ bản Arial, Tahoma, Times new Romann, Vntime sử dụng mạng nơron Perceptron đa lớp - Bố cục luận văn: Luận văn đuợc trình bày trong 3 chương, có phần mở đầu, phần kết luận, phần mục lục, phần tài liệu tham khảo Các nội dung cơ bản của luận văn được trình bày theo cấu trúc như sau: Chương 1: Tổng quan quá trình xử lý ảnh trong nhận dạng ảnh Trình... mạng nơron, chỉ cần cung cấp một tập mẫu vào ra của dữ liệu mới cho pha huấn luyện là có thể bổ sung vào “bộ nhớ mạng những kiểu dữ liệu mới mà không ảnh hưởng đến cấu trúc chương trình ban đầu Thực tế hiện nay thì bài toán nhận dạng ký tự quang (ký tự in) đã được thực hiện khá thành công và đã có nhiều sản phẩm thương mại trên thị trường Ví dụ như phần mềm VnDOCR, VietOCR,… Tuy nhiên, việc nhận dạng