Nghiên cứu ứng dụng mạng nơron trong nhận dạng chữ viết tay trực tuyến
MỤC LỤC
Giới thiệu
Nơron
Một xung (hoặc điện thế hoạt động) với cường độ mạnh và thời gian tồn tại cố định sẽ được gửi ra ngoài thông qua axon tới phần nhánh của nơron đó, rồi tới các chỗ nối synapte của các nơron khác. Có thể nói rằng người nào học càng giỏi thì càng có nhiều synapses và các synapses ấy càng mạnh mẽ, hay nói cách khác, thì liên kết giữa các nơron càng nhiều, càng nhạy bén.
Chức năng, tổ chức và hoạt động của bộ não con người a) Chức năng
Mặc dù mỗi nơron (có thể xem như phần tử xử lý hay phần tử tính) có tốc độ rất chậm so với tốc độ các cổng logic silicon trong các vi chip 10-3 giây so với 10-10 giây, nhưng do mỗi nơron liên kết với khoảng 104 nơron khác, cho nên, khi hoạt động thì bộ não hoạt động một cách tổng lực và đạt hiệu quả cao. Nó có khả năng tự tổ chức các bộ phận cấu thành của nó, như là các tế bào thần kinh (neuron) hay các khớp nối thần kinh (synapse), nhằm thực hiện một số tính toán như nhận dạng mẫu và điều khiển vận động nhanh hơn nhiều lần các máy tính nhanh nhất hiện nay.
So sánh mạng nơron với máy tính truyền thống
Có những nhiệm vụ thích hợp hơn với máy tính truyền thống, ngược lại có những nhiệm vụ lại thích hợp hơn với các mạng nơron. Thậm chí rất nhiều nhiệm vụ đòi hỏi các hệ thống sử dụng tổ hợp cả hai cách tiếp cận để thực hiện được hiệu quả cao nhất.
Nơron nhân tạo
Các mạng nơron nhân tạo (Artificial neural networks – ANN), cũng còn được gọi là “Các hệ thống xử lý song song phân bố” (Parallel distribute processing systems), là một hệ thống bao gồm nhiều phần tử xử lý đơn giản (hay còn gọi là nơron) tựa như nơron thần kinh của não người. Hay nói một cách khác, các trọng số đều được điều chỉnh sao cho quan hệ vào ra của mạng sẽ mô phỏng hoàn toàn phù hợp với môi trường đang xem xét.
![Hình 1.4 Sự tương đương giữa nơron sinh học và nơron nhân tạo[16]](https://media.store123doc.com/figures/004/160/hinh-tuong-duong-noron-hoc-noron-nhan-tao-4160427.webp)
Đặc trưng của mạng nơron[5]
Sự tích luỹ của mạng được lặp lại với nhiều ví dụ trong tập hợp cho tới khi mạng đạt tới một trạng thái ổn định mà ở đó không có một sự thay đổi đáng kể nào của các trọng số liên kết. Đặc biệt, một mạng nơron đã được tích luỹ để hoạt động trong một môi trường xác định có thể được tích luỹ lại một cách dễ dàng khi có những thay đổi nhỏ của các điều kiện môi trường.
Phân loại mạng nơron nhân tạo
Phân loại theo kiểu liên kết nơron
Mạng được gọi là “đơn mức” tức là chỉ có một mức, chính là mức đầu ra gồm các nút tính toán (các nơron). Chúng ta không tính mức đầu vào của các nút nguồn vì không có tính toán nào được thực hiện ở đây. b) Các mạng dẫn tiến đa mức. Hơn nữa, các vòng lặp phản hồi bao hàm việc sử dụng các nhánh đặc biệt gồm có các phần tử đơn vị trễ (ký hiệu là z-1), thể hiện một hành vi phi tuyến động theo thời gian (cùng với giả sử rằng mạng neuron bao gồm các đơn vị phi tuyến).
Xây dựng mạng nơron[8]
Sự có mặt của các vòng lặp phản hồi, trong cả cấu trúc hồi quy có một ảnh hưởng sâu sắc đến khả năng học của mạng và đến tính năng của nó.
Huấn luyện mạng nơron 1. Phương pháp học
Hệ thống học (ở đây là mạng nơron) sẽ phải tìm cách thay đổi các tham số bên trong của mình (các trọng số và các ngưỡng) để tạo nên một ánh xạ có khả năng ánh xạ các đầu vào thành các đầu ra mong muốn. Thuật toán tổng quát ở trên cho học có giám sát trong các mạng nơron có nhiều cài đặt khác nhau, sự khác nhau chủ yếu là cách các trọng số liên kết được thay đổi trong suốt thời gian học.
Thu thập dữ liệu cho mạng nơron
Dữ liệu số được chia nhỏ thành những khoảng thích hợp cho mạng và những giá trị thiếu có thể thay thế bằng giá trị trung bình hay giá trị thống kê của biến đó thông qua những biến khác đã được huấn luyện. Nếu giá trị này khó nhận ra, mạng nơron có chức năng huấn luyện chịu được giá trị nằm khỏi vùng này nhưng huấn luyện này thường kém hiệu quả hơn là huấn luyện chuẩn.
Biểu diễn tri thức cho mạng nơron
Thông tin ban đầu và các tính chất bất biến nên được đưa vào trong thiết kế ban đầu của một mạng nơron, và như vậy sẽ giảm bớt gánh nặng cho quá trình học. Trong các quy tắc trên thì quy tắc 4 đặc biệt quan trọng vì nếu chúng ta áp dụng nó một cách thích hợp sẽ dẫn đến khả năng tạo ra các mạng nơron với một kiến trúc chuyên biệt.
Ứng dụng của mạng nơron
- Financial: Định giá bất động sản, cho vay, kiểm tra tài sản cầm cố, đánh giá mức độ hợp tác, phân tích đường tín dụng, chương trình thương mại qua giấy tờ, phân tích tài chính liên doanh, dự báo tỷ giá tiền tệ. Qua đó, chúng ta đã thấy được đặc điểm giống và khác nhau cơ bản của học có giám sát, học không giám sát và học tăng cường; phân biệt được các loại mạng nơron như mạng dẫn tiến đơn mức, mạng dẫn tiến đa mức, mạng quy hồi,.
Giới thiệu bài toán nhận dạng kí tự 1. Giới thiệu sơ lược về nhận dạng
Ở Việt Nam hiện đã có sản phẩm VNDOCR của Viện Công nghệ thông tin nhận dạng chữ in tiếng Việt với độ chính xác tới 99%, có khả năng nhận dạng trực tiếp các loại tài liệu được quét qua máy quét, không cần lưu trữ dưới dạng tệp ảnh trung gian. Phương pháp nhận dạng dùng mạng nơron mang nhiều triển vọng và hứa hẹn sẽ giải quyết được những vấn đề mà các phương pháp truyền thống còn mắc phải, cho phép các chương trình nhận dạng tiến gần đến khả năng nhận dạng của con người thông qua cơ chế học.
Mạng Perceptron nhận dạng ký tự
- Thực thi của mạng nơron Perceptron 1. Thuật toán học của mạng nơron một lớp
Perceptron là mạng nơron đơn giản nhất, nó chỉ gồm một lớp nơron, nhận đầu vào là vector có các thành phần là các số thực và đầu ra của mạng được xác định bằng cách mạng lấy tổng có trọng số các thành phần của vector đầu vào, rồi trừ tổng này cho một ngưỡng b và cho ra một trong hai giá trị mong muốn có thể (là một trong hai giá trị +1 hoặc -1, kết quả này cùng ngưỡng b được đưa vào hàm truyền và kết quả của hàm truyền sẽ là đầu ra của mạng). Phương trình w.v=0 là chính là siêu phẳng trong không gian d chiều, suy ra perceptron có khả năng phân lớp tuyến tính, có khả năng giải bài toán quy hồi tuyến tính.
Mạng Kohonen nhận dạng ký tự
Giới thiệu về mạng nơron Kohonen
Vì sự hạ độ dốc đó, mạng có thể bị mắc bẫy tại một cực tiểu địa phương, trong khi có nhiều cực tiểu thấp hơn gần bên cạnh. Mạng nơron Kohonen được sử dụng bởi vì nó là một mạng tương đối đơn giản về cấu trúc, và có thể đào tạo rất nhanh.
Cấu trúc của mạng nơron Kohonen[16]
Mạng nơron Kohonen được sử dụng bởi vì nó là một mạng tương đối đơn giản về cấu trúc, và có thể đào tạo rất nhanh. không đảm bảo chất lượng. Để chuẩn hóa đầu vào việc đầu tiên chúng ta phải tính chiều dài vector của dữ liệu đầu vào:. Sử dụng chiều dài vector chúng ta có thể quyết định hệ số chuẩn hóa:. Tính toán đầu ra cho mỗi nơron. Để tính toán đầu ra cho mỗi vector đầu vào thì phải cùng xem xét vector đầu vào và trọng số. Đầu tiên phải tính tích vô hướng của các nơron đầu vào và các trọng số kết nối. Tích vô hướng được tính bằng cách nhân mỗi phần tử trong hai vector với nhau. Ta tính tổng của tích các phần tử của vector trọng số và vector đầu vào. Xét đầu ra của nơron đầu ra thứ j bây giờ được chuẩn hóa bằng cách nhân giá trị vừa tính được với hệ số chuẩn hóa được xác định ở trên. Giá trị vừa được tính toán phải được ánh xạ thành số lưỡng cực. Chọn nơron chiến thắng. Khi tính toán được đầu ra với từng nơron tiến hành so sánh chúng để tìm xem nơron nào có đầu ra lớn nhất thì nơron đó được quyết định là nơron chiến thắng. Như vậy ta đã tìm ra đầu ra của mạng nơron Kohonen. Ta thấy giá trị. này được quyết định bởi giá trị trọng số giữa đầu vào và đầu ra. Như vậy ta điều chỉnh trọng số này để điều chỉnh giá trị đầu ra theo như nhiệm vụ yêu cầu. Quá trình học của mạng nơron Kohonen. Quá trình học là quá trình hiệu chỉnh trọng số. Toàn bộ quá trình huấn luyện cho mạng nơron Kohonen bao gồm các chu kỳ lặp lại cho đến khi mức lỗi của mạng dưới một mức chấp nhận được. Quá trình huấn luyện cho mạng là cạnh tranh. Với mỗi tập đầu vào sẽ tìm được một nơron chiến thắng. Trọng số của nơron chiến thắng sẽ được hiệu chỉnh, nó sẽ tác động trở lại mạnh mẽ hơn đối với đầu vào ở lần tiếp theo. Các nơron chiến thắng là khác nhau đối với các mẫu khác nhau. Khả năng của chúng để nhận dạng các mẫu riêng biệt sẽ được tăng lên. Đầu tiên chúng ta xét tổng quan quá trình huấn luyện cho mạng nơron Kohonen. Hình 2.5 Quá trình huấn luyện mạng nơron Kohonen. Đầu tiên ma trận trọng số được khởi tạo với các giá trị ngẫu nhiên, đưa tập mẫu vào và tính toán tỷ lệ lỗi, hiệu chỉnh trọng số của nơron chiến thắng:. Nếu tỷ lệ lỗi được cải thiện đáng kể thì quay trở lại tiếp tục đưa mẫu huấn luyện vào và điều chỉnh trọng số của nơron chiến thắng rồi tính toán lại tỷ lệ lỗi xem mức cải thiện của nó như thế nào. Nếu tỷ lệ lỗi chỉ cải thiện rất nhỏ thì chu kỳ này sẽ được bỏ qua. Nếu điều này xảy ra thì xét xem ma trận trọng số này có tốt hơn ma trận trọng số tốt nhất từ trước đến giờ không?. Nếu tốt hơn thì lưu lại ma trận trọng số tốt nhất. Nếu không ma trận trọng số tốt nhất được giữ nguyên từ chu kỳ trước. Sau đó ma trận trọng số được khởi tạo lại với giá trị ngẫu nhiên và chu kỳ huấn luyện mới được bắt đầu. Chu kỳ huấn luyện mới này lại tiếp tục giống như chu kỳ trước và sẽ phân tích các thời kỳ để quyết định bỏ qua hay tạo ra tập trọng số mà tạo ra mức lỗi chấp nhận được. Nếu chúng ta tính toán lỗi nhỏ hơn mức chấp nhận được hoặc nếu số chu kỳ lặp lớn hơn số chu kỳ lặp lớn nhất cho phép thì quá trình huấn luyện hoàn thành. Tốc độ học là một hằng số mà sẽ được sử dụng trong thuật toán học. Nó phải là một số dương nhỏ hơn 1. Ký hiệu nó là α. Thông thường thiết lập giá trị học lớn thì quá trình huấn luyện sẽ nhanh hơn, nhưng nếu thiết lập giá trị này quá lớn có thể làm cho mạng không bao giờ hội tụ. Điều này bởi vì dao động của vector trọng số quá lớn để phân lớp mẫu. Một kỹ thuật khác như là huấn luyện tiến bộ, quá trình huấn luyện bắt đầu với tốc độ học cao và giảm dần tốc độ này. Phương pháp này cho phép tăng tốc độ huấn luyện ban đầu. Tốc độ học chỉ là một biến mà được sử dụng như một phần của thuật toán dùng để điều chỉnh trọng số của nơron. Trong quá trình thực nghiệm tiến hành điều chỉnh tốc độ học này sao cho phù hợp để đạt được hiệu quả huấn luyện cao. b) Hiệu chỉnh trọng số. Việc xác lập các tham số đầu vào cho mạng rất dễ dàng, ta có thể hiệu chỉnh các tham số này bằng thực nghiệm trong quá trình thực hiện bài toán cụ thể để đạt được kết quả hoạt động tốt.
Giới thiệu
Xây dựng giao diện vẽ
Xử lý dữ liệu (phân tích ảnh)
Xây dựng mạng nơron Kohonen
Một việc rất quan trọng ở đây là việc quyết định cỡ của mạng. Việc định cỡ đầu vào phụ thuộc vào việc định cỡ lưới lấy mẫu xuống. Nếu ta chia ảnh ký tự thành ma trận có kích thước lớn thì ký tự sẽ được biểu diễn một cách chi tiết. Tuy nhiên, việc này dẫn đến chi phí xử lý các ma trận rất lớn. Ngược lại, nếu ta dùng ma trận kích thước nhỏ để biểu diễn ảnh ký tự sẽ dẫn đến việc. mất mát thông tin. Lớp đầu vào gồm 100 nơron nhận giá trị từ 100 thành phần tương ứng của vector đầu vào. Dữ liệu đầu vào này có được từ việc vector hóa từ ma trận điểm ảnh ký tự bằng phương pháp chia lưới. Lớp đầu ra có số nơron bằng với số mẫu nhập vào. b) Huấn luyện mạng nơron Kohonen. Sự phức tạp của các tham số cho việc huấn luyện mạng: Việc chọn giá trị cho các tham số (tốc độ học, số lần lặp cần thiết, giá trị ngưỡng của lỗi…) được dựa vào kinh nghiệm và qua những lần tiến hành thực nghiệm.
Chương trình minh họa
Các chức năng của chương trình
Sau khi nhập xong tập mẫu thì nhấn nút “Học theo Kohonen” để huấn luyện cho mạng nơron Kohonen hoặc nhấn nút “Học theo Perceptron” để huấn luyện cho mạng nơron Perceptron. Quá trình huấn luyện hoàn thành, có thể thực hiện nhận dạng ký tự bằng cách vẽ ký tự rồi nhấn “Nhận dạng”.
Kết quả nhận dạng
Trong khi đó mạng nơron Kohonen cũng là một loại mạng rất phổ biến có cấu trúc đơn giản hơn, các bước thực hiện đơn giản, rừ ràng, dễ dàng lựa chọn và hiệu chỉnh cỏc tham số đầu vào, quá trình huấn luyện mạng nhanh, dễ hội tụ. Tuy biết rằng những điều thu nhận được mới chỉ là một phần rất nhỏ trong một ngành nghiên cứu lớn, tôi tự nhận thấy đã gặt hái được những thành công nhất định trong giai đoạn nghiên cứu đầu tiên.
Hướng phát triển tiếp theo
Nắm được ý nghĩa của việc học hay tích luỹ, trong đó có vai trò to lớn của các quy tắc học, mô hình học và thuật toán học đối với nhiều khả năng ứng dụng khác nhau. Đưa ra phương pháp xử lý với ký tự viết tay tiếng Việt rời rạc, xây dựng thành công hệ thống nhận dạng ký tự viết tay tiếng Việt rời rạc sử dụng mô hình mạng nơron Perceptron và Kohonen.