Mạng Neuron nhân tạo (Artificial Neural Network- ANN) là mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm số lượng lớn các Neuron được gắn kết để xử lý thông tin. ANN giống như bộ não con người, được học bởi kinh nghiệm (thông qua huấn luyện), có khả năng lưu giữ những kinh nghiệm hiểu biết (tri thức) và sử dụng những tri thức đó trong việc dự đoán các dữ liệu chưa biết.
Cấu trúc của một mô hình mạng nơron bao gồm nhiều nút (đơn vị xử lý, nơron) được nối với nhau bởi các liên kết nơron (hình 2.5).
Hình 2.5. Mô hình một nơron nhân tạo
Mỗi liên kết kèm theo một trọng số liên kết wij đặc trưng cho đặc tính kích hoạt/ức chế các nơron. Có thể xem các trọng số liên kết là để lưu giữ thông tin dài hạn trong mạng nơron và nhiệm vụ của quá trình huấn luyện mạng là cập nhật các trọng số liên kết khi có thêm các thông tin về các mẫu học, hay nói một cách khác là các trọng số liên kết được điều chỉnh sao cho dáng điệu vào ra của nó mô phỏng hoàn toàn phù hợp với môi trường đang xét.
Hiện nay, các loại mạng nơron thông dụng gồm có: mạng truyền thẳng, mạng hồi quy, mạng tự tổ chức. Thực tế cho thấy mô hình mạng nhiều lớp truyền thẳng Perceptron-MLP (Multi Layer Perceptron) là mô hình phổ biến, được sử dụng rộng rãi trong các hệ thống nhận dạng như nhận dạng kí tự quang học [13], nhận dạng tiếng nói...
Hình 2.6. Mạng MLP trong nhận dạng kí tự quang học.
Hình 2.6 là mạng MLP có 3 lớp: lớp vào có 150 nút tương ứng 150 điểm ảnh của vec tơ ma trận pixel của mỗi kí tự trích chọn đặc trưng, lớp ẩn có 250 nơron và lớp ra có 16 nơron tương ứng với 16 bit nhị phân của giá trị Unicode của các kí tự. X1 . X2 X m . . wi1 wi2 Sxjwij Hàm tổng . wim f() qi Ngưỡng Đầu ra yi
Đầu vào Trọng số liên kết wịj
Quá trình huấn luyện là quá trình học với mẫu huấn luyện là cặp vectơ (x={x1,...,xn};t={t1,...,tn}) để điều chỉnh tập trọng số liên kết, trong đó x là vectơ đặc trưng n chiều của mẫu cần nhận dạng, t là giá trị mục tiêu tương ứng của mẫu đó. Giải thuật huấn luyện của mạng MLP cho nhận dạng kí tự thường là giải thuật lan truyền ngược sai số thể hiện qua hai quá trình:
Quá trình truyền thẳng : các đầu vào sẽ được cung cấp cho các nơron của mạng và tín hiệu sẽ được lan truyền lần lượt trên từng lớp mạng để thay đổi giá trị của trọng số liên kết w của các nơron trong mạng biểu diễn được dữ liệu học; tìm ra sự khác nhau giữa giá trị thật hàm mẫu mà mạng tính được và kết quả dự đoán của mạng.
Quá trình lan truyền ngược sai số và cập nhật các tham số của mạng. Thông tin về sai số được lan truyền ngược qua mạng để điều chỉnh lại các giá trị trọng số tại vòng lặp thứ i, và được thực hiện lặp đi lặp lại cho đến khi sai số đạt được ≤ sai số tối thiểu của mạng (đã được xác định).
Sau khi mạng được huấn huấn thành công, các tri thức tích luỹ được trong quá trình luyện mạng (các ma trận trọng số, các tham số tự do,... ) sẽ được cập nhật vào cơ sở tri thức để sử dụng trong quá trình nhận dạng.
Ưu điểm của mạng nơron là dễ cài đặt cùng với khả năng học và tổng quát hóa rất cao. Nhược điểm là khi dùng mạng Neural huấn luyện, kích thước về số chiều của vector đầu vào của các mẫu chữ phải là như nhau. Do đó trước khi đưa vào mạng Neural để huấn luyện, mẫu học phải qua quá trình chuẩn hoá. Hơn nữa, nếu đặc trưng trích chọn không tốt sẽ dẫn đến quá trình hội tụ khi huấn luyện mạng Nơron sẽ rất lâu.