PHƯƠNG PHÁP HỌC CHO MẠNG TIẾN (FEEDFORWARD) ĐA MỨC
2.1.3 Đối với vấn đề nhận dạng mẫu (phân loại mẫu)
Con người rất giỏi trong việc nhận dạng mẫu. Con người thực hiện nhận dạng mẫu thông qua một quá trình học; điều đó cũng xảy ra đối với các mạng neuron.
Nhận dạng mẫu về mặt hình thức được định nghĩa như là quá trình mà nhờ
nó một mẫu hay tín hiệu thu nhận được gán cho một trong số các lớp đã được xác định trước. Một mạng neuron thực hiện nhận dạng mẫu trước tiên bằng việc trải qua một phiên tích luỹ, trong suốt phiên này mạng thu nhận lặp đi lặp lại một tập hợp các mẫu đầu vào. Sau đó, mạng thu nhận một mẫu mới chưa từng được biết tới nhưng thuộc cùng một dạng với các mẫu được sử dụng để tích luỹ mạng. Mạng có khả năng định rõ mẫu đó thuộc lớp nào nhờ thông tin mà nó đã lấy được từ dữ liệu tích luỹ. Nhận dạng mẫu được thực hiện bởi mạng neuron về bản chất mang tính thống kê, với các mẫu được biểu diễn dưới dạng các điểm trong không gian quyết định đa chiều. Không gian quyết định được chia thành các vùng, mỗi vùng tương ứng với một lớp. Các đường biên quyết định được xác định bởi quá trình tích luỹ. Việc cấu trúc nên các đườcg biên này được thực hiện một cách thống kê xuất phát từ tính chất biến thiên vốn có tồn tại bên trong các lớp và giữa các lớp.
Nhìn chung, các máy nhận dạng mẫu sử dụng mạng neuron có thể thuộc hai dạng sau:
* Máy được chia thành hai phần, một mạng không điều khiển để lấy ra các đặc trưng và một mạng có giám sát để phân lớp. Một phương pháp như vậy là sự tiếp nối quan điểm truyền thống về nhận dạng mẫu thống kê. Về mặt khái niệm, một mẫu được biểu diễn bởi một tập hợp m quan sát mà có thể được xem như một điểm x trong một không gian quan sát m chiều. Việc lấy ra các đặc trưng được mô tả như một sự chuyển đổi điểm x thành một điểm y trong một không gian đặc trưng q chiều với q<m. Sự chuyển đổi này có thể được xem như một sự giảm bậc (nén dữ liệu) nhằm đơn giản hoá công việc phân lớp. Việc phân lớp được mô tả như một sự chuyển đổi làm tương ứng điểm y với một trong các lớp thuộc một không gian quyết định r chiều, ở đó r là số lượng các lớp cần phân biệt.
* Máy được thiết kế như một mạng tiến đa mức sử dụng một thuật toán học có giám sát. Trong tiếp cận thứ hai này, công việc lấy ra các đặc trưng được thực hiện bởi các đơn vị tính toán trong các mức ẩn của mạng.
Việc lựa chọn tiếp cận nào trong thực hành phụ thuộc vào ứng dụng cần xây dựng. Đối với phần mềm thử nghiệm về nhận dạng nguyên âm trong bản luận văn này, tác giả đã sử dụng kiểu máy nhận dạng mẫu thứ hai.
2.2 Mạng tiến (feedforward) đa mức
Ở Chương 1, chúng ta đã biết thế nào là một mạng neuron tiến đa mức. Trong phần này, chúng ta tập trung nghiên cứu phương pháp tích luỹ cho kiến trúc mạng phổ biến này.
Trước tiên, chúng ta nêu ra một số những đặc trưng tạo nên sức mạnh của kiến trúc mạng neuron tiến đa mức:
1.Mô hình của mỗi neuron trong mạng bao gồm một hàm kích hoạt không tuyến tính. Điểm quan trọng cần nhấn mạnh ở đây là sự không tuyến tính có tính chất trơn (hàm phân biệt và liên tục). Một dạng hàm hay được sử dụng thoả mãn yêu cầu này là hàm sigma:
2. Mạng bao gồm một hay nhiều mức neuron ẩn. Các neuron ẩn này cho phép mạng có thể học những kiến thức về những công việc rất phức tạp bằng cách dần lấy ra được các đậc trưng có ý nghĩa hơn từ các mẫu đầu vào.
3. Mạng thể hiện mức độ kết nối cao, được xác định bởi các synapse của mạng. Để có thể thay đổi tính kết nối của mạng cần sự thay đổi về tổ chức các kết nối synapse hay của các giá trị trọng số synapse.
Chính bằng sự tổ hợp các đặc tính trên với nhau cùng với khả năng học từ thực nghiệm thông qua tích luỹ mà mạng tiến đa mức thể hiện sức mạnh tính toán của nó. Một trong những thuật toán học được sử dụng rộng rãi hiện nay đặc biệt là cho những ứng dụng nhận dạng mẫu dựa trên mạng tiến đa mức là thuật toán
back-propagation. Thuật toán này được xây dựng theo quy tắc học hiệu chỉnh lỗi
và mô hình học có giám sát.
Thuật toán back-propagation thể hiện một bước ngoặt trong sự phát triển của mạng neuron. Nó mang đến một phương pháp tính toán hiệu quả cho việc tích luỹ các mạng tiến đa mức. Mặc dù chúng ta không thể yêu cầu thuật toán back- propagation cung cấp những giải pháp tối ưu cho tất cả các bài toán, nhưng nó cũng cho chúng ta một sự lạc quan về việc học trong các máy dựa trên cơ sở mạng tiến đa mức.