ALGORITHM)
5.2.1. Giới thiệu sơ lƣợc về Demo
Demo mô phỏng lại việc sử dụng thuật toán định kích thƣớc để xác định số lƣợng các phần tử trong lớp ẩn của mạng Multilayer Perceptron (MLP). Qua đó, giúp xây dựng cấu trúc mạng MLP thích hợp và tăng hiệu năng trong quá trình huấn luyện mạng cũng nhƣ trong quá trình xử lí nhận dạng.
Demo bao gồm 2 phần:
Xây dựng Piecewise Linear Network(PLN) để thực thi thuật toán định kích thƣớc.
37
Xây dựng Multilayer Perceptron (có 3 lớp) sử dụng thuật toán lan truyền ngƣợc.
PLN sẽ giúp xác định số lƣợng phần tử trong lớp ẩn của mạng MLP. Sau đó MLP sẽ đƣợc khởi tạo dựa trên số lƣợng phần tử trong lớp ẩn đƣợc cung cấp bởi PLN. Cuối cùng, mạng MLP đƣợc đem đi huấn luyện với tập mẫu học.
5.2.2. Thƣ viện hỗ trợ lập trình
Demo sử dụng thƣ viện toán IridiumMath đƣợc cung cấp tại trang web:
http://www.mathdotnet.com/Iridium.aspx
5.2.3. Mức độ hoàn chỉnh của Demo.
Mạng MLP đã đƣợc implement xong. Mạng PLN đã đƣợc implement xong.
Tuy nhiên, trong quá trình huấn luyện, khi giải phƣơng trình ma trận ở bƣớc (3):
để xác định ma trận trọng số cho các Cluster, nhóm gặp vấn đề với những ma trận R không thể nghịch đảo. Do đó không thể lúc nào cũng tính đƣợc ma trận trọng số bằng công thức:
( )
Nhóm đã tìm ra hƣớng giải quyết cho vấn đề này là sử dụng Schmidt Procedure. Tuy nhiên, do thời gian gấp rút, nhóm không kịp tìm hiểu kĩ để đƣa
38
CHƢƠNG 6 : KẾT LUẬN
Chúng ta đã tìm hiểu qua 3 thuật toán giúp đỡ trong việc giải nghiên cứu ứng dụng MLP vào giải quyết các vấn đề trong xử lý tín hiệu. Đầu tiên, chúng ta đã tìm hiểu về một thuật toán nhanh và khả năng hội tụ cao. Tiếp đó, một lý thuyết liên quan đến MLP và PLN đƣợc đƣa ra, và một thuật toán định kích thƣớc đã đƣợc phát triển. Cuối cùng, một phƣơng pháp để tính toán và xác định độ lỗi cự tiểu đã đƣợc hình thành.
Còn rất nhiều thứ phải cải tiến. Ví nhƣ thuật toán huấn luyện cần đƣợc cải tiên sâu hơn, hiện tại thuật toán không đáp ứng đƣợc nếu mạng quá lớn; độ lỗi cực tiểu chỉ đƣợc tính chính xác khi hệ thống tín hiệu là một một (một đầu ra không nhiễu ứng với một đầu vào ko nhiễu), … Tuy nhiên, chúng ta chỉ dừng lại ở đây, các vấn đề này sẽ đƣợc bàn luận trong một phần khác.
39
THAM KHẢO :
[1]Michael T. Manry, Hema Chandrasekaran, and Cheng-Hsiung Hsieh. Signal Processing Using the Multilayer Perceptron, Handbook of Neural Network Signal Processing.
[2]Rohit Rawat. An efficient piecewise linear network
[3]Abdul A. Abdurrab, Michael T. Manry, Jiang Li, Sanjeev S. Malalur and Robert G. Gore. A Piecewise Linear Network Classifier.
[4]Hema Chandrasekaran and Michael T. Manry. Convergent Design of A Piecewise Linear Neural Network.
[5]Michael T. Manry, Cheng-Hsiung Hsieh, Michael S. Dawson, and Adrian K. Fung. Cramer Rao Maximum A-Posteriori Bounds on Neural Network Training Error for Non-Gaussian Signals and Parameters.
[6]Richard O.Duda, Peter E.Hart, David G.Stork, Pattern Classification – 2nd Edition.
[7]Lê Bá Long, Xác suất thống kê Học viện bưu chính viễn thong (adsbygoogle = window.adsbygoogle || []).push({});
[8]MATLAB- The Language of Technical Computing
[9] http://en.wikipedia.org/wiki/Cram%C3%A9r%E2%80%93Rao_bound [10] http://en.wikipedia.org/wiki/Fisher_information