CHƢƠNG 3 MẠNG NƠRON VÀ NHẬN DẠNG BIỂU MẪU
3.1. MẠNG NƠRON NHÂN TẠO
3.1.3. Các đặc trƣng của mạng nơron nhân tạo
a. Cách nhìn nhận.
Nhƣ một công cụ tính toán: Giả sử mạng nơron NN có m lớp vào và n lớp ra, khi đó với mỗi vectơ các tín hiệu vào X=(x1,….,xm), sau quá trình tính toán tại các nút ẩn, ta nhận đƣợc kết quả ra Y=(y1,…..,yn). Theo nghĩa nào đó mạng nơron làm việc với tu cách một bảng tra, mà không cần biết dạng phụ thuộc hàm tƣờng minh giữa X và Y. Khi đó ta viết: Y= Tinh(X, NN) trong đó hàm Tinh() là hàm ánh xạ bất kỳ nhằm ánh xạ Tập đầu vào X qua mạng NN thành Tập đầu ra Y tƣơng ứng.
Cần lƣu ý thêm rằng các nơron trên cùng một lớp có thể tính toán đồng thời, do vậy độ phức tạp tính toán nói chung sẽ phụ thuộc vào số lớp mạng. Các thông số cấu trúc mạng nơron bao gồm:
- Số tín hiệu vào, số tín hiệu ra. - Số lớp nơron.
- Số nơron trên mỗi lớp.
- Các trọng số liên kết nơron. - Tốc độ học
- Ngƣỡng sai số của mạng
Trọng số của mạng (Weight) đặc trƣng cho tính kích hoạt hay ức chế giữa các nơron trong mạng.
Nhƣ một hệ thống thích nghi, có khả năng học (huấn luyện) để tinh chỉnh các trọng số liên kết cũng nhƣ cấu trúc của mình sao cho phù hợp với các mẫu học (Samples). Ngƣời ta phân biệt ba loại kỹ thuật học:
- Học có giám sát (Supervised learning) hay còn gọi là học có thầy. - Học không có giám sát (Unsupervised learning) hay còn gọi là học không có thầy. Các mạng này đƣợc gọi là các mạng tự tổ chức
- Học tăng cƣờng.
Các kỹ thuật học trong mạng nơron có thể nhằm vào hiệu chỉnh các trọng số liên kết (gọi là học tham số) hoặc điều chỉnh, sửa đổi cấu trúc của mạng bao gồm số lớp, số nơron, kiểu và trọng số các liên kết (gọi là học có cấu trúc). Cả hai mục đích học có thể thực hiện đồng thời hoặc tách biệt.
Học tham số: Giả sử có k nơron trong mạng và mỗi nơron có đúng một liên kết vào với các nơron khác. Khi đó, ma trận trọng số liên kết W sẽ có kích thƣớc k x 1. Các thủ tục học tham số nhằm mục đích tìm kiếm ma trận W sao cho Ys = Tính(Xs, W) đối với mẫu học S =(Xs, Ys) trong đó Xs là tập dữ liệu đầu vào, Ys là tập đầu ra tƣơng ứng.
Học cấu trúc: Với học tham số ta giả định rằng mạng có một cấu trúc cố định. Việc học cấu trúc của mạng truyền thẳng gắn với yêu cầu tìm ra số lớp của mạng L và số nơron trên mỗi lớp ni. Tuy nhiên, với các
mạng hồi quy còn phải xác định thêm các tham số ngƣỡng θ của các nơron trong mạng. Một cách tổng quát phải xác định bộ tham số P = (L,n1,…n1,θ,..θk). Ở đây k = Σ ni sao cho Ys = Tính(Xs, P) đối với mọi mẫu học S = (Xs, Ys).
Thực chất, việc điều chỉnh các vectơ tham số W đƣợc quy về bài toán tìm kiếm tối ƣu trong không gian tham số. Do vậy, có thể áp dụng các cơ chế tìm kiếm kinh điển theo Gradient, các giải thuật di truyền, lập trình tiến hóa,..
b. Khả năng tính toán và biểu diễn phụ thuộc dữ liệu.
Mạng nơron truyền thẳng, chỉ đơn thuần tính toán các tín hiệu ra dựa trên các tín hiệu vào và các trọng số liên kết nơron đã xác định sẵn ở trong mạng. Do đó chúng không có trạng thái bên trong nào khác ngoài vectơ trọng số W.
c. Xác định cấu trúc mạng tối ưu.
Lựa chọn sai cấu trúc mạng có thể dẫn tới hoạt động mạng trở nên kém hiệu quả. Nói cách khác, cũng giống nhƣ trong mô hình thống kê, các mạng nơron có thể đƣa tới tình trạng quá thừa tham số.
Bài toán xác định cấu trúc mạng tốt có thể xem nhƣ bài toán tìm kiếm trong không gian tham số. Tuy vậy, không gian tham số có thể rất lớn và để xác định một trạng thái W trong không gian đòi hỏi phải huấn luyện mạng.
d. Sức mạnh của mô hình mạng.
- Khả năng của các quá trình xử lý song song và phân tán - Khả năng thích nghi và tự tổ chức
- Khả năng dung thứ lỗi
e. Các phạm vi ứng dụng
Các lĩnh vực ứng dụng của mạng nơron nhân tạo rất rộng, chủ yếu là các lĩnh vực sau:
- Lĩnh vực 1: Phân lớp (Classification), tách cụm (Clustering), dự đoán (Diagnosis) và liên kết.
- Lĩnh vực 2: Các bài toán tối ưu.
- Lĩnh vực 3: Hồi quy và tổng quát hóa (Regression and
Generalization).
- Lĩnh vực 4: Hoàn chỉnh mẫu (Pattern completion)