3 MƠ HÌNH MẠNG NƠ-RON XÁC ĐNNH CÁC THƠNG SỐN GỮ ĐIỆU
3.1 Sơ lược về mạng nơ-ron
Ý tưởng đầu tiên xây dựng mạng nơ-ron nhân tạo giống mạng nơ-ron của con người là của MC.Culloch và Pitts vào năm 1943 với nguyên lý là các nơ-ron cĩ thểđược mơ hình hĩa như thiết bị ngưỡng giới hạn logic. Đến nay đã cĩ nhiều nghiên cứu phát triển mơ hình mạng nơ-ron và các ứng dụng của nĩ. Về cơ bản mạng nơ-ron bao gồm một hệ thống các phần tửđơn vị là các nơ-ron cịn được gọi là nút được kết nối với nhau. Khả năng xử lý của mạng nơ-ron nằm ở các kết nối giữa các nơ-ron và trọng số của các kết nối đĩ. Các kết nối và trọng số tương ứng được xây dựng qua một quá trình huấn luyện với một tập dữ liệu mẫu cho trước.
3.1.1 Cấu trúc của một nơ-ron nhân tạo
Hình 3 Cấu trúc của một nơ-ron nhân tạo
Trang 33
Các tín hiệu ngõ vào của nơ-ron thứ i được biểu diễn bởi một hàm tổng hợp f(i) như sau: ∑ = = n j j ija w i f 1 ) ( (3.1)
Với aj là các tín hiệu vào và wij là trọng số tương ứng của liên kết ngõ vào j của nơ- ron i.
Hàm tác động h(f(i)) cĩ thể là hàm tuyến tính hoặc phi tuyến. Thơng thường hàm tác động được dùng là hàm sigmoid cĩ dạng chữ S như Hình 4 với cơng thức như sau:
f e f h − + = 1 1 ) ( (3.2) Hình 4Đồ thị hàm sigmoid
Trang 34
3.1.2 Kiến trúc mạng nơ-ron
Cĩ nhiều kiểu kiến trúc mạng nơ-ron khác nhau nhưng thơng dụng nhất là kiến trúc mạng nơ-ron truyền thẳng nhiều lớp gồm một lớp input, một lớp output và một số lượng lớp Nn tùy ý. Tuy nhiên chỉ cần với một lớp Nn thì mạng nơ-ron đã cĩ thể mơ tảđược mọi hàm phi tuyến. Theo Cybenco [46] thì bất kỳ hàm phi tuyến nào cũng cĩ thể xấp xỉ tùy ý trên một tập compact bằng mạng nơ-ron truyền thẳng gồm 2 lớp Nn với độ phi tuyến cố định. Như vậy khi xây dựng mạng nơ-ron trong xử lý, mạng 2 lớp Nn đủ khả năng xấp xỉ một hàm bất kỳ mà khơng cần phải dùng nhiều lớp hơn gây phức tạp tính tốn. Hình 5
minh họa một mạng nơ-ron gồm một lớp input với n nút vào, 2 lớp Nn b1 và b2, một lớp output b3 cĩ 1 nút.
Hình 5 Minh họa một kiến trúc mạng nơ-ron
Số lượng nút input là số tín hiệu đầu vào tương ứng với số lượng các đặc trưng input của bài tốn cần giải quyết, số lượng nút output tương ứng với số lượng các kết quả output của bài tốn. Thơng thường để cho việc huấn luyện được dễ dàng cho kết quả tốt, bài tốn sẽđược chia ra thành nhiều mạng riêng biệt chỉ cĩ một nút output cho từng kết quả yêu cầu.
Trang 35
Việc chọn lựa số lượng các nút Nn tùy thuộc vào bài tốn cụ thể và chỉ cĩ thể xác định dựa vào việc thử sai với các lựa chọn khác nhau. Nếu chọn số lượng nút Nn khơng phù hợp thì mạng sẽ cho kết quả kém chính xác.
3.1.3 Huấn luyện mạng nơ-ron
Tri thức của mạng nơ-ron được chứa đựng trong các trọng số giữa các mối liên kết nơ-ron. Khi mới khởi tạo các trọng số này thường được cho một giá trị mặc định hoặc ngẫu nhiên. Để cĩ thể mơ phỏng bài tốn cần giải quyết, mạng phải được huấn luyện với các dữ liệu mẫu đểđiều chỉnh các trọng số cho phù hợp. Thuật tốn huấn luyện được sử dụng cho mạng truyền thẳng nhiều lớp là thuật tốn lan truyền ngược. Thuật tốn này sẽ thực hiện điều chỉnh trọng số các kết nối bắt đầu từ lớp output lần ngược về hướng lớp input theo tiêu chí cực tiểu hĩa sự khác biệt giữa kết quả tính tốn của mạng và dữ liệu huấn luyện.
Khi huấn luyện mạng nơ-ron, nếu việc huấn luyện được thực hiện quá nhiều thì các trọng số của mạng sẽ bịđiều chỉnh để thích nghi quá mức với đặc thù của dữ liệu huấn luyện làm mất tính tổng quát cho dữ liệu bài tốn. Khi này khả năng dựđốn cho các mẫu chưa huấn luyện sẽ kém chính xác. Để tránh tình trạng quá luyện thơng thường dữ liệu được chia thành 2 phần, một phần dùng để huấn luyện và phần cịn lại dùng đểđánh giá. Một khi việc huấn luyện bắt đầu làm cho khả năng thích nghi với dữ liệu đánh giá cĩ xu hướng giảm đi qua khỏi một mức tối ưu thì sẽđược dừng lại.