* Phân loại theo sự liên kết giữa các lớp
Sự liên kết trong mạng nơ-rôn tuỳ thuộc vào nguyên lý tương tác giữa đầu ra của từng nơ-rôn riêng biệt với nơ-rôn khác và tạo ra cấu trúc mạng nơ-rơn. Về ngun tắc sẽ có rất nhiều kiểu liên kết giữa các nơ-rơn, nhưng chỉ có một số cấu trúc hay gặp trong ứng dụng sau:
- Mạng truyền thẳng (Feedforward neural networks)
Dòng dữ liệu đầu vào từ các nơ-rôn đầu vào đến các nơ-rôn đầu ra chỉ được truyền thẳng. Việc xử lý dữ liệu có thể mở rộng ra nhiều lớp, nhưng khơng có các liên kết ngược. Tức là, khơng có các liên kết từ các đơn vị đầu ra tới các đơn vị đầu vào trong cùng một lớp hay các lớp trước đó.
Nếu mơ hình hố mạng truyền thẳng bằng một đồ thị, thì nó là một đồ thị có hướng hữu hạn khơng chu trình. Trong đó, mỗi nơ-rơn là một nút, các liên liên kết giữa các nơ-rôn là các cung của đồ thị. Hình 2.11 là một minh họa về mạng truyền thẳng nhiều lớp.
- Mạng hồi quy (mạng nối ngược) (Recurrent neural network)
Khác với mạng truyền thẳng, mạng hồi quy có chứa các liên kết ngược. Mơ hình hố mạng hồi quy bằng một đồ thị thì nó là một đồ thị có hướng hữu hạn có chu trình. Hình 2.12 minh họa cho một mạng hồi quy.
Hình 2.12. Mơ hình mạng nơ-rơn 3 lớp hồi quy lớp lớp
vào
lớp
2.4. Huấn luyện mạng nơ-rôn
Chức năng của một mạng nơ-rôn được quyết định bởi các nhân tố như: hình trạng mạng (số lớp, số đơn vị trên mỗi tầng và cách mà các lớp được liên kết với nhau) và các trọng số của các liên kết bên trong mạng. Hình trạng của mạng thường là cố định và các trọng số được quyết định bởi một thuật toán huấn luyện (training algorithm). Tiến trình điều chỉnh các trọng số để mạng “nhận biết” được quan hệ giữa đầu vào và đích mong muốn được gọi là học (learning) hay huấn luyện (training). Rất nhiều thuật toán học đã được phát minh để tìm ra tập trọng số tối ưu làm giải pháp cho các bài tốn. Các thuật tốn đó có thể chia làm hai nhóm chính: Học có thầy (Supervised learning) và Học khơng có thầy (Unsupervised Learning).
- Học có thầy (Supervised learning):
Hình 2.13 là mơ hình học có thầy. Mạng được huấn luyện bằng cách cung cấp cho nó các cặp mẫu đầu vào và các đầu ra mong muốn (target values). Các cặp được cung cấp bởi "thầy giáo", hay bởi hệ thống trên đó mạng hoạt động. Sự khác biệt giữa các đầu ra thực tế so với các đầu ra mong muốn được thuật toán sử dụng để thích ứng các trọng số trong mạng. Điều này thường được đưa ra như một bài toán xấp xỉ hàm số - cho dữ liệu huấn luyện bao gồm các cặp mẫu đầu vào x và một đích tương ứng t, mục đích là tìm ra hàm f(x) thoả mãn tất cả các mẫu học đầu vào.
Hình 2.13. Mơ hình học có thầy (Supervised learning model) - Học khơng có thầy (Unsupervised Learning):
Với cách học khơng có thầy, khơng có phản hồi từ mơi trường để chỉ ra rằng đầu ra của mạng là đúng. Mạng sẽ phải khám phá các đặc trưng, các điều chỉnh, các mối tương quan, hay các lớp trong dữ liệu vào một cách tự động. Trong thực tế, đối với phần lớn các biến thể của học khơng có thầy, các đích trùng với đầu vào. Nói một cách khác, học khơng có thầy ln thực hiện một công việc tương tự như một mạng tự liên hợp, cô đọng thông tin từ dữ liệu vào.
2.5. Một số ứng dụng của mạng nơ-rôn
Mạng nơ-rôn được coi như một hộp đen biến đổi đầu vào m biến thành vec-tơ ra n biến. Các biến của vec-tơ vào và ra có thể là các số thực, tốt nhất nằm trong khoảng [0, 1]
hoặc [-1, 1]; số nhị phân 0, 1 hay số nhị cực -1, +1. Số biến của vec-tơ vào/ra không bị hạn chế song sẽ ảnh hưởng tới thời gian tính và tài nguyên của máy tính. Với số lượng lớn các biến của các vec-tơ đầu vào và ra đồng nghĩa với việc tăng số lượng các số liệu quan sát. Thường số biến của vec-tơ ra nhỏ hơn số biến của vec-tơ vào nhưng không phải bắt buộc là như vậy. Các lĩnh vực mà mạng nơ-rôn thường được ứng dụng là:
- Phân loại (Classification) - Mơ hình hố (Modeling)
- Biến đổi (Transformation and mapping)
a. Phân loại
Một trong các công việc đơn giản và thường được sử dụng nhiều trong việc quản lý các đối tượng đa biến là phân loại. Đó có thể là sắp xếp các đối tượng vào các tập theo từng loại hoặc theo tầng lớp hoặc theo các lớp con của các lớp lớn hơn.
Thường xuyên việc phân loại theo tầng lớp bao gồm nhiều mức của các tập ra quyết định, phân lớp một đối tượng vào nhúm, nhúm con, chủng loại, chủng loại con, hoặc lớp. Ví dụ trong hố học việc dự báo các đặc điểm cấu trúc khác nhau cùng một hợp chất chưa biết trên phổ của nó.
b. Mơ hình hố
Các hệ thống phân loại đưa ra các câu trả lời rời rạc như có, khơng hoặc một số nguyên định danh đối tượng đầu vào thuộc lớp nào. Tuy nhiên, việc mơ
hình hố yêu cầu hệ thống phải sản sinh ra các câu trả lời mang tính liên tục. Trong việc mơ hình hố một số lượng nhỏ các số liệu được sử dụng để xây dựng mơ hình. Mơ hình này có thể đưa ra các dự báo cho tất cả các đối tượng đầu vào có thể. Việc tìm ra đường cong phù hợp với các số liệu thực nghiệm (curve- fitting) là một trong những ứng dụng thuộc dạng này. Trong phần lớn các ứng
dụng chúng chỉ là thủ tục một biến vào - một biến ra như sau:
Y = f(x, a, b, … , p) (2.8)
Ở đây hàm f chứa một tập các tham số a, b, …., p. Các tham số này phải được xác định bằng việc tối thiểu hoá độ chênh lệch giữa số liệu thực nghiệm và giá trị tính tốn từ mơ hình:
(y thực nghiệm - ymơ hình)2 min (2.9) Mơ hình hố cũng có thể là vấn đề nhiều biến vào - một biến đầu ra hoặc nhiều biến đầu vào - nhiều biến đầu ra.
Trong bất kỳ loại mơ hình nào thì cũng phải tuân theo một giả định là: các thay đổi nhỏ của tín hiệu đầu vào sẽ chỉ gây ra những biến đổi nhỏ của tín hiệu ra.
Trong các vấn đề đa biến mạng nơ-rơn có nhiều lợi thế hơn so với các phương pháp mô hình hố cổ điển sử dụng các hàm giải tích, các phương pháp mơ hình hố cổ điển đối với mỗi biến đầu ra chúng ta phải khẳng định trước một hàm giải tích cùng một bộ các tham số trong khi đó đối với mạng nơ-rơn chúng ta khơng cần bất kỳ sự hiểu biết trước về các tham số đó.
c. Biến đổi
Việc biến đổi nhằm mục đích nộn các đối tượng từ không gian m chiều vào khơng gian có số chiều nhỏ hơn rất nhiều (2 hoặc 3). Qua việc nộn các đối tượng này sẽ bộc lộ các đặc điểm mà chúng ta không thể nhận thấy khi các đối tượng ở trong không gian nhiều chiều.
Những câu hỏi mà việc biến đổi có thể trả lời là: Bản đồ của tồn bộ các đối tượng như thế nào? Có bao nhiêu vùng trong bản đồ có thể phân biệt được? Hình dáng của các vùng đó như thế nào? Các đặc điểm của các đối tượng thể hiện qua các vùng bản đồ như thế nào?
2.6. Một số mạng nơ-rôn được đề xuất để ứng dụng nhận dạng tín hiệu điện tim
2.6.1. Mạng MLP
2.6.1.1. Cấu trúc mạng
Mạng MLP là mạng nơ-rơn phổ biến nhất, nó là một mạng truyền thẳng với các phần tử cơ bản gọi là nơ-rôn [6]. Trong luận văn sử dụng mạng MLP với một lớp ẩn được trình bày trong hình 2.14. Nhiệm vụ đặt ra là phải xác định cấu trúc cố định cho mạng MLP: Số lớp ẩn, hàm truyền đạt của mỗi lớp, số lượng nơ-rôn trên mỗi lớp, trọng số ghép nối giữa nơ-rơn trong mơ hình MLP có thể được điều chỉnh lại cho phù hợp trong quá trình học để xuất các tín hiệu đầu ra mong muốn. Thuật tốn của q trình học được sử dụng cho mơ hình MLP trong luận văn này đã được đề xuất bởi Levenberg và Marquardt [6, 30].