3.5. Mạng nơ-ron nhân tạo và ứng dụng ANN trong xâydựng mơ hình chuyển dịch
3.5.1. Khái niệm mạng nơ-ron nhân tạo
Mạng nơ-ron nhân tạo là một tập hợp các phần tử xử lý đơn giản được kết nối với nhau. Mỗi phần tử xử lý này chỉ có thể thực hiện được một thao tác tính tốn nhỏ, nhưng với một mạng lưới các phần tử thì có một khả năng tính tốn lớn. Mạng nơ- ron nhân tạo được nghiên cứu trên cơ sở bộ não con người.
3.5.1.1. Bộ não con người
Mạng nơ-ron nhân tạo là mơ hình tốn học đơn giản của bộ não con người. Bộ não của người khoảng 100 tỷ đơn vị xử lý liên kết nhau để tạo thành mạng lưới xử lý thông tin. Mỗi nơ-ron hoạt động như một bộ xử lý đơn giản. Chính sự tương tác khổng lồ giữa tất cả các tế bào này cùng với quá trình xử lý song song của chúng tạo nên
khả năng tuyệt vời của bộ não. Các sợi nhánh lá, các ống phân nhánh như cành cây từ thân nơ-ron tiếp nhận tín hiệu từ bên ngồi và truyền tới thân nơ-ron. Thân nơ-ron chứa nhân và các cấu trúc khác, hỗ trợ q trình xử lý hóa học và sản xuất ra chất dẫn truyền thần kinh. Nó là nơi tiếp nhận, tổng hợp và phát ra các xung thần kinh hay các thông tin sau khi đã được tổng hợp. Sợi trục là một ống đặc biệt dẫn truyền tín hiệu từ thân nơ-ron đến các nơ-ron khác, cơ quan phản ứng (vận động) hoặc vùng đệm. Các sợi trục đi chung với nhau thành từng bó gọi là dây thần kinh. Khu vực kết thúc của sợi trục nơ-ron này tiếp xúc các sợi nhánh lá của nơ-ron khác được gọi là khớp.
Hình 3. 17: Cấu trúc nơ-ron sinh vật
Con người có thể giải quyết các vấn đề trong tự nhiên, xã hội dựa trên những bài học, kinh nghiệm học được. Bộ não có khả năng tự thay đổi cấu trúc để thích nghi dần với mơi trường. Điều đó khiến cho cấu trúc bộ não ngày càng trở nên phức tạp sau mỗi lần học và luôn luôn được phát triển, thay đổi. Một số cấu trúc của nơ-ron được xác định trước, một số sau này mới được hình thành và một số thì bị huỷ bỏ qua quá trình chọn lọc tự nhiên, học và thích nghi.
3.5.1.2. Khái niệm, đặc điểm của mạng nơ-ron nhân tạo a. Khái niệm
Mạng nơ-ron nhân tạo được mô phỏng từ hệ thống thần kinh của con người để xử lý thông tin. Mạng nơ-ron cũng giống như con người, được học hỏi bởi kinh nghiệm, lưu những kinh nghiệm hiểu biết này và đem ra sử dụng trong những tình huống phù hợp.
Mạng nơ-ron là một nhánh của trí tuệ nhân tạo có từ năm 1943, khi Warren McCulloch và Walter Pitts đưa ra một mơ hình đơn giản các nơ-ron nhân tạo. Cho tới tận ngày nay, mơ hình này vẫn được xem như là nền tảng cho hầu hết các ANN.
Mạng nơ-ron gồm nhiều nơ-ron độc lập liên kết với nhau. Khi mạng hoạt động, một nơ-ron nhân tạo, còn được gọi là một đơn vị xử lý hay một nút, thực hiện chức
hợp, xử lý các tín hiệu vào để tính tín hiệu ra sau đó lan truyền sang các đơn vị khác như Hình 3. 15.
Hình 3. 18: Cấu tạo của nơ-ron nhân tạo [3]
Mối quan hệ giữa các tín hiệu đầu vào với tín hiệu đầu ra được thể hiện trong công thức sau:
𝑎𝑗 = ∑𝑛𝑖=1𝑤𝑗𝑖𝑥𝑖 + 𝑏𝑗 và 𝑧𝑗 = ℎ(𝑎𝑗) (3.14)
trong đó: xi với i=1,2,...,n là các tín hiệu đầu. Các tín hiệu của đầu vào có thể
lấy từ các dữ liệu từ bên ngồi mạng, hoặc đầu ra của một đơn vị khác, hoặc là đầu ra của chính nó
wji: Trọng số tương ứng với các đầu vào dùng để liên kết đặc trưng cho các khớp
thần kinh. Trọng số thể hiện mức độ ảnh hưởng của tín hiệuxi đến nơ-ron j
bj là độ lệch cịn gọi là ngưỡng (bias) kích hoạt của nơ-ron j được đưa vào như một thành phần của hàm truyền.
∑ là bộ cộng để thực hiện phép tính tổng các tích tín hiệu vào với trọng số liên kết tương ứng.
aj: Đầu vào mạng của nơ-ron j là tổng của các tín hiệu vào có trọng số và ngưỡng (θ) tạo nên tín hiệu vào của hàm truyền h(aj)
h(aj): Hàm truyền (hàm kích hoạt) thực hiện giới hạn đầu ra của nơ-ron
zj: Đầu ra của nơ-ron để gửi dữ liệu ra bên ngồi. Mỗi nơ-ron (đơn vị) j có thể có một hoặc nhiều đầu vào: xo, x1, x2, … xn nhưng chỉ có một đầu ra zj.
b. Đặc điểm của mạng nơ-ron nhân tạo
- Khả năng xấp xỉ hàm phi tuyến một cách đầy đủ và chính xác: Đặc điểm này rất quan trọng. Mạng nơ-ron được coi là công cụ mạnh để giải quyết các bài tốn có tính phi tuyến, phức tạp, đặc biệt trong các trường hợp mà mối quan hệ giữa các biến trong một mơ hình khơng rõ ràng.
- Sự tự thích nghi và tự tổ chức: Các mạng nơ-ron có khả năng xử lý thích nghi và biến đổi dựa vào các thuật toán học và quy tắc tự tổ chức. Khả năng xử lý thích nghi thể hiện ở khả năng điều chỉnh các trọng số trong mạng tuỳ theo sự thay đổi của môi trường xung quanh.
- Tính chịu lỗi: Não của con người có khả năng dung thứ lỗi, tức là với những thơng tin thiếu chính xác, khơng đầy đủ thì nó vẫn có thể xử lý, giải quyết được các vấn đề đặt ra. Mạng nơ-ron cũng bắt chước khả năng này của bộ não. Hệ thống mạng nơ-ron vẫn tiếp tục hoạt động và thay đổi, khi nhận tín hiệu vào có một phần thơng tin bị sai lệch hay bị thiếu hoặc khi một số nơ-ron khơng thực hiện tính tốn, hay một vài kết nối bị hỏng thì khả năng của mạng chỉ bị giảm đi chứ không bị đổ vỡ. Như vậy mạng nơ-ron ln đưa ra được kết quả thích hợp trong mọi tình huống. - Tính đồng dạng trong thiết kế: Các mơ hình mạng nơ-ron đều có chung đặc điểm là được cấu thành từ các nơ-ron riêng biệt liên kết với nhau. Liên kết càng phức tạp thì mơ hình mạng nơ-ron càng mạnh. Các mạng tổ hợp có thể xây dựng bằng cách tích hợp nhiều mạng khác nhau.
- Tuy nhiên ANN cũng có nhược điểm là đòi hỏi số lượng mẫu huấn luyện nhiều, khó tìm được điểm tối ưu tồn cục khi luyện mạng và cũng chưa có phương pháp luận chung để giải thích, diễn giải một cách rõ ràng sự hoạt động trong lớp ẩn.