Phân Loại Mạng Nơron.docx

Mạng Nơron 1 PHÂN LOẠI MẠNG NƠRON I GiớI thiệu về mạng nơron 2 II Phân loạI mạng nơron 3 II 1 Các tiêu chí phân loạI mạng nơron 3 II 1 1 Các tiêu chí 3 II 1 2 Phân loạI một số mạng nơron theo các tiêu[.]

PHÂN LOẠI MẠNG NƠRON I GiớI thiệu mạng nơron II Phân loạI mạng nơron II.1 Các tiêu chí phân loạI mạng nơron II.1.1 Các tiêu chí II.1.2 Phân loạI số mạng nơron theo tiêu chí II.2 GiớI thiệu sơ mạng nơron II.2.1 Feedforward neural network 7 a) Single layer perceptron b) Multi layer perceptron c) ADALINE 11 d) Radial basis function (RBF) 14 e) Self organizing map (SOM) 15 f) Learning vector quatization (LVQ) 17 II.2.2 Feedback neural network a) Recurrent network 19 19 a.1) The Jordan network 19 a.2) The Elman network 20 a.3) Mạng Hopfield 21 b) Boltzmann machine 25 c) BAM 28 III Các tài liệu tham khảo 29 PHÂN LOẠI MẠNG NƠRON I GiớI thiệu mạng Nơron Mạng nơron bao gồm mạng lướI phần tử xử lý đơn giản (nơron) thực hành động phức tạp bởI liên kết phần tử xử lý phần tử tham số Nguồn gốc ý tưởng cho kỹ thuật từ việc xem xét hệ thần kinh trung ương thành phần xử lý thông tin quan trọng nó, nơron Trong mơ hình mạng nơron, node đơn giản (được gọI nơron, unit, PE (phần tử xử lý), hay neurode) kết nốI vớI để tạo thành mạng nút – tạo nên thuật ngữ mạng nơron Mạng nơron dùng thực tế thường kèm vớI thuật toán đươc thiết kế để thay đổI trọng số liên kết mạng để tạo dịng tín hiệu mong muốn Các mạng nơron giống mạng nơron sinh học chỗ, chức thực chung song song bởI unit, không phảI phân chia thành công việc nhỏ gán cho unit Các mơ hình mạng nơron trí tuệ nhân tạo thường gọI mạng nơron nhân tạo (ANNs) Các đặc điểm tiêu biểu ANNs khác thường thấy máy tính Những đặc điểm học thích ứng (adaptive learning), tự tổ chức (self-organization), chịu lỗI (error tolerance), thao tác thờI gian thực xử lý song song (real-time operation and parallel information processing) Học ANNs đựợc hiểu mạng thay đổi hành động dựa liệu vào Thay “bảo” mạng cách “phản ứng” lạI vớI loạI liệu lập trình thơng thường, đây, tự mạng tìm tính chất liệu Việc học tiếp tục có liệu Khi liệu truyền cho ANNs, tổ chức cấu trúc để phản ánh tính chất liệu Trong phần lớn mơ hình ANNs, thuật ngữ tự tổ chức đề cập đến việc xác định trọng số liên kết nơron Cách mà cấu trúc bên ANN thay đổI xác định thuật tốn học Các mơ hình mạng khác phân biệt bởI kiến trúc bên chúng thuật toán học mà chúng sử dụng Sự chịu lỗI tính chất quan trọng ANN Đó khả tìm kiếm tổng qt hố cho liệu Đặc tính cho phép xử lý liệu mớI, khơng hồn chỉnh méo mó (distorted) II Phân loạI mạng nơron II.1 Các tiêu chí phân loạI mạng nơron II.1.1 Các tiêu chí BờI tất mạng nơron nhân tạo dựa khái niệm nơron, liên kết hàm truyền nên có giống kiến trúc hay cấu trúc khác mạng nơron Phần lớn khác bắt nguồn từ quy tắc học khác cách quy tắc thay đổI kiến trúc mạng Hiện có nhiều loạI mạng nơron Khơng biết có xác loại MỗI tuần có loạI mớI (hay biến thể loạI cũ) tạo DướI tập hợp vài loạI biết đến nhiều Có hai loạI thuật toán học chủ yếu giám sát (supervised) khơng giám sát (unsupervised):  Trong thuật tốn học giám sát, giá trị thực so sánh vớI giá trị mong muốn Các trọng số, thường gán giá trị ngẫu nhiên lúc bắt đầu, điều chỉnh bởI mạng để lần lặp hay chu trình tạo kết gần vớI kết mong muốn Cách học cố gắng giảm lỗI tạI tất phần tử xử lý LỗI tổng giảm theo thờI gian cách liên tục thay đổI trọng số đầu vào mạng vớI độ xác chấp nhận được tạo VớI cách học giám sát, mạng nơron nhân tạo phảI “dạy” trước dùng Việc “dạy “ bao gồm việc đưa liệu vào cho mạng Dữ liệu thường gọI tập dùng để “dạy” (training set) Ứng vớI mỗI tập vào cho hệ thống, tập mong muốn tương ứng vớI cung cấp Trong phần lớn ứng dụng, phảI dùng liệu thực Giai đoạn “dạy” chiếm nhiều thờI gian Việc học coi hoàn thành mạng nơron đạt tớI mức thực ngườI sử dụng xác định trước Mức có nghĩa mạng đạt độ xác thống kê mong muốn đưa cácdữ liệu yêu cầu cho chuỗil liêp tiếp đầu vào Khi không cần phảI học nữa, trọng số thường giữ nguyên, không cho thay đổI ứng dụng Một vài loạI mạng cho phép tiếp tục “dạy”, vớI tốc độ chậm nhiều, hoạt động Điều giúp cho mạng thích ứng vớI thay đổI sau Tập dùng để “dạy” phảI lớn để chứa tồn thơng tin cần thiết để mạng học đặc tính quan hệ quan trọng Dữ liêu phảI đa dạng Cách liệu biểu diễn hay mã hoá quan trọng để “dạy” thành công mạng Mạng nhân tạo làm việc vớI liệu vào số Do đó, liệu gốc từ mơi trường bên ngồi thường phảI chuyển đổI NgườI thiết kế mạng phảI tìm định dạng liệu tốt kiến trúc mạng tương ứng cho mỗI ứng dụng Sau mạng giám sát thực tốt tập liệu dùng để “dạy”, điều quan trọng xem làm vớI liệu chưa gặp Nếu hệ thống cho kết qua không chấp nhận vớI tập dùng để kiểm tra, giai đoạn đào tạo tiếp tục Việc kiểm tra quan trọng để đảm bảo rằng, mạng không đơn giản nhớ tập liệu cho mà học mẫu tổng quát bao hàm ứng dụng  Trong thuật toán học không giám sát, NN không cung cấp kết q trình dạy Nó khơng sử dụng tác động từ bên để điều chỉnh trọng số chúng Thay vào đó, chúng theo dõi thực chúng Những mạng tìm kiếm quy tắc từ tín hiệu vào thực thay đổI theo chức mạng Mặc dù không dạy hay sai, mạng phảI có vài thơng tin làm để tự tổ chức Thơng tin gắn vào kiến trúc mạng quy tắc học Một thuật tốn học nhấn mạnh vào hợp tác nhóm phần tử xử lý Trong lược đồ vậy, nhóm phảI làm việc Nếu đầu vào từ bên ngồi kích hoạt nút nhóm, hoạt động tồn nhóm tăng lên Ngược lạI, đầu vào bên ngồi nút bị giảm, ảnh hưởng đến tồn nhóm Cạnh tranh phần tử xử lý tạo thành tảng cho việc “học” Đào tạo nhóm cạnh tranh khuyếch đạI trả lờI số nhóm định vớI tác nhân định Nó liên kết nhóm lạI vớI đáp ứng phù hợp Ở thờI điểm tạI, học không giám sát chưa hiểu rõ chủ đề nhiều nghiên cứu Sự phân biệt phương pháp giám sát không giám sát không phảI lúc rõ ràng Một phương pháp không giám sát học tóm tắt phân bổ xác suất sau dùng phân bố giản lược để đưa dự đốn Xa nữa, phương pháp giám sát chia làm hai loạI: liên kết tự động (auto-associative) liên kết khác kiểu (hetero-associative) Trong học liên kết tự động, giá trị mục tiêu giống giá trị đầu vào, học liên kết khác kiểu, mục tiêu thường khác vớI đầu vào Rất nhiều phương thức học không giám sát tương đương vớI phương thức học liên kết tự động Hai loạI kiến trúc mạng feedforward feedback  Trong feedforward NN, liên kết phần tử khơng tạo thành chu trình Feedforward NN thường tạo kết nhanh có đầu vào Phần lớn feedforward NN “dạy” cách sử dụng nhiều phương pháp số hiệu bên cạnh thuật toán tạo bởI nhà nghiên cứu NN  Trong mạng feedback hay hồI quy (recurrent) NN, có chu trình liên kết Trong vài feedback NN, mỗI lần có liệu vào, NN phảI làm làm lạI thờI gian lớn trước cho kết “Dạy” Feedback NN thường khó so vớI feedforward NN Một vài loạI NN thực thi mạng feedforward hay mạng Feedback NN cịn khác biệt liệu mà nhận Hai loạI liệu định lượng (quantitative) rõ ràng (categorical)  Các biến categorical nhận số lượng định giá trị thường có nhiều trường hợp loạI Các biến categorical nhận giá trị mang tính biểu tượng (như “male” “female”, “red”, “green” “blue”) mà phảI mã hoá thành số trước đưa cho mạng Cả học giám sát vớI giá trị mục tiêu categorical học không giám sát vớI đầu categorical gọI “sự phân loạI” (classification)  Các biến quantitative đo lường số vài thuộc tính, đo chiều dài mét Phép đo phảI thực theo cách cho vài mốI quan hệ số học phảI phản ánh mốI quan hệ tương ứng thuộc tính đốI tượng đo lường Học giám sát vớI giá trị mục tiêu quantitative gọI “hồI quy” (regression) Một vài biến coi categorical hay quantitative, ví dụ số hay biến nhị phân Phần lớn thuật toán hồI quy dùng cho việc phân loạI giám sát (supervised classification) cách mã hoá giá trị mục tiêu biến nhị phân 0/1 sử dụng biến nhị phân giá trị đích cho thuật tốn hồI quy II.1.2 Phân loạI số mạng nơron theo tiêu chí Supervised Feedforward o Linear o Hebbian - Hebb (1949), Fausett (1994) o Perceptron - Rosenblatt (1958), Minsky and Papert (1969/1988), Fausett(1994) o Adaline - Widrow and Hoff (1960), Fausett (1994) o Higher Order - Bishop (1995) o Functional Link - Pao (1989) o MLP: Multilayer perceptron - Bishop (1995), Reed and Marks (1999), Fausett (1994) o Backprop - Rumelhart, Hinton, and Williams (1986) o Cascade Correlation - Fahlman and Lebiere (1990), Fausett(1994) o Quickprop - Fahlman (1989) o RPROP - Riedmiller and Braun (1993) o RBF networks - Bishop (1995), Moody and Darken (1989), Orr (1996) o OLS: Orthogonal Least Squares - Chen, Cowan and Grant(1991) o CMAC: Cerebellar Model Articulation Controller - Albus (1975), Brown and Harris (1994) o Classification only o LVQ: Learning Vector Quantization - Kohonen (1988), Fausett (1994) o PNN: Probabilistic Neural Network - Specht (1990), Master (1993), Hand (1982), Fausett (1994) o Regression only o GNN: General Regression Neural Network - Specht (1991), Nadaraya(1964), Watson (1964) Feedback - Hertz, Krogh, and Palmer (1991), Medsker and Jain (2000) o BAM: Bidirectional Associative Memory - Kosko (1992), Fausett(1994) o Boltzman Machine - Ackley et al (1985), Fausett (1994) o Recurrent time series o Backpropagation through time - Werbos (1990) o Elman - Elman (1990) o FIR: Finite Impulse Response - Wan (1990) o Jordan - Jordan (1986) o Real-time recurrent network - Williams and Zipser (1989) o Recurrent backpropagation - Pineda (1989), Fausett (1994) o TDNN: Time Delay NN - Lang, Waibel and Hinton (1990) Competitive o ARTMAP - Carpenter, Grossberg and Reynolds (1991) o Fuzzy ARTMAP - Carpenter, Grossberg, Markuzon, Reynolds and Rosen(1992), Kasuba (1993) o Gaussian ARTMAP - Williamson (1995) o Counterpropagation - Hecht-Nielsen (1987; 1988; 1990), Fausett (1994) o Neocognitron - Fukushima, Miyake, and Ito (1983), Fukushima(1988), Fausett (1994)