Phương pháp này có thể áp dụng cho mọi luật hợp thành (MAX-MIN, SUM-MIN, MAX-PROD, SUM-PROD).
1.3. Mạng nơron
1.3.1. Mô hình một nơron sinh học
Qua quá trình nghiên cứu về bộ não, người ta thấy rằng: bộ não con người bao gồm khoảng 1011 nơron tham gia vào khoảng 1015 kết nối trên các đường truyền. Mỗi đường truyền này dài khoảng hơn một mét. Các nơron có nhiều đặc điểm chung với các tế bào khác trong cơ thể, ngoài ra chúng còn có những khả năng mà các tế bào khác không có được, đó là khả năng nhận, xử lý và truyền các tín hiệu điện hóa trên các đường mòn nơron, các con đường này tạo nên hệ thống giao tiếp của bộ nãọ
) y ( ' k B ) y ( ' k B ) y ( ' k B k k B' (y ) H k q k k k 1 q k k 1 y H ý H
Hình 1.10. Cấu trúc của một nơron sinh học điển hình
Mỗi nơron sinh học có 3 thành phần cơ bản: • Các sợi nhánh vào hình cây ( dendrites) • Thân tế bào (cell body)
• Sợi trục ra (axon)
Các nhánh hình cây truyền tín hiệu vào đến thân tế bàọThân tế bào tổng hợp và xử lý cho tín hiệu đi rạ Sợi trục truyền tín hiệu ra từ thân tế bào này sang nơron khác. Điểm liên kết giữa sợi trục của nơron này với nhánh hình cây của nơron khác gọi là synapsẹ
Liên kết giữa các nơron và độ nhạy của mỗi synapse được xác định bởi quá trình hóa học phức tạp. Một số cấu trúc của nơron được xác định trước lúc sinh rạMột số cấu trúc được phát triển thông qua quá trình học.Trong cuộc đời cá thể, một số liên kết mới được hình thành, một số khác bị hủy bỏ.
Như vậy nơron sinh học hoạt động theo cách thức sau: nhận tín hiệu đầu vào, xử lý các tín hiệu này và cho ra một tín hiệu output. Tín hiệu output này sau đó được truyền đi làm tín hiệu đầu vào cho các nơron khác.
Dựa trên những hiểu biết về nơron sinh học, con người xây dựng nơron nhân tạo với hy vọng tạo nên một mô hình có sức mạnh như bộ nãọ
1.3.2. Mô hình một nơron nhân tạo
Giống như các nơron sinh học, các nơron nhân tạo có thể liên kết với nhau tạo thành mạng. Có nhiều cách kết hợp các nơron nhân tạo thành mạng. Mỗi cách kết hợp tạo thành một loại lớp mạng nơron nhân tạo khác nhaụ
+ Dựa vào số lượng lớp có trong mạng nơron ta có thể phân loại thành: Mạng nơron một lớp; mạng nơron nhiều lớp.
+ Dựa vào đường truyền tín hiệu trong mạng nơron ta phân thành: Mạng nơron truyền thẳng; mạng nơron phản hồi; mạng nơron tự tổ chức.
Hình 1.11 cấu trúc của một số loại mạng nơ ron thường gặp:
Hình 1.11. Cấu trúc một số loại mạng nơron thường gặp
(c). Mạng nơron chỉ có một nơron tự hồi qui; (d). Mạng nơron hồi qui một lớp; (e). Mạng có cấu trúc ngang hạn chế; (f). Mạng nơron hồi qui nhiều lớp
Thông thường, các phần tử tổ chức thành nhóm hoặc lớp (layer), ta có:
+ Mạng nơron một lớp: là tập hợp các phần tử nơron có đầu vào và đầu ra trên mỗi một phần tử. Nếu mạng nơron nối các đầu ra của phần này với đầu vào của phần tử kia gọi là mạng tự liên kết (auto associative).
+ Mạng nơron hai lớp: gồm một lớp đầu vào và một lớp đầu rạ
+ Mạng nơron nhiều lớp: gồm một lớp đầu vào và một lớp đầu rạ Các lớp nằm giữa lớp đầu vào và lớp đầu ra gọi là các lớp ẩn (Hiđen layers).
+ Mạng nơron truyền thẳng: là mạng hai hay nhiều lớp mà quá trình truyền tín hiệu theo một hướng.
+ Mạng nơron phản hồi:là mạng mà trong đó một hoặc nhiều đầu ra của các phần tử lớp sau truyền ngược tới đầu vào của lớp trước.
+ Mạng nơron tự tổ chức: là mạng có khả năng sử dụng những kinh nghiệm quá khứ để thích ứng với những biến đổi của môi trường.
1.3.3. Các tính chất của mạng nơron nhân tạo
Mạng nơron nhân tạo có một số tính chất sau đây:
- Là hệ phi tuyến.
- Là hệ xử lý song song: Mạng nơron có cấu trúc song song, do đó có tốc độ tính toán rất cao, rất phù hợp với lĩnh vực nhận dạng và điều khiển.
- Là hệ học và thích nghi: Mạng được luyện từ các số liệu quá khứ, có khả năng tự chỉnh khi số liệu đầu vào bị mất, có thể điều khiển onlinẹ
- Là hệ nhiều biến, là hệ nhiều đầu vào, nhiều đầu ra (MIMO) rất tiện dùng khi điều khiển đối tượng có nhiều biến số.
1.3.4. Các luật học
Mạng nơron sử dụng hai nhóm luật học: thông số (parameter learning rules) và cấu trúc (structure learning rules).
+ Học cấu trúc: Có nhiệm vụ đưa ra cấu trúc hợp lý của mạng như thay đổi số lượng nơron hoặc thay đổi số lượng liên kết của các nơron trong mạng.
+ Học thông số: có nhiệm vụ tính toán cập nhật giá trị của trọng số liên kết wij, các tham số kích hoạt ặ).
Hai cách học trên có thể kết hợp được áp dụng đồng thời với nhau gọi là các luật học lai (hybrid learning rules) học cả thông số và cấu trúc, hoặc được áp dụng riêng rẽ.
Giả thiết mạng nơron có: Cấu trúc của mạng nơron gồm số lượng lớp nơron, số lượng nơron và cách thức liên kết của các trọng số có trong mạng đã hợp lý; Ma trận trọng số đã bao gồm tất cả các phần tử thích hợp.
Nhiệm vụ của học thông số là đưa ra phương pháp nào đó để tìm ma trận trọng số điều chỉnh từ ma trận trọng số tùy chọn ban đầu với cấu trúc của mạng nơron đã được xác định từ trước, thỏa mãn điều kiện sai lệch trong phạm vi cho phép.
Để làm điều đó, mạng nơron phải có phương pháp thích ứng để tính toán được các ma trận trọng số điều chỉnh w đặc trưng cho mạng. Phương pháp đó gọi là quá trình học, được thực hiện có hoặc không có tín hiệu để so sánh:
1.3.4.1. Học có giám sát
Cho trước p cặp tập mẫu tín hiệu vào – ra: (x(1), d(1)), ..., (x(k), d(k)), ..., (x(p), d(p)), với x là vector tín hiệu mẫu đầu vào x = (x(1), x(2), ..., x(p))T; và d là vector tín hiệu đầu ra mong muốn d = (d(1), d(2), ..., d(p))T.
Khi đưa một mẫu tín hiệu vào là x(k) vào đầu vào của mạng nơron, ở đầu ra có tín hiệu ra y(k) tương ứng. Sai lệch giữa hai vector tín hiệu d và y có nhiệm vụ điều chỉnh vector trọng số W của mạng nơron sao cho vector tín hiệu ra y của mạng bám theo được vector tín hiệu mong muốn d (giảm thiểu sai lệch giữa chúng). Kiểu học có giám sát được minh họa như Hình 1.12.
Hình 1.12. Sơ đồ mạng nơron học có giám sát
1.3.4.2. Học củng cố
Trong quá trình học giám sát, ở một mẫu vào ra nào đó cho rằng kết quả không tin cậy, vì vậy cần phải tiến hành kiểm tra lại mẫu nói trên. Kiểu học này được gọi là kiểu học củng cố được thể hiện qua hình 1.13.
Hình 1.13. Sơ đồ mạng nơ ron học củng cố
1.3.4.3. Học không giám sát
Kiểu học này có đặc điểm là không có tín hiệu lấy từ bên ngoàị Mạng phải tự tìm ra các mẫu, nét đặc trương, sự tương thích, phân loại trong dữ liệu đầu vào và mã hóa thành các mẫu ở đầu rạ
Trong quá trình học không giám sát hình 1.14 nếu mạng không thay đổi thông số của nó thì được gọi là tự tổ chức.
Hình 1.14. Sơ đồ mạng nơ ron học không giám sát
1.3.4.4. Dạng chung của học thông số
Hình 1.15 trình bày luật học thông số dạng cơ bản nhất cho nơron thứ ị Trong đó thành phân thông số ngưỡng có thể thay thế bằng phần tử thứ m của vector đầu vào thứ m, xm = -1 được kết nối bởi trọng số wim = bi.
Hình 1.15. Luật học thông số dạng cơ bản
Yêu cầu đối với hai kiểu học có giám sát và học củng cố: Cần phải có
tín hiệu mong muốn di, các trọng số của nơron thứ i được điều chỉnh theo các giá trị của tín hiệu vào, tín hiệu đầu ra và tín hiệu đầu ra mong muốn của nó.
Yêu cầu đối với kiểu học không giám sát: Trọng số của nơron thứ i chỉ
phụ thuộc vào giá trị của sự kết hợp cảu tín hiệu đầu vào and/or với tín hiệu đầu rạ
Nói chung các luật học có thông số (trọng số) đều có sự thay đổi giá trị của vector trọng số liên kết của nơ ron thứ i là wi tại thời điểm t tỷ lệ với tín hiệu học r và tín hiệu vào x(t).
Wi(t) = .r.x(t) (1.32)
Trong đó: Wi(t) chênh lệch trong cần cập nhật
là một số dương gọi là hằng số học, thể hiện tốc độ học của mạng, thông thường 0<<1.
r tín hiệu học thông thường phụ thuộc vào wi, x và di , thường là sai lệch giữa đích và đầu ra
r = fr(Wi, x, di) (1.33) x(t) tín hiệu vào
Biểu thức tính vector trọng số của nơ ron thứ i tại (t+1) là: Wi(t+1) = Wi(t) + . fr((Wi(t), x(t), di(t)). x(t)
1.3.5. Mạng nơron truyền thẳng sử dụng luật học có giám sát
1.3.5.1. Mô hình nơron nhân tạo M-P
Mô hình nhân tạo M-P do Mc Culloch và Pitts đề xuất năm 1943 như hình 1.16, trong đó:
xj(t): đầu vào thứ j ở thời điểm (t); y(t+ ): đầu ra của nơron; : thời gian xử lí tín hiệu; : ngưỡng; wj: trọng nối từ đầu vào thứ j f(.): hàm chuyển đổi phi tuyến ặ): Hàm chuyển đổi tuyến tính
Hình 1.16. Nơron M-P
Phương trình mô tả:
Y(t+ ) = (1.34)
(1.35)
1.3.5.2. Các mạng truyền thẳng
* Mạng Percetron 1 lớp (Rosenblatt, 1962)
Mạng perceptron nơron 1 lớp (single – layer perceptron networks) còn được gọi là perceptron đơn giản do Rosenblatt đề xuất vào năm 1962.
Cấu trúc: Mạng perceptron một lớp có cấu trúc là một lớp nơron truyền thẳng
được mô tả như Hình 1.17.
Hình 1.17. Mạng Perceptron 1 lớp
Trong đó vector tín hiệu vào: x= [x1, x2, ...,xj,...,xm]T, với j = 1,2,...,m; thành phần đầu vào thứ m là xm = -1.
Vector tín hiệu ra: y = [y1, y2, ...,yi,...,yn]T, với i = 1,2,...,n; thành phần đầu vào thứ m là xm = -1.
Vector trọng số liên kết giữa tín hiệu vào với nơron thứ i có dạng:
m j j j 1 y(t ) a w x (t) 0 f nÕu 0 0 f nÕu ) (f 1 a
wi = [wi1, wi2,...,yim]T
Vector bộ nhớ tín hiệu mẫu ra: d = [d1, d2,...,di,...,dn]T Vector sai lệch: e = [e1, e2, ...,ei,...,en]T, với i = 1,2,...,n
Phương trình mô tả:
(1.36)
(1.37) hoặc yi = sgn(WiTx)
Luật học Perception: (Rosenblatt)
Cho trước bộ mẫu tín hiệu vào: x(k)= [x1(k), x2(k),...,xm(k)]T, tương ứng với mẫu tín hiệu ra: d(k) = [d1(k), d2(k),...,dn(k)]T với k = 1, 2,...,p, trong đó p là số lượng cặp mẫu vào rạ Điều mong muốn là sau khi học đạt được kết quả y(k)=d(k), với tín hiệu ra của mạng y(k) = [y1(k), y2(k), ...,yn(k)]T, nghĩa là:
(1.38) Luật học perceptron dùng cho mạng perceptron một lớp gồm LTU sử dụng tìm vector trọng số trong quá trình học bộ mẫu vào ra cho trước.
Tín hiệu học r ở đây được chọn là sai số giữa đích và đầu ra:
r = di - yi (1.39)
Thay vào (3.10) ta có:
Wịj = [di- sgn(wiTx)]xj = (1.40) hoặc: Wị = [di-Sgn(wiTx)]x = (1.41)
Ý nghĩa: Bài toán phân lớp (tách) tuyến tính nhờ một nơron perceptron
ta có thể chia các đối tượng.
* Mạng truyền thẳng nhiều lớp m T i ij j i i j 1 y a w x ăw x) d 1 ăf ) sgn(f ) 1 nÕu f 0 nÕu f < 0 m (k) (k) T (k) (k) i ij j i i j 1 y a w x ăw x ) d i i j i d 0 d x d η 2 i i y nÕu y nÕu i i i i i 2 d x y d 0 y d nÕu nÕu
Mạng truyền thẳng nhiều lớp (multilayer feedforward network) có nhiều lớp nơron: một lớp vào, một hoặc nhiều lớp ẩn và một lớp rạ
Lớp vào (input layer): gồm m nơron tín hiệu vàọ
x = [x1, x2, ....,xj, ....,xm]T , với j = 1, 2, ....,m Lớp ra (output layer): gồm n nơron có tín hiệu rạ
y = [y1, y2, ....,yi, ....,yn]T , với i = 1, 2, ....,n
Các lớp ẩn: Có thể có một hoặc nhiều lớp ẩn, với đặc điểm là các nơron không
liên hệ trực tiếp với tín hiệu vào x và tín hiệu ra ỵ
Hình 1.18 mô tả mạng truyền thẳng 3 lớp (có một lớp ẩn). Mỗi nơron thứ q ở lớp ẩn liên kết với lớp vào bằng trọng số wqj và liên kết với lớp ra bằng trọng số wiq, với j = 1, 2, ..., m; q = 1, 2, ..., l ; i = 1, 2, ..., n.
Hình 1.18. Mạng nơron truyền thẳng ba lớp
Chú ý: Các mạng truyền thẳng nhiều lớp dùng để giải những bài toán
mà mạng một lớp không làm được. Chẳng hạn như bài toán phân lớp XOR.
1.4. Kết luận chương 1
Chương 1 trình bày cơ sở lý thuyết về lý thuyết tập mờ, lý thuyết mạng nơ-ron, tổng quan về nhận dạng. Nội dung chương 1 là kiến thức cơ sở để tiếp tục nghiên cứu cho các nội dung về thuật toán kết hợp mạng nơ-ron với hệ mờ bao gồm: mối liên quan giữa hệ mờ và mạng nơron, các dạng kết hợp giữa hệ mờ và mạng nơron, nghiên cứu thuật toán kết hợp giữa mô hình mạng nơron và hệ mờ.
Chương 2
THUẬT TOÁN KẾT HỢP MẠNG NƠRON VỚI HỆ MỜ
2.1. Sự kết hợp giữa hệ mờ và mạng nơron 2.1.1. Khái niệm 2.1.1. Khái niệm
Khi khảo sát mạng nơron và logic mờ, mỗi loại đều có điểm mạnh, điểm yếu riêng của nó.
Bảng 2.1. Logic mờ và mạng nơron thể hiện trái ngược nhau
Logic mờ Mạng nơron
Ưu điểm
- Dễ dàng thiết kế một hệ thống mong muốn chỉ bằng các luật If-Then gần với việc xử lý của con người, cho phép tạo ra lời giải đơn giản hơn, trong khoảng thời gian ngắn hơn.
- Dễ dàng sử dụng những hiểu biết của mình về đối tượng để tối ưu hệ thống một cách trực tiếp.
- Xử lý song song nên tốc độ xử lý rất nhanh.
- Có khả năng học hỏi, có thể huấn luyện mạng để xấp xỉ một hàm phi tuyến bất kỳ, đặc biệt khi đã biết một tập dữ liệu vào/rạ..
Nhược điểm
- Việc thiết kế và tối ưu hóa hệ logic mờ đòi hỏi phải có một số kinh nghiệm về điều khiển đối tượng.
- Nhiều vấn đề đặt ra mà nếu chỉ dừng lại ở tư duy logic mờ thì hầu như chưa có lời giải, ví dụ: Số tập mờ trong mỗi biến ngôn ngữ cần chọn bao nhiêu là tối ưủ Hình dạng các tập mờ?...
- Khó giải thích rõ ràng hoạt động của mạng nơron như thế nào, do vậy việc chỉnh sửa trong mạng nơron rất khó khăn.
Thể hiện tri thức
Tường minh, dễ kiểm chứng hoạt động và dễ sửa đổị
Không tường minh, khó giải thích và sửa đổị
Khả năng học
Không có khả năng học: bạn phải tự kiểm tra tất cả
Có khả năng học thông qua các dữ liệụ
Từ những phân tích trên, ta thấy nếu kết hợp logic mờ và mạng nơron, ta sẽ có một hệ lai với ưu điểm của cả hai: logic mờ cho phép thiết kế hệ dễ dàng, tường minh trong khi mạng nơron cho phép học những gì mà ta yêu cầu của bài toán. Nó sửa đổi các hàm phụ thuộc về hình dạng, vị trí và sự kết hợp,...hoàn toàn tự động. Điều này làm giảm bớt thời gian cũng như giảm bớt chi phí khi phát triển hệ (hình 2.1).
Hình 2.1. Mô hình hệ mờ-nơron
2.1.2. Kết hợp hệ mờ và mạng nơron
Những ưu nhược điểm của mạng nơron và hệ mờ:
Mạng nơ-ron có khuyết điểm lớn là tính chất “hộp đen” của nó. Dữ liệu được đưa vào mạng, quá trình tính toán xảy ra và cho kết quả ở ngõ rạ Tuy vậy, ta không biết một cách chính xác chuyện gì đã xảy rạ
Logic mờ thì ngược lại, các tập luật của chúng rất gần gũi với tri thức con ngườị Tuy nhiên, logic mờ lại không có được khả năng tự học của mạng nơ-
ron. Các luật mờ và hàm liên thuộc chỉ có thể được điêu chỉnh bằng taỵ
Bảng 2.2. Ưu nhược điểm của mạng nơron và hệ mờ
Tính chất Mạng Nơron Hệ mờ
Thể hiện tri thức Thông qua trọng số được thể hiện ẩn trong mạng Được thể hiện ngay tại luật hợp thành Nguồn của tri thức Từ các mẫu học Từ kinh nghiệm