Qua kết quả mô phỏng và so sánh giữa hai giải pháp ứng dụng mạng nơron truyền thẳng nhiều lớp (2x10x20x1) [2] và mạng nơron Elman (2x5x(5)x1) cùng thực hiện nhận dạng (1) cho phép ta kết luận rằng mạng nơron Elman thật sự là một loại mạng nơron hồi quy có nhiều ƣu điểm. Khi đƣợc sử dụng giải quyết cùng một bài toán nhận dạng hàm phi tuyến (1), mạng Elman với cấu trúc không quá phức tạp nhƣng lại có một số ƣu điểm nổi trội và tỏ ra có hiệu quả hơn hẳn so với khi sử dụng mạng nơron truyền thẳng nhiều lớp về các mặt: số lƣợng nơron trong mạng ít hơn, khi cùng sử dụng số chu kỳ học nhƣ nhau, nhƣng lại đạt đƣợc độ chính xác cao hơn.
KẾT LUẬN VÀ KIẾN NGHỊ
Kết luận :
1. Qua phân tích mô hình mạng nơ ron ta thấy mạng nơ ron có các tính chất sau:
- Là hệ phi tuyến.
- Là hệ xử lý song song.
- Là hệ học và thích nghi, mạng đƣợc luyện từ số liệu quá khứ, có khả năng tự chỉnh khi số liệu đầu vào bị mất.
- Là hệ nhiều biến, có nhiều đầu vào / ra (MIMO) rất tiện dùng khi điều khiển đối tƣợng có nhiều biến số.
- Có khả năng học và làm xấp xỉ các hàm toán học bất kỳ với độ chính xác tùy ý.
2. Có nhiều phƣơng pháp ứng dụng mạng nơron để nhận dạng đối tƣợng, trong đó nổi bật là hai phƣơng pháp nhận dạng on-line và nhận dạng off-linẹ Trong hai phƣơng pháp trên thì phƣơng pháp nhận dạng off-line có nhiều ƣu điểm; nó có thể sử dụng đồng thời tất cả các dữ liệụ Nhận dậng off-line sử dụng khi cần thiết phải xử lý rất nhiều tín hiẹu cùng một lúc.
Phƣơng pháp sử dụng mạng nơron nhận dạng đối tƣợng theo đặc tính vào - ra, là điểm mạnh của về ứng dụng của mạng nơron. Sử dụng mạng nơron để nhận dạng đối tƣợng có nhiều ƣu điểm hơn so với phƣơng pháp nhận dạng truyền thống vì:
- Mạng nơron là hệ học và thích nghi có khả năng học on-line hoặc off- line từ các số liệu quá khứ, do đó kết quả nhận dạng có thể đạt đƣợc độ chính xác rất caọ
- Mạng nơron là hệ xử lý song song do đó tốc độ tính toán cao, mà các phƣơng pháp nhận dạng truyền thống khó có thể đạt đƣợc.
- Mạng nơron là hệ MIMO, do đó rất tiện dùng khi nhận dạng cho đối tƣợng nhiều biến.
Với bản chất “HỌC” mạng nơron có một trong những ứng dụng rất đặc trƣng đó là nhận dạng đối tƣợng căn cứ vào đặc tính vào - ra của nó.
Mạng nơ ron có cấu tạo đơn giản, có luật học lan truyền ngƣợc rất nổi tiếng thực hiện dễ dàng và có hiệu quả cao phù hợp với thực hiện quá trình học cho các đối tƣợng là tuyến tính và phi tuyến tính.
3. Qua kết quả mô phỏng và so sánh giữa hai giải pháp ứng dụng mạng nơron truyền thẳng nhiều lớp (2x10x20x1) [2] và mạng nơron Elman (2x5x(5)x1) cùng thực hiện nhận dạng (1) cho phép ta kết luận rằng mạng nơron Elman thật sự là một loại mạng nơron hồi quy có nhiều ƣu điểm. Khi đƣợc sử dụng giải quyết cùng một bài toán nhận dạng hàm phi tuyến (1), mạng Elman với cấu trúc không quá phức tạp nhƣng lại có một số ƣu điểm nổi trội và tỏ ra có hiệu quả hơn hẳn so với khi sử dụng mạng nơron truyền thẳng nhiều lớp về các mặt: số lƣợng nơron trong mạng ít hơn, khi cùng sử dụng số chu kỳ học nhƣ nhau, nhƣng lại đạt đƣợc độ chính xác cao hơn.
Kiến nghị:
Do thời gian nghiên cứu có hạn trong khuôn khổ luận văn này mới chỉ tìm hiểu đƣợc giai đoạn 1 bài toán là: ứng dụng mạng nơron Elman để nhận dạng đối tƣợng, giai đoạn thứ 2 của bài toán là:
+ Giải quyết bài toán vừa nhận dạng vừa điều khiển (on – line). + Nghiên cứu các thuật toán tăng tốc độ học của mạng nơron.
Vì vậy luận văn này là một hƣớng nghiên cứu mở, có thể phát triển tiếp tục hƣớng nghiên cứu này ở các công trình khoa học cấp cao hơn.
TÀI LIỆU THAM KHẢO
1. Phạm Hữu Đức Dục - 1999 - Nghiên cứu ứng dụng mạng nơ ron trong điều khiển thích nghi hệ thống có thông số biến thiên - Luận án tiến sĩ kỹ thuật.
2. Phạm Hữu Đức Dục, Nguyễn Công Hiền – 2005 - Ứng dụng bộ điều khiển nơ ron mờ trong điều khiển thích nghi vị trí động cơ điện một chiều - Tuyển tập báo cáo khoa học tại hội nghị toàn quốc lần thứ VI về Tự động hoá 101-106.
3. Phạm Hữu Đức Dục, Nguyễn Công Hiền - Nghiên cứu ứng dụng mạng nơ ron mờ điều khiển thích nghi rô bốt hai khâu - Tuyển tập các báo cáo khoa học tại hội nghị toàn quốc lần thứ VI về Tự động hoá 107- 112.
4. Nguyễn Nhƣ Hiển, Lại Khắc Lãi (2007), Hệ mờ và nơron trong kỹ thuật điều khiển. Nhà xuất bản khoa học tự nhiên và côngnghệ. Hà Nôị
5. Nguyễn Doãn Phƣớc, Phan Xuân Minh (2001), Nhận dạng hệ thống điều khiển - Nhà xuất bản Khoa học và kỹ thuật. Hà Nộị
6. Lê Minh Trung (1999), Giáo trình mạng nơron nhân tạo - Nhà xuất bản thống kê.
7. Lại Khắc Lãi - Giáo trình mạng nơ ron - Nhà xuất bản Khoa học và Kỹ thuật. 8. Somloj, Lantosb, Pham Thƣơng Cat - Advance - Robot control
akademiai -Kiado - Pudapest, 1997.
9. Phạm Hữu Đức Dục - 2009 - Mạng nơ ron và ứng dụng trong điều khiển tự động.
10.Bùi Quốc Khánh, Nguyễn Văn Liễn, Phạm Quốc Khải, Dương Văn Nghi - Điều chỉnh tự động truyền động.
11.Bùi Quốc Khánh, Nguyễn Văn Liễn - Cơ sở truyền động điện - Nhà xuất bản Khoa học kỹ thuật.
LUẬN VĂN THẠC SỸ KỸ THUẬT CHUYÊN NGÀNH: TỰ ĐỘNG HÓA
MỤC LỤC
PHẦN MỞ ĐẦU ... 1
CHƢƠNG Ị TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO ... 4
1.1 . LỊCH SỬ PHÁT TRIỂN CỦA MẠNG NƠ RON NHÂN TẠỌ ... 4
1.2 . CÁC TÍNH CHẤT CỦA MẠNG NƠ RON NHÂN TẠỌ ... 5
1.3 . MÔ HÌNH NƠ RON ... 5
1.3.1.Mô hình nơ ron sinh học. ... 5
1.3.1.1 Chức năng, tổ chức và hoạt động của bộ não con ngƣờị ... 5
1.3.1.2. Mạng nơron sinh học... 8
1.3.2. Mạng nơ ron nhân tạọ ... 9
1.3.2.1. Khái niệm. ... 9
1.3.2.2. Phân loại mạng nơ ron. ... 13
1.3.2.3. Các luật học. ... 15
1.4. Mô hình toán học mạng nơ ron truyền thẳng và mạng nơ ron elman. ... 19
1.4.1. Mạng nơ ron truyền thẳng. ... 19
1.4.1.1. Mạng nơ ron một lớp... 19
1.4.2. Mạng nơron Elman: ... 24
1.4.2.1. Cấu trúc mạng nơron Elman: ... 24
1.4.2.2. Luật học. ... 26
1.5. QUÁ TRÌNH HUẤN LUYỆN MẠNG NHIỀU LỚP. ... 27
1.5.1. Quá trình thực hiện. ... 27
1.5.2. Qui tắc chuỗị ... 28
1.5.3. Độ chính xác của thuật toán lan truyền ngƣợc. ... 29
1.5.4. Biến thể của thuật toán lan truyền ngƣợc. ... 30
1.5.5. Tổng quát (Phép nội suy và ngoại suy). ... 30
1.6. CÔNG NGHỆ PHẦN CỨNG SỬ DỤNG MẠNG NƠ RON. ... 33
1.7. SO SÁNH KHẢ NĂNG CỦA MẠNG NƠ RON VỚI MẠCH LOGIC. ... 34
KẾT LUẬN CHƢƠNG 1 ... 35
CHƢƠNG IỊ ỨNG DỤNG MẠNG NƠ RON TRONG NHẬN DẠNG ... 36
2.1. CÁC VẤN ĐỀ CHUNG ... 36
2.2. ỨNG DỤNG MẠNG NƠ RON ... 36
2.2.1. Cơ sở lý luận ... 36
LUẬN VĂN THẠC SỸ KỸ THUẬT CHUYÊN NGÀNH: TỰ ĐỘNG HÓA
2.2.3 Mô hình nhận dạng dùng mạng nơ ron. ... 41
2.2.3.1.Mô hình nhận dạng song song. ... 41
2.2.3.2.Mô hình nhận dạng nối tiếp-song song. ... 43
KẾT LUẬN CHƢƠNG 2 ... 47
CHƢƠNG IIỊ ỨNG DỤNG MẠNG NƠRON TRONG NHẬN DẠNG ĐỐI TƢỢNG PHI TUYẾN ... 48
3.1. Mạng nơ ron truyền thẳng nhiều lớp. ... 48
3.1.1.Sơ đồ khối mạng nơ ron truyền thẳng nhiều lớp(3lớp). ... 48
3.1.2.Thuật toán học lan truyền ngƣợc của sai lệch (Back Propagation Learning Rule). ... 49
3.2.Cấu trúc mạng nơ ron Elman ... 52
3.2.1.Cấu trúc ... 52
3.2.2. Luật học. ... Error! Bookmark not defined. 3.3. Ứng dụng mạng nơ ron Elmal nhận dạng đối tƣợng phi tuyến. . ... 54
3.3.2. Giai đoạn kiểm tra ... 59
3.4. Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng đối tƣợng phi tuyến. ... 61
3.4.1. Giai đoạn học ... 62
3.4.2. Giai đoạn kiểm tra ... 65
3.5. So sánh mạng mạng nơ ron Elmal và mạng nơ ron truyền thẳng nhiều lớp ... 67
3.7. Kết luận chƣơng III ... 68
KẾT LUẬN VÀ KIẾN NGHỊ ... 68
LUẬN VĂN THẠC SỸ KỸ THUẬT CHUYÊN NGÀNH: TỰ ĐỘNG HÓA
LỜI NÓI ĐẦU
Trong hệ thống điều khiển hiện đại, có rất nhiều phƣơng pháp điều khiển đảm bảo đƣợc tốt chất lƣợng điều khiển. Trong điều khiển tự động, để điều khiển chính xác đối tƣợng khi chƣa biết rõ đƣợc thông số, trƣớc tiên ta phải hiểu rõ đối tƣợng đó. Đặc biệt đối với các đối tƣợng phi tuyến ta cần dạng đƣợc đặc tính vào-ra của nó để đảm bảo tạo ra tín hiệu điều khiển thích nghi đƣợc lựa chọn chính xác hơn. Những bộ điều khiển hiện đại thƣờng đƣợc sử dụng nhƣ lôgic mờ, mạng nơron, mạng nơron mờ để nhận dạng và điều khiển thích nghi hệ thống phi tuyến.
Trong thời gian của khoá học cao học, chuyên ngành Tự động hoá tại trƣờng Đại Học Kỹ Thuật Công Nghiệp Thái Nguyên, đƣợc sự tạo điều kiện giúp đỡ của nhà trƣờng và PGS.TS Phạm Hữu Đức Dục em đã lựa chọn đề tài của mình là:
“Nghiên cứu ứng dụng mạng nơron trong nhận dạng đối tƣợng phi tuyến”. Trong khoảng 6 tháng thực hiện đề tài, đƣợc sự hƣớng dẫn nhiệt tình của PGS.TS Phạm Hữu Đức Dục, sự giúp đỡ của bạn bè cùng với sự nỗ lực, cố gắng của mình bản luận văn đến nay đã hoàn thành.
Dù đã có nhiều cố gắng, xong bản luận văn vẫn không tránh khỏi những thiếu sót và hạn chế, em rất mong nhận đƣợc sự góp ý của các thầy để bản luận văn đƣợc tốt hơn.
Em xin trân trọng cảm ơn!
Học viên
LUẬN VĂN THẠC SỸ KỸ THUẬT CHUYÊN NGÀNH: TỰ ĐỘNG HÓA
DANH MỤC CÁC CHỮ VIẾT TẮT, TIẾNG NƢỚC NGOÀI
STT Ký hiệu Diễn giải
1 Neural Nơron
2 Artificial Neural Nơron nhân tạo
3 Artificial Neural Networks Mạng nơron nhân tạo
4 Back Propagation Learaning Rule Luật học lan truyền ngƣợc
5 Fuzzy logic Lôgic mờ
6 Fuzzy Neural Networks Mạng nơron mờ
7 Recall Gọi lại
8 Input Layer Lớp vào
9 Output Layer Lớp ra
10 Hiđen layer Lớp ẩn
11 Learing Học
12 Reinforcement Learning Học củng cố
13 Paramater Learning Học thông số
14 Structure Learning Học cấu trúc
15 Supervised Learning Học có giám sát
16 Unsupervised Learning Học không có giám sát
17 Focused Back - Propgation Networks Mạng lan truyền ngƣợc hội tụ
18 Recurrent Neural Networks Mạng nơron hồi quy
19 Single Node Neural NetWorks Mạng chỉ có một nơron
20 Single Layer Feedforward NetWork Mạng một lớp truyền thẳng 21 Multilayer Feedforward NetWork Mạng nhiều lớp truyền thẳng 22 Model Predictive Control (MPC) Điều khiển tiên đoán mô hình
23 Model Reference Control Điều khiển theo mô hình mẫu:
LUẬN VĂN THẠC SỸ KỸ THUẬT CHUYÊN NGÀNH: TỰ ĐỘNG HÓA
DANH MỤC CÁC HÌNH VẼ - ĐỒ THỊ
Hình Tên gọi Trang
1.1 Mô hình 2 nơ ron sinh học 7
1.2 Mô hình nơ ron nhân tạo 9
1.3 Đồ thị các dạng hàm chuyển đổi ặ) 12
1.4 Cấu trúc của một số loại mạng nơ ron thƣờng gặp 13
1.5 Cấu trúc huấn luyện mạng nơ ron 14
1.6 Mô hình học có giám sát và học củng cố 16
1.7 Mô hình học không có giám sát 16
1.8 Sơ đồ luật học trọng số ở dang cơ bản 17
1.9 Cấu trúc mạng nơ ron truyền thẳng 1 lớp 19
1.10 Ký hiệu mạng một lớp R đầu vào và S nơ ron 20
1.11 Ký hiệu một lớp mạng 21
1.12 Cấu trúc mạng nơ ron truyền thẳng 3 lớp 22
1.13 Ký hiệu tắt của mạng nơ ron truyền thẳng 3 lớp 22
1.14 Sơ đồ cấu trúc mạng Elman 23
1.15 Lƣợc đồ mạng Elman 24
1.16a Đáp ứng của mạng khi sử dụng thuật toán bình phƣơng sai
lệch cực 30
1.16b Đáp ứng của mạng khi sử dụng thuật toán Bayesian 30
2.1 Mô hình nhận dạng 40
2.2 Mô hình mạng nơ ron nhận dạng kiểu song song 40
2.3 Mô hình mạng nơ ron nhận dạng kiểu nối tiếp –song song 41
3.1 Ký hiệu tắt của mạng nơ ron truyền thẳng 3 lớp 46
3.2 Mô tả cấu trúc của mạng nơ ron Elman 51
3.3 Sơ đồ ứng dụng mạng Elman nhận dạng hàm yp(k+1) 53
3.4 Đồ thị tín hiệu u dạng ngẫu nhiên trong giai đoạn học 54 3.5 Sơ đồ tính toán bộ dữ liệu vào-ra của hàm yp(k+1) trên
LUẬN VĂN THẠC SỸ KỸ THUẬT CHUYÊN NGÀNH: TỰ ĐỘNG HÓA
3.6 Đồ thị tín hiệu ra yp(k+1) khi u có dạng ngẫu nhiên 55
3.7 Đồ thị sai lệch E trong giai đoạn học 56
3.8 Đồ thị yp(k1) (nét liền) và yp(k1)(nét đứt) trong giai đoạn
kiểm trạ 58
3.9 Sơ đồ ứng dụng mạng truyền thẳng nhiều lớp nhận dạng hàm
yp(k+1) 59
3.10 Sơ đồ tính toán bộ dữ liệu vào-ra của hàm yp(k+1) trên
Matlab/Simulink 60
3.11 Đồ thị tín hiệu u dạng ngẫu nhiên trong giai đoạn học 60
3.12 Đồ thị tín hiệu ra yp(k+1) khi u có dạng ngẫu nhiên 61
3.13 Đồ thị sai lệch E trong giai đoạn học 62
3.14 Đồ thị yp(k1) (nét liền) và yp(k1) (nét đứt) trong giai đoạn