tổng quan về mạng nơ ron nhân tạo

5 Chương I.Tổng quan về mạng nơ ron nhân tạo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên htt p :// w w w. l rc -tnu. e d u. v n LỜI CAM ĐOAN Tôi xin cam đoan luận văn này là công trình do tôi tổng hợp và nghiên cứu. Trong luận văn có sử dụng một số tài liệu tham khảo như đã nêu trong phần tài liệu tham khảo. Tác giả Luận văn Nguyễn Đắc Nam Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên htt p :// w w w. l rc -tnu. e d u. v n 6 Chương I.Tổng quan về mạng nơ ron nhân tạo LỜI NÓI ĐẦU Trong hệ thống điều khiển hiện đại, có rất nhiều phương pháp điều khiển đảm bảo được tốt chất lượng điều khiển. Trong điều khiển tự động, để điều khiển chính xác đối tượng khi chưa biết rõ được thông số, trước tiên ta phải hiểu rõ đối tượng đó. Đặc biệt đối với các đối tượng phi tuyến ta cần dạng được đặc tính vào-ra của nó để đảm bảo tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn. Những bộ điều khiển hiện đại thường được sử dụng như lôgic mờ, mạng nơron, mạng nơron mờ để nhận dạng và điều khiển thích nghi hệ thống phi tuyến. Trong thời gian của khoá học cao học, chuyên ngành Tự động hoá tại trường Đại Học Kỹ Thuật Công Nghiệp Thái Nguyên, được sự tạo điều kiện giúp đỡ của nhà trường và Tiến Sĩ Phạm Hữu Đức Dục em đã lựa chọn đề tài của mình là: “Nghiên cứu ứng dụng mạng nơron truyền thẳng nhiều lớp nhận dạng vị trí rôbốt hai khâu”. Trong khoảng 6 tháng thực hiện đề tài, được sự hướng dẫn nhiệt tình của Tiến Sĩ Phạm Hữu Đức Dục, sự giúp đỡ của bạn bè cùng với sự nỗ lực, cố gắng của mình bản luận văn đến nay đã hoàn thành. Dù đã có nhiều cố gắng, xong bản luận văn vẫn không tránh khỏi những thiếu sót và hạn chế, em rất mong nhận được sự góp ý của các thầy để bản luận văn được tốt hơn. Em xin trân trọng cảm ơn! Học viên Nguyễn Đắc Nam Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên htt p :// w w w. l rc -tnu. e d u. v n 7 Chương I.Tổng quan về mạng nơ ron nhân tạo MỤC LỤC Trang Lời cam đoan. Danh mục các ký hiệu, bảng, các chữ viết tắt. Danh mục các hình vẽ. PHẦN MỞ ĐÀU. 1 Chƣơng I- TÔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO. 5 1.1. Lịch sử phát triển của mạng nơ ron nhân tạo. 5 1.2. Các tính chất của mạng nơ ron nhân tạo. 5 1.3. Mô hình nơ ron. 6 1.3.1.Mô hình nơ ron sinh học. 6 1.3.1.1. chức năng, tổ chức và hoạt động của bộ não con người. 6 1.3.1.2. Mạng nơ ron sinh học. 9 1.3.2. Mạng nơ ron nhân tạo. 10 1.3.2.1. Khái niệm. 10 1.3.2.2. Phân loại mạng nơ ron. 13 1.3.2.3. Các luật học. 15 1.3.3. Mô hình toán học mạng nơ ron truyền thẳng và mạng nơ ron hồi quy. 19 1.3.3.1. Mạng nơ ron truyền thẳng. 19 1.3.3.2. Mạng nơ ron hồi quy. 22 1.4. Quá trình huấn luyện mạng nơ ron nhiều lớp. 24 1.4.1. Quá trình thực hiện. 24 1.4.2. Quy tắc chuỗi. 25 1.4.3. Độ chính xác của lan truyền ngược. 27 1.4.4. Biến thể của lan tryền ngược. 27 1.4.5. Tổng quát.(phép nội suy và phép ngoại suy). 28 1.5. Công nghệ phân cứng sử dụng mạng nơ ron. 31 1.6. So sánh khả năng của mạng nơ ron với mạch logic 32 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên htt p :// w w w. l rc -tnu. e d u. v n 8 Chương I.Tổng quan về mạng nơ ron nhân tạo KẾT LUẬN CHƢƠNG 1. 33 Chƣơng II- Các phƣơng pháp ứng dụng mạng nơ ron trong nhận dạng và điều khiển. 34 2.1. Các vấn đề chung. 34 2.2. Các phƣơng pháp ứng dụng mạng nơ ron trong nhận dạng. 34 2.2.1. Cơ sở lý luận. 34 2.2.2. Mô tả toán học của đối tượng ở miền rời rạc. 36 2.2.3. Mô hình dùng mạng nơ ron. 39 2.2.3.1. Mô hình song song. 39 2.2.3.2. Mô hình nối tiếp song song. 39 2.2.3.3. Mô hình ngược trực tiếp. 40 2.2.3.4. Mô hình tổ hợp. 41 2.3. Các phƣơng pháp ứng dụng mạng nơ ron trong điều khiển. 42 2.3.1. Bộ điều khiển đảm bảo tính ổn định vững chắc. 42 2.3.2. Bộ điều khiển thích nghi ngược trực tiếp. 42 2.3.3. Điều khiển phi tuyến mô hình trong. 44 2.3.4. Điều khiển dự báo. 44 2.3.5. Điều khiển thích nghi theo mô hình mẫu (MRAC) 45 2.3.6. Điều khiển thích nghi tự chỉnh. 46 2.3.7. Điều khiển thích nghi bằng mạng nơ ron hồi quy tuyến tính. 46 2.3.8. Điều khiển thích nghi ổn định trực tiếp. 48 2.3.9. Điều khiển tối ưu. 49 2.3.10. Phương pháp bảng tra. 50 2.3.11. Điều khiển lọc. 50 2.4. Những hạn chế và chú ý. 51 KẾT LUẬN CHƢƠNG 2 52 Chƣơng III - Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu. 53 3.1. Mạng nơ ron truyền thẳng nhiều lớp 53 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên htt p :// w w w. l rc -tnu. e d u. v n 9 Chương I.Tổng quan về mạng nơ ron nhân tạo 3.1.1. Sơ đồ khối mạng nơ ron truyền thẳng nhiều lớp. 53 3.1.2. Thuật toán học lan truyền ngược của sai lệch. 53 3.2. Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu. 57 3.2.1. Phân tích sơ đồ ứng dụng. 57 3.2.2. Mô tả động học của rô bốt hai khâu. 59 3.2.3. Thiết lập mạng nơ ron nhận dạng. 60 3.2.3.1. Thiết lập sơ đồ nhận dạng 60 3.2.4.2. Quá trình nhận dạng. 63 3.2.4.3. Kết quả mô phỏng và nhận dạng. 65 3.2.4.4. Kết luận chương III 74 KẾT LUẬN CHUNG 75 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên htt p :// w w w. l rc -tnu. e d u. v n 10 Chương I.Tổng quan về mạng nơ ron nhân tạo DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ. STT Ký hiệu Diễn giải tên hình vẽ. 1 Hình 1 Sơ đồ khối điều khiển thích nghi rô bốt hai khâu. 2 Hình 2 Sơ đồ ứng dụng mạng nơ ron nhận dạng vị trí rô bốt hai khâu. 3 Hình 1.1 Mô hình hai nơ ron sinh học. 4 Hình 1.2 Mô hình nơ ron nhân tạo. 5 Hình 1.3a Biểu diễn hình học của hàm Rump 6 Hình 1.3b Biểu diễn hình học của hàm bước nhảy. 7 Hình 1.3c Biểu diễn hình học của hàm giới hạn cứng. 8 Hình 1.3d Biểu diễn hình học của hàm Sigmoid hai cực. 9 Hình 1.4a Mạng một lớp truyền thẳng. 10 Hình 1.4b Mạng nhiều lớp truyền thẳng. 11 Hình 1.4c Mạng nơ ron có phản hồi. 12 Hình 1.4d Mạng nơ ron hồi quy. 13 Hình 1.5 Cấu trúc huấn luyện mạng nơ ron. 14 Hình 1.6 Mô hình học có giám sát và học củng cố. 15 Hình 1.7 Mô hình học không có giám sát. 16 Hình 1.8 Sơ đồ cấu trúc chung của quá trình học. 17 Hình 1.9 Cấu trúc mạng nơ ron một lớp. 18 Hình 1.10 Ký hiệu mạng R đầu vào và S nơ ron. 19 Hình 1.11 Ký hiệu mạng một lớp. 20 Hình 1.12 Cấu trúc mạng nơ ron 3 lớp. 21 Hình 1.13 Ký hiệu mạng nơ ron 3 lớp. 22 Hình 1.14 Ký hiệu mạng một l lớp hồi quy. 23 Hình 1.15 Ký hiệu mạng nơ ron 3 lớp hồi quy. 24 Hình 1.16a Mạng được huấn luyện theo phương pháp bình phương sai lệch cực tiểu. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên htt p :// w w w. l rc -tnu. e d u. v n 11 Chương I.Tổng quan về mạng nơ ron nhân tạo 1.Lý do lựa chọn đề tài. PHẦN MỞ ĐẦU Để điều khiển chính xác đối tượng khi chưa biết rõ được thông số, trước tiên ta phải hiểu rõ đối tượng đó. Đối với đối tượng là phi tuyến như rô bốt, ta cần thực hiện nhận dạng đặc tính vào ra của nó để đảm bảo tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn. Hiện nay thường sử dụng logic mờ (Fuzzy Logic), mạng nơ ron ( Neural Networks), và mạng no ron mờ (Fuzzy Neural Networks) để nhận dạng và điều khiển thích nghi hệ thống phi tuyến.Trong khuôn khổ của khoá học Cao học, chuyên ngành Tự động hoá tại trường Đại học Kỹ thuật Công nghiệp Thái Nguyên, được sự tạo điều kiện giúp đỡ của nhà trường và Tiến sĩ Phạm Hữu Đức Dục, em đã lựa chọn đề tài của mình là “Nghiên cứu ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu”. 2.Mục đích của đề tài. Nghiên cứu việc ứng dụng mạng nơ ron trong quá trình nhận dạng và điều khiển hệ thống phi tuyến nói chung. Đặc biệt đi sâu nghiên cứu mạng nơ ron truyền thẳng nhiều lớp nhận dạng đặc tính vào – ra của rô bốt hai khâu, làm cơ sở cho việc tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn. 3. Đối tƣợng và phạm vi nghiên cứu. a/ Đối tượng nghiên cứu. Đối tượng nghiên cứu của đề tài là sử dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí hai khâu rô bốt. Sơ đồ hình 1 mô tả một mô hình điều chỉnh thích nghi rô bốt hai khâu theo mô hình mẫu. x d e 2 Bộ điều u ė 2 khiển K Mô hình mẫu Rôbốt hai khâu y m e 2 - y mh K y Mạng nơron nhận dạng e 1 - y mh Hình 1. Sơ đồ khối điều khiển thích nghi rô bốt hai khâu Sơ đồ điều khiển được thực hiện theo hai giai đoạn sau đây: Giai đoạn 1: Sử dụng mạng nơ ron nhận dạng vị trí của rô bốt hai khâu, khi đó các khoá K mở. Căn cứ vào sai lệch e 1 giữa tín hiệu ra của rô bốt (y) và tín hiệu ra của mạng nơ ron nhận dạng(y mh ), mạng nơ ron tiến hành học để nhận dạng đặc tính vào ra y của rô bốt hai khâu, sao cho tín hiệu mạng nơ ron nhận dạng y mh bám theo được tín hiệu ra y của rô bốt hai khâu. Với e 1 = y- y mh Giai đoạn 2: Căn cứ vào kết quả nhận dạng ta có được mạng nơ ron có thể thay thế gần đúng cho rô bốt hai khâu từ đó tiến hành điều khiển thích nghi rô bôt ⋅ hai khâu theo mô hình mẫu. Các khoá K đóng, dựa vào bộ thông số sai lệch (e 2 , e 2 ) giữa tín hiệu đầu ra của mô hình mẫu y m và tín hiệu đầu ra của mạng nơ ron nhận dạng y mh , bộ điều khiển thực hiện các luật học thích nghi tạo ra tín hiệu điều khiển u với mục đích tạo ra được tín hiệu đầu ra của mạng nhận dạng bám theo được tín hiệu đầu ra của mô hình. Với e 2 = y m – y mh và ė 2 là đạo hàm cấp một của sai lệch e 2 Với thời gian nghiên cứu có hạn, luận văn này chỉ đi sâu nghiên cứu ứng dụng mạng nơ ron nhiều lớp truyền thẳng nhận dạng vị trí rô bốt hai khâu. b/ Phạm vi nghiên cứu của đề tài. Chương I. Tổng quan về mạng nơ ron nhân tạo: Phân tích tổng quan nề mạng nơ ron bao gồm : Lịch sử phát triển, kết cấu của các mạng nơ ron, vai trò của các mạng nơ ron trong điều khiển. Chương II. Các phương pháp ứng dụng mạng nơ ron trong nhận dạng và điều khiển: Trình bày các phương pháp ứng dụng mô hình mạng nơ ron trong nhận dạng và điều khiển. Chương III. Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu. Đưa ra mô hình nhận dạng vị trí rô bốt hai khâu, từ đó phân tích, lựa chọn mạng nơ ron truyền thẳng nhiều lớp với luật học lan truyền ngược tiến hành nhận dạng đặc tính vào ra của rô bốt hai khâu với sơ đồ tổng quát như hình 2: x d Robot hai khâu y (Mô hình tính toán vị trí) Mạng nơ ron nhận dạng y mh e 1 Hình2. Sơ đồ ứng dụng mạng nơ ron nhận dạng vị trí rô bốt hai khâu 4. Ý nghĩa khoa học và thực tiễn của đề tài. Với ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng quỹ đạo chuyển động trong miền thời gian thực của rô bốt hai khâu. Sau khi nhận dạng được vị trí của rô bốt hai khâu, ta có thể thay thế gần đúng mô hình vị trí rô bốt hai khâu bằng một mạng nơ ron truyền thẳng, từ đó căn cứ vào các thông số mô phỏng của mạng nơ ron ta tính toán được tín hiệu điều chỉnh nhằm điều khiển thích nghi vị trí của rô bốt hai khâu phù hợp với những yêu cầu cần thiết của điều chỉnh thích nghi vị trí rô bốt hai khâu. [...]... của mạng nơ ron 3 lớp 1.3.3.2 .Mạng nơ ron hồi quy Mạng hồi quy còn được gọi là mạng phản hồi là loại mạng tự liên kết thành các vòng và liên kết hồi quy giữa các nơ ron Mạng nơ ron hồi quy có trọng số liên kết đối xứng như mạng Hopfield luôn hội tụ về trạng thái ổn định Mạng liên kết hai chiều (BAM) là mạng thuộc nhóm mạng nơ ron hồi quy hai lớp nơ ron liên kết tay đôi, trong đó đảm bảo nơ ron của cùng... Mạng nơ ron nhân tạo có một số lượng lớn mối liên kết của các phần tử biến đổi có liên kết song song Nó có hành vi tương tự như bộ não người với khả năng học ( Learning ), gọi lại (Recall) và tổng hợp thông tin từ sự luyện tập của các tập mẫu dữ liệu Các phần tử biến đổi của mạng nơ ron nhân tạo được gọi là các nơ ron nhân tạo hoặc gọi tắt là nơ ron 1.1 LỊCH SỬ PHÁT TRIỂN CỦA MẠNG NƠ RON NHÂN TẠO Mạng. .. luyện mạng nơ ron nhiều lớp Những năm gần đây, nhiều tác giả đã đề xuất nhiều loại cấu trúc mạng nơ ron mới Mạng nơ ron được ứng dụng trong nhiều lĩnh vực kinh tế kỹ thuật khoa học vũ trụ (Hecht – Nielsen, 1988) 1.2 CÁC TÍNH CHẤT CỦA MẠNG NƠ RON NHÂN TẠO Là hệ phi tuyến: Mạng nơ ron có khả năng to lớn trong lĩnh vực nhận dạng và điều khiển các đối tượng phi tuyến Là hệ xử lý song song: Mạng nơ ron có... Các nơ ron ở lớp ra có đầu vào được nối với tất cả các nơ ron ở lớp ẩn, chúng là đầu ra của mạng Cần chú ý rằng một mạng nơ ron cũng có thể có nhiều lớp ẩn Các mạng nơ ron trong mỗi nơ ron chỉ được liên hệ với tất cả các nơ ron ở lớp kế tiếp và tất cả các mối liên kết chỉ được xây dựng từ trái sang phải được gọi là mạng nhiều lớp truyền thẳng (perceptrons) 1.3.2.3 Các luật học Thông thường mạng nơ ron. ..CHƢƠNG I TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO Mạng nơ ron nhân tạo (Artificial Neural Networks) là hệ thống được xây dựng dựa trên nguyên tắc cấu tạo của bộ não người Nó cho chúng ta một hướng mới trong nghiên cứu hệ thống thông tin Mạng nơ ron nhân tạo có thể thực hiện các bài toán: Tính toán gần đúng các hàm số, thực hiện các bài... sát, nhưng cũng có mạng thu được từ sự huấn luyện không có giám sát Mạng huấn luỵện không giám sát có thể được sử dụng trong trường hợp riêng để xác định nhóm dữ liệu 1.3.3 Mô hình toán học mạng nơ ron truyền thẳng và mạng nơ ron hồi quy 1.3.3.1 .Mạng nơ ron truyền thẳng a/ Mạng nơ ron một lớp Một cấu trúc toán học mạng 1 lớp với Vào R đầu vào và S nơ ron được chỉ ra trên hình Các n ron w1,1 p1 1.9 T... nối vài lớp nơ ron với nhau tạo thành mạng nhiều lớp truyền thẳng (Multi- Layer Feedforward Network) như hình 1.4.b Hai loại mạng nơ ron một lớp và nhiều lớp được gọi là truyền thẳng nếu đầu ra của mỗi nơ ron được nối với các đầu vào của các nơ ron của lớp trước đó Mạng nơ ron phản hồi là mạng mà đầu ra của mỗi nơ ron được quay trở lại nối với đầu vào của các nơ ron cùng lớp được gọi là mạng Laeral... kích hoạt (fire) đối với nơ ron nhận Ngược lại, chúng là ức chế (inhibitory) nếu các kích thích truyền qua làm ngăn trở trạng thái kích hoạt (fire) của nơ ron nhận 1.3.2 Mạng nơ ron nhân tạo 1.3.2.1 Khái niệm Nơ ron nhân tạo là sự sao chép nơ ron sinh học của não người, nó có những đặc tính sau: - Mỗi nơ ron có một số đầu vào, những kết nối (Synaptic) và một đầu ra (axon) - Một nơ ron có thể hoạt động... tụ về trạng thái ổn định Nghiên cứu mạng nơ ron hồi quy có trọng số liên kết không đối xứng sẽ gặp nhiều phức tạp hơn so với mạng truyền thẳng và mạng hồi quy đối xứng Mạng nơ ron hồi quy có khả năng về nhận mẫu, nhận dạng các hàm phi tuyến, dự báo … Một ưu điểm khác của mạng nơ ron hồi quy là chỉ cần mạng nhỏ hơn về cấu trúc cũng có khả năng như mạng truyền thẳng có cấu trúc lớp hơn a/ Mạng nơ ron. .. hết sức quan trọng đối với đời sống của con người Cấu tạo của nó rất phức tạp, tinh vi bởi được tạo thành từ mạng nơ ron có hàng chục tỉ tế bào với mức độ liên kết giữa các nơ ron là rất cao Hơn nữa, nó còn được chia thành các vùng và các lớp khác nhau Bộ não hoạt động dựa trên cơ chế hoạt động song song của các nơ ron tạo nên nó 1.3.1.2 Mạng n ron sinh học a/ Cấu tạo Nơ ron là phần tử cơ bản tạo nên . ứng dụng mạng nơ ron nhiều lớp truyền thẳng nhận dạng vị trí rô bốt hai khâu. b/ Phạm vi nghiên cứu của đề tài. Chương I. Tổng quan về mạng nơ ron nhân tạo: Phân tích tổng quan nề mạng nơ ron bao. các nơ ron tạo nên nó. 1.3.1.2. Mạng n ron sinh học. a/ Cấu tạo. Nơ ron là phần tử cơ bản tạo nên bộ não con người. Sơ đồ cấu tạo của một nơ ron sinh học được chỉ ra như trong hình 1.1. Một nơ ron. I TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO Mạng nơ ron nhân tạo (Artificial Neural Networks) là hệ thống được xây dựng dựa trên nguyên tắc cấu tạo của bộ não người. Nó cho chúng ta một hướng mới trong