Đến năm 1943, nhà thần kinh học Warren Mcculloch và nhà toán học Walter Piits đã có công trình nghiên cứu về ạng nơ m -ron nhân t o tính bạ ằng một hàm đ i số hoạ ặc logic, họ xây dựng m
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng mạng nơ-ron nhận dạng điều khiển TẠ THỊ CHINH Ngành Kỹ thuật Điều khiển Tự động hóa Giảng viên hướng dẫn: TS Nguyễn Hồi Nam Viện: Điện HÀ NỘI, 2020 Tai ngay!!! Ban co the xoa dong chu nay!!! 17061132216681000000 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng mạng nơ-ron nhận dạng điều khiển TẠ THỊ CHINH Ngành Kỹ thuật Điều khiển Tự động hóa Giảng viên hướng dẫn: TS Nguyễn Hoài Nam Viện: Điện HÀ NỘI, 2020 Chữ ký GVHD CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Tạ Thị Chinh Đề tài luận văn: Ứng dụng mạng nơ-ron nhận dạng điều khiển Chuyên ngành: Kỹ thuật điều khiển tự động hóa Mã số HV: CB180117 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 29/10/2020 với nội dung sau: - Thống kí hiệu luận văn - Đã sửa chữa lỗi tả, bỏ đại từ ta phần tóm tắt kết luận chương - Đưa định nghĩa Robot công nghiệp vào mục 1.5 Ngày tháng năm 2020 Giáo viên hướng dẫn Tác giả luận văn TS Nguyễn Hoài Nam Tạ Thị Chinh CHỦ TỊCH HỘI ĐỒNG LỜI CẢM ƠN Trước tiên, tơi xin bày tỏ lịng biết ơn chân thành sâu sắc tới người trực tiếp hướng dẫn khoa học TS Nguyễn Hoài Nam Thầy tạo điều kiện gợi mở cho tơi nhiều ý tưởng, ln tận tình hướng dẫn suốt thời gian nghiên cứu thực luận án Đồng thời xin gửi lời cảm ơn đến thầy cô môn Điều khiển tự động – Viện Điện – Trường Đại học Bách khoa Hà Nội, nhiệt tình có góp ý xây dựng để tơi hồn thành luận văn Tơi xin trân trọng cảm ơn tới Ban giám hiệu, Viện đào tạo sau đại học, Viện điện - Trường Đại học Bách khoa Hà Nội tạo điều kiện thuận lợi cho tơi q trình học tập nghiên cứu để hồn thành luận văn Xin chân thành cảm ơn! Hà Nội, ngày tháng Tác giả Tạ Thị Chinh năm 2020 MỤC LỤC DANH MỤC HÌNH VẼ i DANH MỤC CÁC CHỮ CÁI VIẾT TẮT VÀ KÝ HIỆU ii CHƯƠNG MẠNG NƠ-RON VÀ ỨNG DỤNG 1.1 Lịch sử phát triển mạng nơ-ron 1.2 1.3 Mạng nơ-ron nhân tạo Ứng dụng mạng nơ-ron 1.4 Mơ hình nơ-ron nhân tạo 1.4.1 Mơ hình nơ-ron 1.4.2 1.5 Cấu trúc mạng Ứng dụng điều khiển 12 1.5.1 Nhận dạng hệ thống 12 1.5.2 1.5.3 Thiết kế điều khiển 12 Ứng dụng cánh tay Robot bậc tự 18 1.6 Kết luận chương 19 CHƯƠNG PHƯƠNG PHÁP ĐIỀU KHIỂN DỰ BÁO DỰA TRÊN MẠNG NƠRON 20 2.1 Phương pháp điều khiển dự báo 20 2.2 Phương pháp điều khiển dự báo dựa mạng nơ-ron 22 2.2.1 Nhận dạng dùng mạng nơ-ron 22 2.2.2 2.3 Phương pháp tối ưu 28 2.2.3 Mơ hình mạng nơ-ron 42 Kết luận chương 45 CHƯƠNG THIẾT KẾ BỘ ĐIỀU KHIỂN DỰ BÁO CHO CÁNH TAY MÁY MỘT BẬC TỰ DO 46 3.1 3.2 Mơ hình tốn cánh tay máy bậc tự 46 Nhận dạng dùng mạng nơ-ron 47 3.3 3.4 Tuyến tính hóa mạng nơ-ron 52 Thiết kế điều khiển dự báo dùng mạng nơ-ron 54 3.5 3.6 Kết mô 57 Kết luận chương 58 KẾT LUẬN- KIẾN NGHỊ 60 TÀI LIỆU THAM KHẢO 61 PHỤ LỤC 62 DANH MỤC HÌNH VẼ Hình 1.1 Mạng nơ-ron sinh học [8] Hình 1.2 Sơ đồ mơ hình nơ-ron đầu vào Hình 1.3 Đồ thị hàm a=tansig(n) Hình 1.4 Mơ hình nơ-ron với R đầu vào Hình 1.5 Sơ đồ rút gọn nơ-ron với R đầu vào Hình 1.6 Sơ đồ cấu trúc lớp nơ-ron [3] Hình 1.7 Cấu trúc mạng nơ-ron lớp Hình 1.8 Sơ đồ rút gọn R đầu vào S nơ-ron Hình 1.9 Cấu trúc mạng nơ-ron lớp 10 Hình 1.10 Sơ đồ rút gọn mạng nơ-ron lớp 10 Hình 1.11 Sơ đồ mạng hồi quy 11 Hình 1.12 điều khiển theo nguyên tắc phản hồi đầu [2] 12 Hình 2.1 Cấu trúc hệ điều khiển dự báo 20 Hình 2.2 Đường đồng mức, véc-tơ gradient quỹ đạo tìm nghiệm tối ưu [2] 37 Hình 2.3 Nguyên tắc làm việc phương pháp tìm nghiệm có hướng (line search) [2] 38 Hình 3.1 Cánh tay máy bậc tự 47 Hình 3.2: Tín hiệu đầu vào mẫu 48 Hình 3.3 Tạo đầu mẫu từ mơ hình Simulink 48 Hình 3.4 Tín hiệu đầu mẫu 49 Hình 3.5 Cấu trúc mạng nơ-ron đối tượng nnp 50 Hình 3.6 Mơ hình huấn luyện cánh tay máy 50 Hình 3.7 Đáp ứng đầu mạng nơ-ron sai số 51 Hình 3.8 Đồ thị hàm mục tiêu 51 Hình 3.9 Tín hiệu điều khiển tối ưu 58 Hình 3.10 Đáp ứng đầu giá trị đặt 58 Bảng 2.1: Bảng cơng thức tính ma trận Hesse 34 i DANH MỤC CÁC CHỮ CÁI VIẾT TẮT VÀ KÝ HIỆU Chữ viết tắt Giải thích IEEE Institute of Electrical and Electronic Engineer IJCNN International Joint Conference on Neural Networks ANN Mạng nơ-ron nhân tạo IC Vi mạch ARMA Autoregressive moving average NNc Neural- network control NNp Neural-network plant NN Neural-network MAC Model Algorithmic Control DMC Dynamic Matrix Control GPC Generalized Predictive Control Anns Mạng nơ-ron nhân tạo RBF Radial Basis Function LTI tuyến tính tham số LM Levenberg Marquardt MPC Model Predictive Control LS Least Square MLP MultiLayer Preceptron Neural Networks ii CHƯƠNG MẠNG NƠ-RON VÀ ỨNG DỤNG 1.1 Lịch sử phát triển mạng nơ-ron Từ năm 1890, nghiên cứu nhà tâm lý học William phát hệ nơ-ron thần kinh người Đến năm 1943, nhà thần kinh học Warren Mcculloch nhà tốn học Walter Piits có cơng trình nghiên cứu mạng nơron nhân tạo tính hàm đại số logic, họ xây dựng mạng nơ-ron đơn giản mạch điện Đây coi nguồn gốc lĩnh vực mạng nơ-ron Đầu năm 1950, Nathanial Rochester có mơ mạng nơ-ron phịng thí nghiệm nghiên cứu IBM Năm 1956, dự án Dartmouth nghiên cứu trí tuệ nhân tạo (Artificial Intelligence) mở thời kỳ phát triển lĩnh vực trí tuệ nhân tạo lẫn nơ-ron Sau đó, John von Neumann sử dụng role điện áp đèn chân không mô nơ-ron đơn giản Năm 1958, nhà sinh học Frank Rosenblatt nghiên cứu perception luật học Mạng perception có khả nhận dạng mẫu, nhiên giải số tốn mà thơi, khơng dùng cho hàm logic phức Năm 1959, Bernard Windrow Ted Hoff thuộc trường đại học Stanford đưa luật học dùng để huấn luyện mạng nơ-ron tuyến thích nghi MADALINE, mạng có cấu trúc khả tương tự mạng mạng perceptron Rosenblatt Luật học Windrow Hoff sử dụng Tuy nhiên nghiên cứu bị dừng lại nhiều thập kỷ sau Một mạng nơ-ron phát triển độc lập, thực nhớ Kohonen Anderson nghiên cứu vào năm 1972 Năm 1973 Von Der Marlsburg đưa trình học cạnh tranh mạng tự tổ chức Self-organization Năm 1974 Paul Werbos phát triển ứng dụng phương pháp Back-propagation (lan truyền ngược) Các mạng biết đến nhiều áp dụng rộng rãi ngày Đầu năm 80, John Hopfield đưa mạng nơ-ron hồi quy David Rumelhart James Mcclelland tác giả đưa thuật toán lan truyền ngược để huấn luyện mạng Perceptron nhiều lớp Vào đầu năm 1990, thuật toán Leven-berg Marquart Martin Hagan đề xuất để huấn luyện mạng Bên cạnh cịn có phương pháp Bayes sử dụng nhiều việc huấn luyện mạng nhiều lớp Cũng thời gian này, Lecun đồng tác giả nghiên cứu ứng dụng mạng nơ-ron nhiều lớp để xử lý ảnh, mạng nơ-ron gọi mạng tích chập (Convolutional Networks) ứng dụng nhiều lĩnh vực xử lý ảnh, giọng nói tín hiệu Từ sau năm 1987 đến nay, mạng nơ-ron trở thành vấn đề quan tâm nước, hội thảo quốc tế liên tục diễn để phát triển nơ-ron cách triệt để nhất: viện vật lý Hoa Kỳ tổ chức họp hàng năm mạng nơ-ron ứng dụng tin học năm 1985, hội thảo quốc tế mạng nơron Viện kỹ sư điện điện tử IEEE (Institute of Electrical and Electronic Engineer) Hàng năm giới mở hội nghị toàn cầu chuyên Neural IJCNN (International Joint Conference on Neural Networks) 1.2 Mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo (anns) hay hệ thống kết nối hệ thống tính tốn lấy cảm hứng từ mạng thần kinh sinh học cấu thành não Một ANN dựa tập hợp đơn vị kết nối gọi tế bào thần kinh nhân tạo (artificial Nơ-rons) tương tự tế bào thần kinh sinh học não Mỗi khớp (synapse) nơ-ron truyền tín hiệu đến nơ-ron khác Tế bào thần kinh nhân tạo (post - synaptic) xử lý tín hiệu sau truyền xuống tín hiếu tới nơ-ron kết nối với Các nơ-ron có trạng thái, thường biểu thị số thực, thường nằm khoảng từ đến Các nơ-ron khớp thần kinh có trọng số thay đổi tiến hành học tập, tăng giảm cường độ tín hiệu mà truyền xuống Thơng thường, nơ-ron tổ chức theo lớp Các lớp khác thực loại biến đổi khác đầu vào chúng Tín hiệu truyền từ lớp (đầu vào), đến lớp (đầu ra) cuối cùng, sau qua lớp nhiều lần Mục tiêu ban đầu mạng nơ-ron giải vấn đề theo cách tương tự não người Theo thời gian, ý tập trung vào việc phù hợp với khả cụ thể, dẫn đến sai lệch so với sinh học truyền ngược, truyền thông tin theo hướng ngược lại điều chỉnh mạng để phản ánh thông tin Hình 1.1 Mạng nơ-ron sinh học [8] Neural Networks sử dụng nhiều nhiệm vụ, bao gồm thị giác máy tính, nhận dạng giọng nói, dịch máy, lọc mạng xã hội chẩn đốn y tế Tính đến năm 2017, Neural Networks thường có vài nghìn đến vài triệu đơn vị hàng triệu kết nối Mặc dù số nhỏ số lượng tế bào thần kinh não người, mạng thực nhiều nhiệm vụ cấp độ vượt xa người (ví dụ: nhận diện khn mặt, chơi “Go” …) 1.3 Ứng dụng mạng nơ-ron Mạng nơ-ron ứng dụng nhiều để giải toán thực tế phân loại (ảnh, giọng nói, tín hiệu), xấp xỉ, dự báo, nhận dạng hệ thống thiết kế điều khiển Sau số ứng dụng mạng nơ-ron : • Điện tử: bố trí chíp IC, điều khiển q trình, phân tích lỗi chip, thị lực máy, tổng hợp tiếng nói, mơ hình hóa phi tuyến • Robot: điều khiển quỹ đạo, xe nâng hàng, điều khiển tay máy, hệ thống thị giác, xe tự hành