Mạng neural và ứng dụng trong điều khiển tự động

1 LỜI CAM ĐOAN Nội dung báo cáo trình bày khái niệm mạng nơron số phương pháp ứng dụng mạng nơron để nhận dạng đối tượng Dưới bảo hướng dẫncủa PGS TS Hoàng Mạnh Thắng tác giả nghiên cứu tìm hiểu số phương pháp ứng dụng mạng nơron để nhận dạng đối tượng Từ đó, nghiên cứu xây dựng ứng dụng mạng nơron điều khiển thích nghi, điều khiển dự đoán điều khiển phản hồi (đã mô thành công số kết thực tế) Tôi xin cam đoan nội dung luận văn hoàn toàn trung thực, xác chưa công bố công trình khoa học khác TÁC GIẢ LỜI CẢM ƠN Để hoàn thành trình nghiên cứu trình bày luận văn, em xin gửi lời cảm ơn đến thầy cô giáo Viện Điện tử - Viễn thông tạo điều kiện giúp em hoàn thiện đồ án tốt nghiệp Em xin gửi lời cảm ơn sâu sắc đến thầy PGS TS Hoàng Mạnh Thắng trực tiếp hướng dẫn em hoàn thành luận văn với nhiệt tình ân cần bảo, đồng thời cung cấp cho em kiến thức chuyên môn để em hoàn thiện luận văn tốt nghiệp Cuối cùng, xin gửi lời cảm ơn chân thành đến gia đình, bạn bè người thân, người bên cạnh động viên suốt trình học tập hoàn thành luận văn TÁC GIẢ MỤC LỤC LỜI CAM ĐOAN DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT DANH MỤC HÌNH ẢNH LỜI NÓI ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ MÔ HÌNH MẠNG NƠRON 10 1.1 Giới thiệu mạng nơron nhân tạo 11 1.1.1 Mạng nơron nhân tạo gì? 11 1.1.2 Lịch sử phát triển mạng nơron 11 1.1.3 So sánh mạng nơron với máy tính truyền thống 14 1.2 Nơron sinh học nơron nhân tạo 15 1.2.1 Nơron sinh học 15 1.2.2 Nơron nhân tạo 16 1.3 Mô hình mạng nơron .18 1.3.1 Các kiểu mô hình mạng nơron 19 1.3.2 Perceptron 21 1.3.3 Mạng nhiều tầng truyền thẳng (MLP) 22 1.4 Kết luận chương 21 CHƯƠNG 2: CÁC PHƯƠNG PHÁP ỨNG DỤNG MẠNG NƠRON TRONG NHẬN DẠNG 24 2.1 Các phương pháp ứng dụng mạng nơron nhận dạng .24 2.1.1 Khái quát chung .24 2.1.2 Các phương pháp nhận dạng 27 2.1.2.1.1 Phương pháp lặp bình phương cực tiểu 29 2.1.2.1.2 Phương pháp xấp xỉ ngẫu nghiên .30 2.1.2.1.3 Phương pháp lọc Kalman mở rộng .30 2.1.2.1.4 Phương pháp tìm kiếm trực tiếp 37 2.1.2.1.5 Phương pháp sử dụng hàm nhạy 38 2.1.3 Mô tả toán học đối tựợng rời rạc .40 2.1.4 Mô hình dùng mạng nơron .44 2.1.5 Tính gần hàm số dùng mạng nơron 47 2.1.6 Mô hình mạng nơron nhận dạng điều khiển 48 2.2 Kết luận chương 82 CHƯƠNG 3: CÁC PHƯƠNG PHÁP ỨNG DỤNG MẠNG NƠRON TRONG ĐIỀU KHIỂN 52 3.1 Ứng dụng mạng neural vào điều khiển dự đoán 52 3.1.1 Hệ thống nhận dạng 52 3.1.2 Mạng dự đoán 54 3.1.3 Ứng dụng mạng nơron dự đoán vào hệ thống Magnetic Levitation 55 3.2 Ứng dụng mạng nơron vào điều khiển thích nghi [1] .59 3.2.1 Xác định Model NARMA-L2 [2] .60 3.2.2 Sử dụng khối điều khiển NARMA-L2 [2] 63 3.2.3 Kết thực nghiệm MATLAB [3] 66 3.3 Mạng nơron điều khiển phản hồi [4] .79 3.3.1 Phản hồi tuyến tính hệ thống phi tuyến dùng mạng nơron 80 3.3.2 Ứng dụng mạng nơron mạng phản hồi 81 3.4 Kết luận chương 82 TỔNG KẾT 82 TÀI LIỆU THAM KHẢO 83 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT STT Ký hiệu Diễn giải Artificial Intelligence Trí tuệ nhân tạo Artificial Neural Nơron nhân tạo Artificial Neural Network (ANN) Mạng nơron nhân tạo Axon Sợi trục Bias Độ lệch (ngưỡng) Cell body Thân tế bào Character Recognition Nhận dạng kí tự Data Filtering Lọc liệu Dendrites Nhánh vào hình 10 Institute of Electrical and Electronic Viện kỹ sư điện điện tử Engineer (IEEE) 11 Input signals Các tín hiệu vào 12 Language Processing Xử lý ngôn ngữ 13 Least Mean Squares (LMS) Tối thiểu bình phương trung bình 14 Multiple Adaptive Linear Elements Thành phần tuyến tính thích nghi 15 Many input many output (MIMO) Hệ nhiều đầu vào nhiều đầu 16 Multi Layer Perceptron (MLP) Mạng nhiều tầng truyền thẳng 17 Neural Networks for Computing Mạng neuron dùng tin học 18 Output Layer Lớp 19 Organization of Behavior Hành vi tổ chức 20 Voice Recognition Nhận dạng tiếng nói 21 Pattern Recognition Nhận dạng mẫu 22 Signal Processing Xử lý tín hiệu 23 Summing function Bộ tổng 24 Synaptic weight Trọng số liên kết 25 Transfer function Hàm truyền DANH MỤC HÌNH ẢNH Hình 1.1: Cấu trúc nơron sinh học điển hình 15 Hình 1.2: Nơron nhân tạo 16 Hình 1.3: Mạng tự kết hợp 19 Hình 1.4: Mạng kết hợp khác kiểu 20 Hình 1.5: Mạng truyền thẳng .20 Hình 1.6: Mạng phản hồi .21 Hình 1.7: Perceptron 21 Hình 1.8: Mạng MLP tổng quát 22 Hình 2.1: Điều khiển theo nguyên tắc phản hồi đầu 24 Hình 2.2: Quy trình nhận dạng hệ thống .27 Hình 2.3: Sơ đồ tổng quát nhận dạng thông số mô hình .34 Hình 2.4: Nhận dạng theo phương pháp gradient 36 Hình 2.5: Mô hình dạng 42 Hình 2.6: Mô hình dạng 42 Hình 2.7: Mô hình dạng 43 Hình 2.8: Mô hình dạng 43 Hình 2.9: Mô hình nhận dạng kiểu truyền thẳng 44 Hình 2.10: Mô hình nhận dạng kiểu song song 45 Hình 2.11: Mô hình nhận dạng kiểu nối tiếp-song song .46 Hình 2.12: Mô hình nhận dạng ngược trực tiếp .47 Hình 2.13, 2.14, 2.15, 2.16: Mô hình mạng nơron 50 Hình 3.1: Nhận dạng thực vật 52 Hình 3.2: Mô hình mạng nơron thực vật 53 Hình 3.3: Mạng nơron điều khiển dự đoán 54 Hình 3.4: Hệ thống Magnetic Levitation 55 Hình 3.5: Dữ liệu huấn luyện có chiều rộng xung dài 57 Hình 3.6: Huấn luyện liệu có độ rộng xung ngắn 57 Hình 3.7: Dữ liệu huấn luyện với hỗn hợp độ rộng xung .58 Hình 3.8: Phản ứng Maglev hành động kiểm soát cách sử dụng điều khiển dự đoán 58 Hình 3.9: Cấu trúc mạng nơron 62 Hình 3.10: Sơ đồ khối điều khiển NARMA-L2 62 Hình 3.11: Bộ điều khiển thực với mô hình nhận dạng NARMA-L2 63 Hình 3.12: Sơ đồ điều khiển vị trí nam châm vĩnh cửu 64 Hình 3.13: Các Simulink biên soạn với mô hình 65 Hình 3.14: Cửa sổ cho phép tạo mô hình NARMA-L2 65 Hình 3.15: Đồ thị vị trí mẫu vị trí sau điều khiển 66 Hình 2.16: Sơ đồ khối mô tả động điện chiều 67 Hình 3.17: Sơ đồ mạng nơron truyền thẳng nhiều lớp điều khiển thích nghi vị trí động điện chiều có tải thay đổi 67 Hình 3.18: Bảng điều khiển nhận dạng tín hiệu vị trí động chiều NARMA-L2 68 Hình 3.19: Dữ liệu vào tín hiệu vị trí động chiều 68 Hình 3.20: Xuất liệu làm việc 69 Hình 3.21: Nhập liệu vào điều khiển 69 Hình 3.22: Huấn luyện đối tượng với dư liệu nhập vào 70 Hình 3.23: Dữ liệu huấn luyện cho điều khiển NN NARMA-L2 .70 Hình 3.24: Dữ liệu xác nhận cho điều khiển NN NARMA-L2 71 Hình 3.25: Dữ liệu kiểm tra cho điều khiển NN NARMA-L2 .71 Hình 3.26: Đồ thị vị trí mẫu qd 72 (nét mảnh) vị trí sau điều khiển q (nét đậm) 72 Hình 3.27: Đồ thị điện áp điều khiển .72 Hình 3.28: Đồ thị mômen tải MC (Nm) 73 Hình 3.29: Sơ đồ khối mô tả động điện chiều có R, MC thay đổi 74 Hình 3.30: Dữ liệu vào tín hiệu vị trí động chiều 75 Hình 3.31: Bảng điều khiển nhận dạng tín hiệu vị trí động chiều NARMA-L2 75 Hình 3.32: Huấn luyện đối tượng với dư liệu nhập vào 76 Hình 3.33: Dữ liệu huấn luyện cho điều khiển NN NARMA-L2 .76 Hình 3.34: Dữ liệu xác nhận cho điều khiển NN NARMA-L2 77 Hình 3.35: Dữ liệu kiểm tra cho điều khiển NN NARMA-L2 .77 Hình 3.36: Đồ thị điện áp điều chỉnh u 77 Hình 3.37: Đồ thị điện trở R 78 Hình 3.38: Đồ thị mômen tải MC (Nm) 78 Hình 3.39: Đồ thị vị trí mẫu qd (nét mảnh) vị trí sau điều khiển q 79 (nét đậm) .79 Hình 3.40: Phản hồi tuyến tính điều khiển mạng nơron 81 LỜI NÓI ĐẦU Ngày tiến khoa học kỹ thuật điện tử tin học, hệ thống điều khiển tự động phát triển có thay đổi lớn Công nghệ vi mạch phát triển khiến cho việc sản xuất thiết bị điện tử ngày hoàn thiện Các biến đổi điện tử hệ thống đáp ứng khả tác động nhanh, độ xác cao mà góp phần giảm kích thước hạ giá thành hệ thống Đặc biệt thập kỷ gần trước phát triển mạnh mẽ ngày hoàn thiện lý thuyết mạng nơ ron truyền thẳng nhiều lớp mở kỷ nguyên ngành điều khiển Tuy ngành kỹ thuật điều khiển non trẻ ứng dụng công nghiệp điều khiển mạng nơ ron rộng rãi nhận dạng, phân loại sản phẩm, xử lý tiếng nói, chữ viết điều khiển hệ thống, điều khiển rô bốt Tới có nhiều sản phẩm công nghiệp tạo nhờ kỹ thuật điều khiển mạng nơ ron, nhiều nước giới thành công Để điều khiển xác đối tượng chưa biết rõ thông số, trước tiên ta phải hiểu rõ đối tượng Đối với đối tượng có thông số thay đổi động chiều có tải thay đổi, ta cần thực nhận dạng đặc tính vào để đảm bảo tạo tín hiệu điều khiển thích nghi lựa chọn xác Chính mà việc sâu nghiên cứu áp dụng lý thuyết điều khiển nơ ron truyền thẳng nhiều lớp điều khiển thích nghi vị trí động chiều có thông số tải thay đổi có ý nghĩa khoa học lớn Đề tài nghiên cứu ứng dụng mạng nơ ron truyền thẳng nhiều lớp (bộ điều khiển NARMA-L2) điều khiển thích nghi vị trí động điện chiều có thông số tải thay đổi Do kiến thức hạn hẹp thời gian thực chưa nhiều nên luận văn nhiều sai sót, hạn chế Vì mong nhận nhiều góp ý để đề tài hoàn thiện Em xin gửi lời cảm ơn chân thành tới thầy giáo PGS.TS Hoàng Mạnh Thắng nhiệt tình, tận tụy hướng dẫn giúp em hoàn thành đề tài Em xin chân thành cảm ơn ! 10 Hình 3.20: Xuất liệu làm việc Nếu người dùng có sẵn liệu chọn Import Data để chọn file liệu (hình 3.21) Hình 3.21: Nhập liệu vào điều khiển 69 Hình 3.22: Huấn luyện đối tượng với dư liệu nhập vào Hình 3.23: Dữ liệu huấn luyện cho điều khiển NN NARMA-L2 70 Hình 3.24: Dữ liệu xác nhận cho điều khiển NN NARMA-L2 Qua mô thể hình 3.23 3.24 nhận thấy rằng, liệu huấn luyện ban đầu dày đặc đồ thị không Qua trình huấn luyện, thu liệu xác nhận thoáng loại bỏ đối tượng dư thừa, đồng thời đồ Hình 3.25: Dữ liệu kiểm tra cho điều khiển NN NARMA-L2 71 Hình 3.26: Đồ thị vị trí mẫu qd (nét mảnh) vị trí sau điều khiển q (nét đậm) Sau liệu đầu vào điều khiển qua mạng nơron có giá trị trải đồ thị Sau đồ thị điện áp điều khiển đồ thị mômen tải MC (Nm) Hình 3.27: Đồ thị điện áp điều khiển 72 Hình 3.28: Đồ thị mômen tải MC (Nm) 3.2.2.3 Kết mô có thông số thay đổi Động điện chiều làm việc với tải thay đổi, làm dòng điện phần ứng thay đổi theo yêu cầu tải, dẫn đến nhiệt độ động mức độ từ hóa lõi thép thay đổi, làm cho điện trở phần ứng R, điện cảm L động thay đổi theo Từ vấn đề đặt cần có giải pháp để tạo điều chỉnh thông minh có khả điều chỉnh thích nghi vị trí động điện chiều làm việc với tải thông số điện trở phần ứng R điện cảm L thay đổi Trong báo cáo nghiên cứu điều khiển thích nghi vị trí động chiều có điện trở phần ứng R mômen tải MC thayđổi 73 Hình 3.29: Sơ đồ khối mô tả động điện chiều có R, MC thay đổi Khi có thay đổi đầu vào (Hình 3.30) cách thiết lập thông số có thay đổi Dữ liệu huấn luyện cho điều khiển NN NARMA-L2, Dữ liệu xác nhận cho điều khiển NN NARMA-L2, Dữ liệu kiểm tra cho điều khiển NN NARMA-L2, Đồ thị điện áp điều chỉnh u, Đồ thị điện trở R,… Với giá trị thay đổi, quan sát khác với lần mô qua hình 74 Hình 3.30: Dữ liệu vào tín hiệu vị trí động chiều Hình 3.31: Bảng điều khiển nhận dạng tín hiệu vị trí động chiều NARMA-L2 75 Hình 3.32: Huấn luyện đối tượng với dư liệu nhập vào Hình 3.33: Dữ liệu huấn luyện cho điều khiển NN NARMA-L2 76 Hình 3.34: Dữ liệu xác nhận cho điều khiển NN NARMA-L2 Hình 3.35: Dữ liệu kiểm tra cho điều khiển NN NARMA-L2 Hình 3.36: Đồ thị điện áp điều chỉnh u 77 Hình 3.37: Đồ thị điện trở R Hình 3.38: Đồ thị mômen tải MC (Nm) 78 Hình 3.39: Đồ thị vị trí mẫu qd (nét mảnh) vị trí sau điều khiển q (nét đậm) 3.3 Mạng nơron điều khiển phản hồi [4] Trong phần này, mục tiêu để thiết kế điều khiển mạng nơron phản hồi tạo nên hệ thống robot để làm theo, theo dõi, quỹ đạo theo quy định đường dẫn Sự động robot chưa biết, rối loạn Tính động n Robot tay máy diễn tả [Lewis, Dawson, Abdallah 2004] Với NQ (t) ∈R vector biến chung, M (q) ma trận quán tính, Vm ma trận hướng tâm, G (q) vector trọng lực, F (.) đại diện cho điều kiện ma sát Giáp rối loạn không rõ lỗi mô hình ký hiệu d τ mô-men xoắn điều khiển đầu vào τ (t) 79 Với quỹ đạo mong muốn cánh tay n qd (t) ∈ R xác định lỗi theo dõi e (t) q (t) q (t) = d - lọc lỗi theo dõi r = e & + Λe, nơi Λ = Λ> T Một chế độ đa dạng trượt xác định r (t) = Bộ điều khiển theo dõi mạng nơron thiết kế sử dụng cách tiếp cận thông tin phản hồi tuyến tính để đảm bảo r (t) buộc vào khu vực đa dạng Xác định chức Robot phi tuyến Với x vector biết đến (t) tín hiệu đo phù hợp quy định điều khoản e (t), qd (t) Các đầu vào vector x mạng nơron lựa chọn, ví dụ như: 3.3.1 Phản hồi tuyến tính hệ thống phi tuyến dùng mạng nơron Nhiều hệ thống quan tâm công nghiệp, hàng không vũ trụ, ứng dụng DoD dạng x = f (x) + g (x) u + d, với d (t) rối loạn bị chặn không rõ, chức phi tuyến f (x) chưa biết, g (x) không rõ, bị chặn giá trị tích cực biết đến Sử dụng phi tuyến ổn định kỹ thuật chứng minh vấn đề trên, người ta thiết kế đầu vào điều khiển biểu mẫu: Rằng có hai phần, phần phản hồi tuyến tính uc (t), cộng với phần ur (t) Bây giờ, hai mạng nơron yêu cầu để sản xuất hai ước tính f^ (x), f^(g) chức chưa biết Bộ điều khiển hiển thị hình 3.38 Khối lượng cập nhật mạng nơron cho f(x) đưa xác (hình 3.38) Để điều chỉnh g mạng nơron, công thức tương tự (hình 3.38) cần thiết, phải 80 sửa đổi để đảm bảo đầu g (x) mạng nơron thứ hai bảo đảm từ số không, để giữ kiểm soát u (t) hữu hạn Hình 3.40: Phản hồi tuyến tính điều khiển mạng nơron 3.3.2 Ứng dụng mạng nơron mạng phản hồi Hầu hết điều khiển phản hồi thực máy tính kỹ thuật số Điều đòi hỏi đặc điểm kỹ thuật thuật toán điều khiển thời gian rời rạc dạng kỹ thuật số [Lewis 1992] Để thiết kế điều khiển vậy, thể xem xét động thái thời gian rời rạc x (k + 1) = f (x (k)) + g (x (k)) u (k), với hàm f (.) g (.) Bộ điều khiển kỹ thuật số có nguồn gốc mạng nơron tình có hình thức thông tin phản hồi điều khiển tuyến tính thể hình 2.57 Người ta điều chỉnh thuật toán, cho thời gian rời rạc điều khiển mạng lưới nơron với N lớp, mà hệ thống bảo đảm ổn định vững mạnh [Lewis, Jagannathan, Yesildirek 1999] Đối với lớp thứ cập nhật trọng lượng có dạng: Điều kiện chức đầu lớp i,