Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy.Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy.Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy.Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy.Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy.Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy.Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy.Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy.
BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI VŨ VĂN TÚ XÂY DỰNG PHƯƠNG PHÁP ĐIỀU KHIỂN THÍCH NGHI TRÊN NỀN TỐI ƯU CHO HỆ LÁI TÀU THỦY Ngành: Kỹ thuật điều khiển tự động hóa Mã số: 9520216 TĨM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA Hà Nội - 2022 Cơng trình hồn thành tại: Đại học Bách Khoa Hà Nội Người hướng dẫn khoa học: PGS.TS Đào Phương Nam GS.TS Phan Xuân Minh Phản biện 1: Phản biện 2: Phản biện 3: Luận án bảo vệ trước Hội đồng đánh giá luận án tiến sĩ cấp Trường họp Trường Đại học Bách Khoa Hà Nội Vào hồi … … , ngày … tháng …… năm …… Có thể tìm hiểu luận án thư viện: Thư viện Tạ Quang Bửu – ĐHBK Hà Nội Thư viện Quốc gia Việt Nam DANH MỤC CƠNG TRÌNH KHOA HỌC ĐÃ CƠNG BỐ CỦA LUẬN ÁN Van Tu Vu, Phuong Nam Dao, Thanh Loc Pham, Quang Huy Tran (2021): Sliding Variable-based Online Adaptive Reinforcement Learning of Uncertain/Disturbed Nonlinear Mechanical Systems, Journal of Control, Automation and Electrical Systems, Vol 32, Issue 2, pp 281-290 (ISI Journal – Q3) Van Tu Vu, Thanh Loc Pham, Quang Huy Tran, Phuong Nam Dao (2021): Optimal Control for fully-actuated Surface Vessel Systems, International Journal of iRobotics, Vol 04, No 1, pp 1-7 Vũ Văn Tú, Đào Phương Nam, Phan Xuân Minh (2021): Điều khiển bám tàu mặt nước bất định mơ hình nhiễu ngồi thơng qua điều khiển học tăng cường thích nghi trực tuyến RISE, Tạp chí Nghiên cứu KH&CN quân sự, vol 74, pp 10-21 Van Tu Vu, Quang Huy Tran, Thanh Loc Pham, Phuong Nam Dao (03/2022): Online Actor-Critic Reinforcement Learning Control for Uncertain Surface Vessel Systems with External Disturbances, International Journal of Control, Automation and Systems, Vol 20, No 3, 1029–1040 March 2022 (SCIE Journal – Q2, IF: 3.314) Van Tu Vu, Phuong Nam Dao, Xuan Minh Phan (05/2022): Robust Optimal Control Based on the Off-Policy Integral Reinforcement Learning Algorithm for Surface Vessel Systems with Unknown Dynamics, in Proceedings of the International Conference on Advanced Mechanical Engineering, Automation and Sustainable Development, Chapter 124, pp 854–860, https://doi.org/10.1007/978-3-030-99666-6_124 (Scopus) Van Tu Vu, Thanh Loc Pham, Phuong Nam Dao (11/2022): Disturbance Observer-Based Adaptive Reinforcement Learning for Perturbed Uncertain Surface Vessels, ISA Transactions, Vol 130, pp 277-292, November 2022 (SCIE Journal – Q1, IF: 5.911) MỞ ĐẦU Tính cấp thiết đề tài Vận tải biển đóng vai trị quan trọng thương mại quốc tế khoảng 80% lượng hàng hóa xuất nhập vận chuyển qua đường biển Vận tải biển thị trường lớn lợi ích thiết yếu nó, chẳng hạn phạm vi vận chuyển rộng, khối lượng vận chuyển lớn, chi phí vận chuyển thấp…Vì vậy, nghiên cứu cải thiện hệ thống điều khiển bám quỹ đạo tàu thủy nhằm nâng cao hiệu vận chuyển đảm bảo an toàn hàng hải ln cấp thiết có ý nghĩa to lớn Trong đó, nguồn lượng lữu trữ tàu hữu hạn để đảm bảo tàu chuyển động quãng đường dài, toán tối ưu lượng cần đề cập tới Tuy nhiên, nay, có cơng trình nghiên cứu phương pháp điều khiển tối ưu cho tàu thủy Trong năm gần nghiên cứu xấp xỉ nghiệm phương trình HJB quy hoạch động thích nghi (ADP) quan tâm phát triển [10, 11, 12, 13] Giải thuật ADP sử dụng NN để xấp xỉ hàm giá trị, đặc điểm chung cấu trúc điều khiển ADP thường sử dụng hai NN ba NN để xấp xỉ hàm Những năm gần đây, ứng dụng giải thuật ADP toán bám tối ưu quỹ đạo cho hệ thống phi tuyến liên tục nghiên cứu phát triển mạnh mẽ [14, 15], riêng áp dụng cho hệ thống lái tàu thủy nghiên cứu Chính vậy, việc nghiên cứu phát triển áp dụng giải thuật ADP điều khiển bám tối ưu quỹ đạo cho tàu thủy thách thức động lực nhà khoa học Đây động lực thúc đẩy việc lựa chọn đề tài nghiên cứu tác giả Được đồng ý tập thể giáo viên hướng dẫn hội đồng đánh giá đề cương trình bày, NCS lựa chọn đề tài luận án: “Xây dựng phương pháp điều khiển thích nghi tối ưu cho hệ lái tàu thủy” Mục đích nghiên cứu Mục đích đề tài nghiên cứu xây dựng điều khiển bám tối ưu để nâng cao chất lượng điều khiển đảm bảo tính ổn định hệ lái tự động tàu thủy điều kiện có nhiễu tác động Để thực mục tiêu này, luận án đặt nhiệm vụ sau: - Nghiên cứu mơ hình tốn mơ tả chuyển động tàu thủy phương pháp điều khiển cho hệ lái tàu thủy - Nghiên cứu xây dựng thuật toán điều khiển bám tối ưu dựa giải thuật ADP có cấu trúc điều khiển AC-NNS - Nghiên cứu thuật điều khiển tối ưu bền vững dựa thuật toán off-policy IRL cho hệ lái tàu thủy Đối tượng phạm vi nghiên cứu luận án Đối tượng nghiên cứu luận án: Hệ thống lái tàu tàu tuần tra, tàu dịch vụ…, có mơ hình phi tuyến bất định, chịu ảnh hưởng nhiễu ngồi khơng biết trước (sóng, gió, dịng chảy…) đủ cấu chấp hành Phạm vi nghi cứu luận án: Luận án tập trung xây dựng điều khiển bám tối ưu cho hệ thống dựa lý thuyết điều khiển phi tuyến lý thuyết điều khiển tối ưu, cho tàu hoạt động biển điều kiện có nhiễu (sóng, gió, dịng chảy…) bị chặn Ý nghĩa khoa học thực tiễn luận án Luận án đưa cấu trúc điều khiển Các điều khiển phân tích ổn định dựa lý thuyết ổn định Lyapunov đánh giá thông qua mô phần mềm Matlab, kết phân tích lý thuyết mơ hồn tồn phù hợp đáp ứng tiêu chất lượng cho hệ thống lái tàu tự động Luận án góp phần bổ sung phương pháp điều khiển bám tối ưu quỹ đạo cho hệ lái tàu thủy Chính vậy, kết nghiên cứu luận án vừa có ý nghĩa khoa học vừa có ý nghĩa thực tiễn Phương pháp nghiên cứu - Phân tích tài liệu khoa học, cơng trình cơng bố nước điều khiển tàu thủy Đặc biệt phương pháp điều khiển đại áp dụng cho mơ hình tàu thủy đủ cấu chấp hành, sở đưa định hướng nghiên cứu giải thuật điều khiển cho hệ lái tàu thủy - Dựa lý thuyết điều khiển phi tuyến điều khiển tối ưu xây dựng toán điều khiển bám tối ưu cho hệ lái tàu thủy có xét tới ảnh hưởng nhiễu - Chuyển toán xác định nghiệm tối ưu tốn tìm nghiệm cho phương trình HJB, HJI Nghiên cứu, xấp xỉ nghiệm HJB dựa giải thuật ADP kết hợp phương pháp kháng nhiễu - Các giải thuật đề xuất, phân tích tính ổn định dựa lý thuyết Lyapunov khảo sát đánh giá thông qua mô phần mềm Matlab Bố cục luận án Luận án trình bày chương - Chương 1: Tổng quan mơ hình động lực học tàu thủy tình hình nghiên cứu - Chương 2: Điều khiển bám tối ưu cho tàu thủy có mơ hình - Chương 3: Điều khiển bám tối ưu cho tàu thủy khơng có mơ hình - Kết luận hướng phát triển luận án CHƯƠNG TỔNG QUAN VỀ MƠ HÌNH ĐỘNG LỰC HỌC TÀU THỦY VÀ TÌNH HÌNH NGHIÊN CỨU Nội dung chương xây dựng mơ hình động lực học tàu thủy dựa kết nghiên cứu cơng trình [16–19] sử dụng thiết kế hệ thống điều khiển phân tích ổn định hệ kín 1.1 Mơ hình động lực học tổng qt tàu thủy Tàu thủy phương tiện hàng hải chuyển động mặt nước, môi trường phức tạp, biến động khơng có cấu trúc Để xác định động lực học tàu dựa vào định luật Newton, coi tàu thủy vật rắn chuyển động môi trường chất lỏng chuyển động với sáu bậc tự do, sáu biến chuyển động độc lập dùng để xác định vị trí hướng tàu thủy [17], [18] Các chuyển động tàu thủy Hình 1.1 gồm chuyển động trượt dọc (surge), chuyển động trượt ngang (sway), trượt đứng (heave), chuyển động lắc ngang (roll), chuyển động lắc dọc (pitch), chuyển động quay trở (yaw) Hình 1.1 Mơ tả chuyển động tàu đại dương (nguồn: [19]) Mơ hình động lực học mơ tả chuyển động tàu thủy bậc tự kết đưa sau [16], [17]: J ()v Mv C (v)v D(v)v g () g (1.20) T x y z véc-tơ vị trí, hướng hệ T tọa độ trái đất (e-frame), v u v w p q r véc-tơ vận tốc dài, vận tốc góc hệ tọa độ gắn thân tàu (b-frame).Ma trận D(v ) ma trận suy giảm thủy động lực học ma trận không đối xứng, g () véc-tơ lực đẩy lực trọng trường, g véc-tơ sử dụng có điều khiển cân trường hợp không tải nhiễu loạn từ mơi trường bên ngồi tác động lên tàu thủy sóng, gió, dịng chảy đại dương Mơ hình động lực học phi tuyến tàu thủy ba bậc tự sau: J ()v (1.26) Mv C (v)v D(v)v g() (, ) Các thuật toán luận án phát triển dựa mơ hình (1.26) với thành phần M , D(v ),C (v ) g() bất định Tổng quan tình hình nghiên cứu ngồi 1.2 nước điều khiển chuyển động tàu thủy 1.2.1 Tổng quan tình hình nghiên cứu nước Trong năm gần ngành cơng nghiệp đóng tàu Việt Nam đạt thành tựu to lớn, góp phần thay đổi mặt cơng nghiệp hóa, đại hóa nước nhà Một số tác giả nghiên cứu công bố tài liệu liên quan đến thiết kế điều khiển cho tàu thủy có tính ứng dụng thành tựu định Trong cơng trình tác giả Khương Minh Tuấn [21], Nguyễn Đơng [22], Nguyễn Hồi Nam [23], luận án tiến sỹ của tác giả Đặng Xuân Hoài [24] Trong năm gần đây, số cơng bố [25] tác giả Hồng Thị Tú Uyên, luận án tác giả Nguyễn Hữu Quyền [26] 1.2.2 Tổng quan tình hình nghiên cứu ngồi nước Trong cơng trình nghiên cứu tác giả thiết kế điều khiển cho tàu thủy dựa theo hai mơ hình bản: Mơ hình tuyến tính mơ hình phi tuyến Các cơng trình thiết kế theo mơ hình tuyến tính thường xây dựng điều khiển tàu thủy theo hướng cho trước tác giả Nomoto [27], tác giả Fossen [18], [20], [28], [29] Mơ hình tàu phi tuyến bậc tự Norrbin [30], mơ hình tàu phi tuyến hai bậc tự Bech Wagner Smith [31] thể cơng trình: điều khiển Backsteping kết hợp với mạng nơ-ron [32]–[34] điều khiển thích nghi [35], [36], điều khiển tối ưu LQR, bền vững H [37]–[40] Từ mơ hình tàu thủy ba bậc tự mặt phẳng nằm ngang Fossen đồng xây dựng hồn thiện [17], cơng trình thiết kế điều khiển cho tàu thủy [41], [42], [51], [43]–[50] Trường hợp mơ hình tàu thiếu cấu chấp hành [41], [42], [44], [52], mơ hình tàu đủ cấu chấp hành [46]–[48], [50], [51] Trong năm gần lý thuyết RL nghiên cứu ứng dụng thiết kế điều khiển, có nhiều cơng trình áp dụng thiết kế cho mơ hình tàu thủy [60]–[66] Tuy nhiên, cơng trình vấn đề luật cập nhật hệ thống, ảnh hưởng yếu tố bất định mơ hình nhiễu tác động tới điều khiển thiết kế không xem xét triệt để 1.3 Hướng nghiên cứu luận án Sau phân tích tổng quan phương pháp điều khiển cho hệ lái tự động tàu thủy cơng trình nghiên cứu nước cho thấy: Các phương pháp điều khiển điều động bám quỹ đạo cho tàu thủy áp dụng nhiều, từ phương pháp kinh điển phương pháp điều khiển phi tuyến đại, điều khiển thích nghi bền vững Hướng nghiên cứu thứ nhất: Nghiên cứu, đề xuất cấu trúc điều khiển giải toán điều khiển bám tối ưu cho hệ lái tàu thủy đủ cấu chấp hành có mơ hình phi tuyến chứa thành phần bất định hoạt động môi trường biến động, chịu ảnh hưởng nhiễu đầu vào trước nhằm nâng cao chất lượng hệ thống điều khiển, hệ thống ổn định bám quỹ đạo đặt giảm thiểu chi phí tăng hiệu suất Hướng nghiên cứu thứ hai: Nghiên cứu, đề xuất cấu trúc điều khiển tối ưu bền vững cho hệ lái tàu thủy đủ cấu chấp hành với không yêu cầu biết trước thông tin động học hệ thống, dựa xấp xỉ nghiệm phương trình HJI Cấu trúc điều khiển đảm bảo hệ thống ổn định, tàu thủy bám quỹ đạo đặt có khả làm suy giảm nhiễu đầu vào tác động lên hệ thống Cơ sở phương pháp luận luận án Giới thiệu phương pháp sử dụng luận án để tổng hợp điều khiển: - Mạng nơ-ron xấp xỉ hàm - Ổn định UUB - Giải thuật quy hoạch động xấp xỉ/thích nghi cho hệ phi tuyến 1.5 Kết luận chương Trong chương 1, luận án tập trung nghiên cứu: - Xây dựng mơ hình động lực học tàu thủy sáu bậc tự do, tàu ba bậc tự đặt mặt phẳng nằm ngang Phân tích mơ hình động lực học khác tàu từ xác định mơ hình tàu thủy ba bậc tự đủ cấu chấp hành chứa thành phần bất định có nhiễu ngồi tác động đối tượng nghiên cứu luận án - Phân tích đánh giá cơng trình nghiên cứu nước liên quan đến thiết kế điều khiển cho tàu thủy, từ đề xuất hướng nghiên cứu cho luận án với xây dựng điều khiển tối ưu cho hệ lái tự động tàu mà mơ hình chứa thành phần bất định nhiễu tác động - Phân tích số thuật tốn giải thuật ADP như: cấu trúc AC-NNs, thuật toán Off-Policy IRL thuật toán nghiên cứu luận án tạo tảng để xây dựng điều khiển cho hệ lái tự động tàu thủy CHƯƠNG ĐIỀU KHIỂN BÁM TỐI ƯU CHO MƠ HÌNH TÀU THỦY DÙNG CẤU TRÚC ACTOR-CRITIC Trong chương này, luận án đề xuất điều khiển bám tối ưu quỹ đạo đặt cho hệ lái tàu thủy có chứa thành phần bất định, chịu ảnh hưởng nhiễu, sử dụng giải thuật ADP cấu trúc AC-NNs kết hợp với ước lượng nhiễu đảm bảo hệ kín ổn định UB trọng số mạng nơ ron điều khiển hội tụ miền cho phép có chứa gốc tọa độ Hệ thống điều khiển bám tối ưu cấu trúc AC-NNs phân tích, đánh giá thơng qua mơ so sánh với cơng trình tác giả khác công bố 2.1 Tổng hợp điều khiển tối ưu dựa cấu trúc ActorCritic 2.1.1 Biến đổi mơ hình tàu thủy Từ phương trình hệ phương trình (1.26) ta có mơ hình động lực học tàu thủy mặt phẳng nằm ngang ba bậc tự do: 1.4 J ()v (2.1) Mv C (v)v D(v)v g() (, ) Trong C (v ), D(v ), g () hàm xác định, (, ) gồm véc-tơ lực momen nhiễu từ môi trường thành phần không xác định mơ hình tàu hàm chưa biết bị chặn: (, ) (2.3) Mục tiêu toán điều khiển tàu bám theo quỹ đạo đặt mong muốn d [x d (t ), yd (t ), (t )]T Chuyển đổi đưa hệ dừng (autonomous system): (2.15) X F (X ) G(X )(u ) 2.1.2 Mơ tả tốn điều khiển tối ưu cho tàu thủy Hàm chi phí (2.15) định nghĩa sau: J (X, u ) r (X(τ ), u(τ ))d τ (2.18) Các biến trạng thái hệ (2.15) bị chặn u U (X ) luật điều khiển thiết kế để ổn định hệ kín (2.15) đảm bảo J (X, u ) hữu hạn 2.1.3 Tổng hợp điều khiển tối ưu Áp dụng giải thuật ADP cấu trúc điều khiển AC-NNs, luật điều khiển tối ưu u * (X ) hàm Bellman tương ứng V * (X ) xấp xỉ NN sau: (2.22) V * (X ) W T (X ) (X ) T V * (X ) (2.23) u (X ) R1GT (X ) X Xét số nơ-ron cố định N , critic NN V ( ) actor NN u( ) sử dụng để xấp xỉ hàm Bellman (2.22) luật điều khiển tối ưu (2.23) trọng số W chưa xác định: V (X ) WcT (X ) (2.24) * T V * (2.69) u (Z ) R1BT (Z ) Z Xét số nơ-ron cố định N , critic NN V ( ) actor NN u( ) sử dụng để xấp xỉ hàm Bellman (2.68) luật điều khiển tối ưu (2.69) sau: V (Z ) WcT (Z ) (2.70) * T (Z ) Wa u(Z ) R1BT (Z ) Z (2.71) 2.2.2 Thiết kế điều khiển phản hồi RISE Thiết kế điều khiển sử dụng ước lượng nhiễu đầu vào sau: (ks 1)e2 (ks 1)e2 (0) (t ) (2.93) Hình 2.8 Cấu trúc điều khiển ADP-RISE cho mơ hình tàu thủy 2.2.3 Phát biểu định lý chứng minh tính ổn định hệ kín Định lý 2.2 Hệ thống điều khiển kín bao gồm mơ hình tàu thủy (2.56) (2.65) thỏa mãn Giả thiết 2.2 đến Giả thiết 2.9 điều khiển ADP-RISE (2.64) ới luật điều khiển RISE (2.93), luật điều khiển tối ưu (2.71), luật cập nhật trọng số (2.74), (2.76), tín hiệu véc tơ (t ) thỏa mãn điều kiện PE (2.79), tham số T thiết kế chọn sau: b 1 min (1 ) ; 2 1; 1 1 2 ; l1l2 (2.96) 2 a Đảm bảo: 10 Sự hội tụ trọng số AC-NNs thỏa mãn, với sai số W hội tụ miền cho phép trọng số AC-NNs W a c có chứa gốc tọa độ Các biến trạng thái y hệ Error! Reference source not found ổn định UB Phần chứng minh định lý trình bày chi tiết luận án trang 52-56 2.2.4 Mô so sánh đánh giá Luận án thực mô số phần mềm Matlab với mô hình tàu thu nhỏ với tỷ lệ so với tàu thật 1:75 Khối lượng tàu m 21(kg) , chiều dài chiều rộng tương ứng 1.2(m) 0.3(m) với tham số tham khảo tài liệu [63] Hình 2.10 So sánh điều khiển bám quỹ đạo trịn, chưa có nhiễu Hình 2.14 So sánh điều khiển bám quỹ đạo tròn, nhiễu hàm “1” tác động 11 Hình 2.18 So sánh điều khiển bám quỹ đạo tròn, nhiễu hàm “2” tác động Từ hình 2.10 đến hình 2.18 cho thấy quỹ đạo bám sai lệch bám điều khiển ADP điều khiển ADP-RISE có thay đổi thay đổi nhiễu tác động đầu vào 2.3 Thiết kế điều khiển tối ưu dựa giải thuật ADP kết hợp với ước lượng nhiễu DO cho mơ hình tàu mặt nước bất định nhiễu 2.3.1 Thiết kế điều khiển bù nhiễu Từ phương trình hệ phương trình (1.26) ta có mơ hình mơ tả động học tàu thủy mặt phẳng nằm ngang ba bậc tự do: J ()v (2.126) Mv C (v)v D(v)v g() (, ) Trong C (v), D(v ), g () hàm chưa biết, (, ) gồm véc-tơ lực momen nhiễu từ môi trường thành phần khơng xác định mơ hình tàu Chuyển hệ (2.126) dạng: Y ( ) E( ) b (2.134) Đầu vào điều khiển hệ (2.134) thiết kế sau: (ET E )1 ET b u (2.135) Thành phần điều khiển mà luận án đề xuất b b b (2.135) thiết kế cách ước lượng véc-tơ hàm bất định (2.134) Một DO phát triển sau: 12 y ( ) b (2.137) y ( ) (y ( ) Y ( ) E( ) ) Định lý 2.1 Cho hệ thống (2.134), DO thiết kế (2.137) ( ) Nếu hàm xác định dương, ước lượng véc-tơ hàm bất ổn định tiệm định bám theo hàm mũ, sai lệch DO b cận theo hàm mũ, Định lý chứng minh chi tiết luận án trang 66 2.3.2 Tổng hợp điều khiển tối ưu dựa sở cấu trúc Actor-Critic Xét hệ thống định danh (nominal system) biểu diễn sau: (2.141) Y ( ) E( )u Áp dụng giải thuật ADP cấu trúc điều khiển AC-NNs trình bày mục 1.4.3.1 điều khiển tối ưu u * ( ) hàm Bellman tương ứng V * ( ) xấp xỉ mạng NNs: (2.144) V * ( ) W T ( ) ( ) T T ( ) ( ) W u * ( ) R1ET ( ) (2.145) Xét số nơ-ron cố định N , critic NN V ( ) actor NN u( ) sử dụng để xấp xỉ hàm Bellman (2.144) luật điều khiển tối ưu (2.145) sau: V ( ) WcT ( ) (2.146) T (2.147) u( ) R1ET ( ) Wa 2.3.3 Phương pháp xác định véc-tơ hàm kích hoạt Định lý 2.4 Xét hệ thống (2.131) với hàm chi phí (2.158) Nếu tham số K , 1,Q, R thỏa mãn điều kiện sau: K1 1T K Q11 ; K Q12 ; JR1J T Q22 13 (2.162) hàm Bellman V (z, t ) điều khiển tối ưu đưa sau: K 033 V (z, t ) zT P (z )z zT (2.163) Tz 033 JMJ (2.164) u * (t ) R1BT P (z )z Phần chứng minh định lý xem luận án trang 70-71 Hình 2.1 Cấu trúc điều khiển tối ưu sử dụng giải thuật ADP cấu trúc AC-NNs kết hợp với ước lượng nhiễu DO 2.3.3 Phát biểu định lý chứng minh tính ổn định hệ kín Định lý 2.5 Hệ thống điều khiển kín bao gồm mơ hình tàu thủy (2.125) (2.136) thỏa mãn Giả thiết 2.2 đến Giả thiết 2.5, Giả thiết 2.10, tín hiệu véc-tơ (t ) thỏa mãn điều kiện PE (2.157), a3 n1n2 Bộ điều khiển ADP-DO (2.135) với DO (2.137) luật điều khiển xấp xỉ (2.147), luật cập nhật trọng số NN (2.151), (2.153): Sự hội tụ trọng số AC-NNs thỏa mãn, với sai số W hội tụ miền cho phép trọng số AC-NNs W a c có chứa gốc tọa độ Các biến trạng thái (t ) hệ Error! Reference source not found ổn định UB Phần chứng minh định lý trình bày chi tiết luận án trang 71-74 2.3.5 Mô phỏng, so sánh đánh giá tham số thiết kế chọn 14 Luận án thực mô số phần mềm Matlab với mơ hình tàu thu nhỏ với tỷ lệ so với tàu thật 1:75 Khối lượng tàu m 21(kg) , chiều dài chiều rộng tương ứng 1.2(m) 0.3(m) , với tham số tham khảo tài liệu [63] Sau hội tụ Hình 2.30 So sánh điều khiển bám quỹ đạo tròn điều khiển đề xuất ADP-DO với điều khiển AOBC [63] 15 Hình 2.31 So sánh sai số bám trục x hai điều khiển Hình 2.32 So sánh sai số bám trục y hai điều khiển Hình 2.33 So sánh sai số bám trục hai điều khiển Bảng 2.2 RMSE hai điều khiển Bộ điều E xy E khiển AOBC [63] 0.2618 0.1927 ADP-DO 0.0514 0.0679 2.5 Kết luận chương Trong chương 2, luận án xây dựng thành công cấu trúc điều khiển cho tàu thủy dựa kết hợp giải thuật ADP cấu trúc AC-NNs ước lượng thành phần nhiễu đầu vào hệ thống, kết ước lượng nhiễu đạt chất lượng tốt, cấu trúc điều khiển đảm bảo cho hệ thống bám theo quỹ đạo đặt với sai số bám nhỏ, sai số ước lượng nhỏ Cũng chương này, luận án đề xuất phương pháp xác định trọng số lý tưởng NN cấu trúc AC-NNs dựa STT 16 phân tích lý thuyết trường hợp đặc biệt mơ hình tàu thủy Nghiệm tối ưu xấp xỉ giải theo phương pháp ADP-DO nghiệm tối ưu tìm theo phương pháp lý thuyết, độ sai số nhỏ CHƯƠNG ĐIỀU KHIỂN BÁM TỐI ƯU BỀN VỮNG CHO MƠ HÌNH TÀU THỦY Nhược điểm giải thuật ADP cấu trúc AC-NNs áp dụng cho hệ phi tuyến phải biết trước thơng tin mơ hình Giải thuật ADP mở rộng với thuật toán off-policy IRL giải pháp khắc phục tình trạng này, từ chuyển từ lời giải tốn tối ưu trực tiếp sang lời giải toán tối ưu gián tiếp mà khơng cần thơng tin mơ hình hệ thống Nội dung chủ yếu chương phát triển cấu trúc điều khiển tối ưu bền vững cho hệ lái tàu thủy có mơ hình bất định chịu ảnh hưởng nhiễu Bộ điều khiển tối ưu bền vững sử dụng giải thuật ADP với thuật toán off-policy IRL dùng để xấp xỉ nghiệm phương trình HJI 3.1 Phương trình HJI bám quỹ đạo ổn định phương pháp 3.1.1 Biến đổi mơ hình tàu thủy Phương trình động lực học ba bậc tự mô tả chuyển động tàu thủy theo (1.26) sau: J ()v (3.1) Mv C (v)v D(v)v g() (, ) Trong M ,C (v ), D(v ), g () hàm chưa xác định, (, ) gồm véc-tơ lực momen nhiễu từ môi trường thành phần khơng xác định mơ hình tàu Chuyển đổi đưa hệ dừng (autonomous system): x F (x ) G(x )u K (x )d (x ) (3.8) 3.1.2 Phương trình Hamilton-Jacobi-Isaacs cho toán điều khiển tối ưu bám quỹ đạo Sử dụng quy tắc Leibniz’s để đạo hàm V (x (t )) J (x, u, d ) theo quỹ đạo trạng thái hệ thống (3.8), phương trình Bellman sau: H (V , u, d ) xTQT x uT Ru 2d T d V (3.11) 17 V (F Gu Kd ) x Thay luật điều khiển tối ưu u * công thức (3.16) luật nhiễu (3.17) vào biểu thức (3.12) thu phương trình HJI (3.12) trở thành: T V* V* 1 T V* * * * T * HV ( ,u ,d ) x QTx F V GR G x x x (3.18) T * V * T V KK x x với V * (0) 3.2 Thuật toán off-policy IRL để giải phương trình HJI bám quỹ đạo 3.2.1 Thuật toán off-policy RL cho điều khiển tối ưu bám quỹ đạo Thuật toán 3.1 Thuật toán RL để giải phương trình HJI Bước 1: x x , khởi tạo luật điều khiển chấp nhận u (x ) , nhiễu giá trị d (0) (x ) , chọn tiêu chí hội tụ (số dương nhỏ) + Gán i Bước 2: Xấp xỉ hàm V (i ) (x ) bước lặp i với luật điều khiển u (i ) , (0) luật nhiễu d (i ) + Xác định V (i ) (x ) từ hệ phương trình: H (V (i ), u (i ), d (i ) ) xTQT x u (i )T Ru (i ) 2d (i )T d (i ) V (i ) (i ) (F Gu (i ) Kd (i ) ) V x (3.28) Bước 3: Cập nhật luật điều khiển nhiễu cho vòng lặp theo Cập nhật: T (i ) (i 1) (i ) (i ) T V (3.29) d arg max[H (V , u , d ] K d x 2 18 u (i 1) (i ) arg min[H (V , u, d u (i 1) ] R1GT T V (i ) x (3.30) + Nếu thỏa mãn tiêu chuẩn hội tụ cho V (i ) V (i 1) với số dương đủ nhỏ gán u * u (i1) , d * d (i1) V * V (i 1) kết thúc giải thuật + Nếu không thỏa mãn, gán i i quay lại bước 3.2.2 Phân tích hội tụ thuật toán 3.1 Phần chứng minh định lý trình bày chi tiết luận án trang 89-95 3.2.3 Thuật toán học tăng cường cho phương trình HJI bám quỹ đạo Thuật tốn 3.2 Thuật toán off-policy IRL cho điều khiển bám tối ưu quỹ đạo Bước Pha (thu thập liệu sử dụng luật điều khiển cố định): Áp dụng luật điều khiển u vào hệ thống thu thập thông tin hệ thống yêu cầu trạng thái, tín hiệu điều khiển nhiễu N khoảng thời gian trích mẫu khác T Bước Cho luật điều khiển u (i ) luật nhiễu d (i ) , tìm V (i ) thơng qua phương trình Bellman: H (V (i ), u (i ), d (i ) ) xTQT x u (i )T Ru (i ) 2d (i )T d (i ) V (i ) (3.64) (i ) (F Gu (i ) Kd (i ) ) V x Bước Pha (sử dụng lặp lặp lại liệu thu thập cách nhằm tìm luật điều khiển tối ưu): với tín hiệu điều khiển u (i ) d (i ) , sử dụng thông tin thu thập từ pha nhằm giải phương trình Bellman cho V (i ), u (i 1) d (i1) cách đồng thời từ phương trình: e TV (i ) (x (t T )) V (i ) (x (t )) t T e ( τ t ) (xTQT x u (i )T Ru (i ) 2d (i )T d (i ) )d τ t 19 (3.65) t T e ( τ t ) (2u (i 1)T R(u u (i ) ) 2 2d (i 1)T (d d (i ) ))d τ t Bước Dừng điều kiện dừng thỏa mãn, ngược lại đặt i i chạy lại pha 3.2.4 Phân tích hội tụ thuật toán 3.2 Phần chứng minh định lý trình bày chi tiết luận án trang 97-98 3.2.5 Thuật toán off-policy IRL điều khiển bám quỹ đạo sử dụng NNs Áp dụng khả xấp xỉ mạng nơ-ron mục 1.4.1 giải thuật off-policy IRL sử dụng ba mạng nơ-ron bao gồm, mạng nơ-ron critic xấp xỉ hàm chi phí, mạng nơ-ron actor xấp xỉ luật điều khiển cập nhật luật nhiễu cập nhật phương trình Bellman IRL (3.65) Nghĩa V (i ), u (i 1) d (i1) phương trình (3.65) xấp xỉ ba mạng nơ-ron sau: V (i ) (x ) W1T (x ) ; u (i 1) (x ) W2T (x ) (3.71) d (i 1) (x ) W3T (x ) (3.73) Sau thay (3.71)-(3.73) vào (3.65) ta thu được: (t ) W1T (e T (x (t T )) (x (t ))) t T e ( τ t ) (xTQT x u (i )T Ru (i ) 2d (i )T d (i ) )d τ t m 2 al l 1 t T e W2,Tl (x )l1d τ ( τ t ) (3.74) t q t T k 1 t 2 e W3T,k (x )k2d τ ( τ t ) Sử dụng phương pháp LS cho (3.74) sau: W (HH T )1 HY (3.81) Thuật toán 3.3 Thuật toán off-policy IRL sử dụng NN Bước Áp dụng luật điều khiển u vào hệ thống thu thập thơng tin hệ thống u cầu trạng thái, tín hiệu điều khiển nhiễu N 20 khoảng thời gian trích mẫu khác T Khởi tạo giá trị W , gán i 0 Bước Từ liệu đươc cập nhật bước 1, tính tốn ma trận H ,Y Từ H ,Y tính tốn véc-tơ trọng số mạng nơron: (3.54) W (i ) (HH T )1 HY Bước Tính hàm chi phí V (i ) mạng nơ-ron Critic (3.43), tính luật điều khiển u (i1) luật nhiễu d (i1) từ mạng nơ-ron Actor (3.44), (3.45) Bước Dừng điều kiện dừng thỏa mãn (i ) (i 1) W W < W , ngược lại đặt i i chạy lại bước Hình 3.1 Cấu trúc điều khiển tàu mặt nước ba bậc tự sử dụng thuật toán off-policy IRL 3.2.4 Mô phỏng, so sánh đánh giá Luận án thực mô số phần mềm Matlab với mơ hình tàu thu nhỏ với tỷ lệ so với tàu thật 1:75 Khối lượng tàu m 21(kg) , chiều dài chiều rộng tương ứng 1.2(m) 0.3(m) , với tham số tham khảo tài liệu [63] 21 Hình 3.2 So sánh điều khiển bám quỹ đạo tròn Actor-Critic off-policy IRL, khơng có nhiễu tác động Hình 3.1 So sánh điều khiển bám quỹ đạo tròn Actor-Critic off-policy IRL, chịu tác động nhiễu hàm “1” Hình 3.10 So sánh điều khiển bám quỹ đạo tròn Actor-Critic off-policy IRL, chịu tác động nhiễu hàm “2” Kết mô hình 3.2, hình 3.6, hình 3.10 điều khiển AC-NNs off-policy IRL Kết cho thấy chất lượng bám quỹ đạo đặt điều khiển AC-NNs có chất lượng giảm dần chịu tác động nhiễu, nguyên nhân biên chặn nhiễu tăng lên, miền hấp dẫn sai số tăng lên Trong chất lượng bám quỹ đạo đặt off-policy IRL đạt chất lượng tốt chịu ảnh hưởng nhiễu đầu vào 3.3 Kết luận chương 22 Trong chương luận án đề xuất cấu trúc điều khiển dựa giải thuật ADP với thuật toán off-policy IRL thiết kế cho hệ lái tàu thủy với mơ hình bất định hồn tồn chịu tác động nhiễu đầu vào Bộ điều khiển xấp xỉ tối ưu đảm bảo hệ thống hoạt động ổn định, bám theo quỹ đạo đặt với sai số nhỏ có khả làm suy giảm ảnh hưởng nhiễu tác động vào hệ thống KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN Kết luận: Với đề tài “Xây dựng phương pháp điều khiển thích nghi tối ưu cho hệ lái tàu thủy”, luận án tập trung nghiên cứu mơ hình động lực học tàu đủ cấu chấp hành, nghiên cứu phương pháp điều khiển hệ thống lái tàu tự động từ cơng trình cơng bố ngồi nước, phân tích ưu nhược điểm phương pháp điều khiển để định hướng nghiên cứu cho luận án Đó nghiên cứu phát triển điều khiển tối ưu bám quỹ đạo cho tàu đủ cấu chấp hành có mơ hình bất định chịu ảnh hưởng nhiễu tác động trước Bộ điều tối ưu bám quỹ đạo đề xuất luận án xây dựng phát triển dựa giải thuật ADP để xác định nghiệm xấp xỉ tối ưu cho phương trình HJB, HJI kết hợp với ước lượng nhiễu để giải đề bất định nhiễu tác động trước vào hệ thống Khắc phục trở ngại kỹ thuật phát sinh tổng hợp điều khiển tối ưu bám quỹ đạo dựa mơ hình sai lệch, luận án đề xuất hàm thay phù hợp để xác định lời giải tối ưu Luận án đề xuất ba điều khiển tối ưu bám quỹ đạo cho hệ thống lái tàu biển đủ cấu chấp hành là: Bộ điều khiển tối ưu bám quỹ đạo cấu trúc AC-RISE, cấu trúc AC-DO điều khiển bám tối ưu bền vững dựa giải thuật offpolicy IRL Tính hội tụ trọng số mạng nơ ron sử dụng điều khiển tính ổn định hệ thống điều khiển kín phân tích chứng minh chặt chẽ dựa hàm Lyapunov phát biểu định lý luận án Các đề xuất luận án cơng bố tạp chí có uy tín ngồi nước Tóm lại, luận án có đề xuất sau đây: Đề xuất cấu trúc điều khiển tối ưu bám quỹ đạo cho hệ lái tàu thủy dựa giải thuật ADP với cấu trúc điều khiển AC-NNs, critic NN dùng để xấp xỉ hàm chi phí tối ưu actor NN xấp xỉ luật điều 23 khiển tối ưu Bộ điều khiển tối ưu kết hợp với ước lượng nhiễu cho hệ lái tàu thủy, có khả bù thành phần bất định mơ hình tàu nhiễu mơi trường bên ngồi đảm bảo cho tàu bám quỹ đạo đặt trước ổn định Mặt khác, luận án đề xuất phương pháp xác định hàm kích hoạt cho AC-NNs dựa lời giải trường hợp đặc biệt tốn điều khiển tối ưu Tính ổn định hệ thống phát biểu thông qua định lý chứng minh chặt chẽ mặt phương pháp luận, mô kiểm chứng phần mềm Matlab Đề xuất cấu trúc điều khiển tối ưu bền vững bám quỹ đạo hệ lái tàu thủy dựa giải thuật ADP với thuật toán off-policy IRL Giải thuật ADP sử dụng ba NN để xấp xỉ hàm chi phí tối ưu, luật điều khiển tối ưu luật nhiễu xấu nhất, luật cập nhật trọng số NN thiết kế, cập nhật đồng thời liên tục bước lặp Bộ điều khiển đề xuất luận án không yêu cầu thông tin động học hệ thống, đảm bảo tàu bám quỹ đạo đặt trước ổn định Luận án phát biểu chứng minh định lý tính chất hội tụ thơng số giá trị cận tối ưu áp dụng thuật toán off-policy IRL, mô kiểm chứng phần mềm Matlab Hướng phát triển luận án: Trong phạm vi hạn hẹp luận án, kết trình bày luận án khiêm tốn nhiều hướng đề nghị cần phát triển, cụ thể sau: Luận án tập trung nghiên cứu ứng dụng NN tuyến tính vào phương pháp quy hoạch động thích nghi, NN tuyến tính phù hợp với phân tích tốn học chặt chẽ khả xấp xỉ hàm yếu, với vấn đề bùng nổ kích thước NN số lượng đầu vào mạng tăng Do hướng phát triển tương lai luận án mở rộng giải thuật ADP với NN nhân tạo nhiều lớp thay NN tuyến tính, giúp giải thuật phù hợp với bối cảnh thực tế Hạn chế luận án chưa triển khai, kiểm chứng chất lượng điều khiển môi trường thực mơ hình tàu khác Vì hướng phát triển luận án triển khai thực nghiệm mơ hình tàu thật mơi trường thực phát triển thành sản phẩm thương mại có ứng dụng cao thực tế 24 ... tài luận án: ? ?Xây dựng phương pháp điều khiển thích nghi tối ưu cho hệ lái tàu thủy? ?? Mục đích nghi? ?n cứu Mục đích đề tài nghi? ?n cứu xây dựng điều khiển bám tối ưu để nâng cao chất lượng điều khiển. .. sở đưa định hướng nghi? ?n cứu giải thuật điều khiển cho hệ lái tàu thủy - Dựa lý thuyết điều khiển phi tuyến điều khiển tối ưu xây dựng toán điều khiển bám tối ưu cho hệ lái tàu thủy có xét tới... luận: Với đề tài ? ?Xây dựng phương pháp điều khiển thích nghi tối ưu cho hệ lái tàu thủy? ??, luận án tập trung nghi? ?n cứu mơ hình động lực học tàu đủ cấu chấp hành, nghi? ?n cứu phương pháp điều khiển