Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy ngành kỹ thuật điều khiển và tự động hóa

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI VŨ VĂN TÚ XÂY DỰNG PHƯƠNG PHÁP ĐIỀU KHIỂN THÍCH NGHI TRÊN NỀN TỐI ƯU CHO HỆ LÁI TÀU THỦY LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA Hà Nội - 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI VŨ VĂN TÚ XÂY DỰNG PHƯƠNG PHÁP ĐIỀU KHIỂN THÍCH NGHI TRÊN NỀN TỐI ƯU CHO HỆ LÁI TÀU THỦY Ngành: Kỹ thuật điều khiển tự động hóa Mã số: 9520216 LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Đào Phương Nam GS TS Phan Xuân Minh Hà Nội - 2022 Lời cam đoan Tôi xin cam đoan cơng trình nghiên cứu cá nhân hướng dẫn giáo viên hướng dẫn nhà khoa học Tài liệu tham khảo luận án trích dẫn đầy đủ Các kết nghiên cứu luận án trung thực chưa tác giả khác công bố Hà Nội, ngày … tháng … năm 2022 Tập thể hướng dẫn PGS.TS Đào Phương Nam Nghiên cứu sinh GS.TS Phan Xuân Minh i Vũ Văn Tú LỜI CẢM ƠN Đầu tiên, nghiên cứu sinh xin gửi lời cảm ơn chân thành, sâu sắc đến GS.TS Phan Xuân Minh, PGS.TS Đào Phương Nam dành nhiều thời gian, tâm huyết để hướng dẫn, định hướng, tạo động lực nghiên cứu hỗ trợ nghiên cứu sinh mặt để hoàn thành luận án Cho phép nghiên cứu sinh bày tỏ biết ơn sâu sắc tới Thầy Cơ nhóm sở Lý thuyết điều khiển tự động có chia sẻ quý báu kiến thức, phương pháp nghiên cứu lời động viên tới NCS suốt tiến trình nghiên cứu đề tài Trong suốt trình học tập, nghiên cứu nghiên cứu sinh luôn nhận giúp đỡ tận tình Thầy Cơ Khoa Tự động hóa, Trường Điện-Điện tử Phòng Đào tạo, Đại học Bách Khoa Hà Nội tận tình giúp đỡ mặt chun mơn, hỗ trợ thủ tục q trình học tập hoàn thành luận án Nghiên cứu sinh xin gửi lời cảm ơn đến Ban Giám Hiệu trường Đại học Hải Phòng, đặc biệt Khoa Điện Cơ, nơi công tác tạo điều kiện thuận lợi cho NCS trình thực đề tài nghiên cứu Cuối cùng, nghiên cứu sinh xin gửi lời biết ơn tới đồng nghiệp, gia đình, người thân động viên, chia sẻ, ủng hộ giúp đỡ NCS suốt toàn thời gian thực nghiên cứu Hà Nội, ngày … tháng… năm 2022 Nghiên cứu sinh Vũ Văn Tú ii MỤC LỤC MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT vi DANH MỤC CÁC BẢNG x DANH MỤC HÌNH VẼ x MỞ ĐẦU 1 Tính cấp thiết đề tài Mục đích nghiên cứu Đối tượng phạm vi nghiên cứu luận án Ý nghĩa khoa học thực tiễn luận án Phương pháp nghiên cứu Bố cục luận án Chương TỔNG QUAN VỀ MƠ HÌNH ĐỘNG LỰC HỌC TÀU THỦY VÀ TÌNH HÌNH NGHIÊN CỨU 1.1 Mơ hình động lực học tổng qt tàu thủy 1.1.1 Các chuyển động tàu thủy hệ quy chiếu 1.1.2 Mơ hình động lực học tàu thủy sáu bậc tự 1.1.3 Mơ hình động lực học tàu thủy ba bậc tự mặt phẳng nằm ngang 13 1.2 Tổng quan tình hình nghiên cứu ngồi nước điều khiển chuyển động tàu thủy 15 1.2.1 Tổng quan tình hình nghiên cứu nước 15 1.2.2 Tổng quan tình hình nghiên cứu nước 16 1.3 Hướng nghiên cứu luận án 19 1.4 Cơ sở phương pháp luận luận án 19 1.4.1 Mạng nơ-ron xấp xỉ hàm 19 1.4.2 Ổn định UUB 20 1.4.3 Giải thuật quy hoạch động thích nghi cho hệ phi tuyến 22 1.5 Kết luận chương 32 Chương ĐIỀU KHIỂN BÁM TỐI ƯU TÀU THỦY KHI CĨ MƠ HÌNH 33 2.1 Tổng hợp điều khiển cho hệ lái tàu thủy 33 2.1.1 Biến đổi mơ hình tàu thủy 33 iii 2.1.2 Mô tả toán điều khiển tối ưu cho tàu thủy 35 2.1.3 Thiết kế điều khiển bám tối ưu dựa cấu trúc Actor-Critic 35 2.1.4 Phát biểu định lý chứng minh tính ổn định hệ kín 39 2.1.5 Mô kiểm chứng 42 2.2 Thiết kế điều khiển bám tối ưu dựa cấu trúc ADP-RISE cho tàu thủy có nhiễu đầu vào 46 2.2.1 Tổng hợp điều khiển bám tối ưu dựa sở cấu trúc ActorCritic 46 2.2.2 Thiết kế điều khiển phản hồi RISE 49 2.2.3 Phát biểu định lý chứng minh tính ổn định hệ kín 51 2.2.4 Mơ so sánh đánh giá 56 2.3 Thiết kế điều khiển bám tối ưu dựa giải thuật ADP kết hợp với ước lượng nhiễu DO cho tàu có nhiễu đầu vào 65 2.3.1 Thiết kế điều khiển bù nhiễu 65 2.3.2 Tổng hợp điều khiển bám tối ưu dựa sở cấu trúc ActorCritic 67 2.3.3 Phương pháp xác định véc-tơ hàm kích hoạt 70 2.3.4 Phát biểu định lý chứng minh tính ổn định hệ kín 72 2.3.5 Mơ phỏng, so sánh đánh giá 76 2.4 Kết luận chương 83 Chương ĐIỀU KHIỂN BÁM TỐI ƯU TÀU THỦY KHI KHÔNG CĨ MƠ HÌNH 84 3.1 Phương trình HJI bám quỹ đạo ổn định phương pháp 84 3.1.1 Biến đổi mơ hình tàu thủy 84 3.1.2 Phương trình Hamilton-Jacobi-Isaacs cho tốn điều khiển bám tối ưu quỹ đạo 85 3.1.3 Sự suy giảm nhiễu độ ổn định giải pháp cho phương trình HJI 87 3.2 Thuật tốn off-policy IRL để giải phương trình HJI bám quỹ đạo 88 3.2.1 Thuật toán off-policy RL cho điều khiển tối ưu bền vững 88 3.2.2 Phân tích hội tụ thuật toán 3.1 89 3.2.3 Thuật toán off-policy IRL cho điều khiển tối ưu bền vững 95 3.2.4 Phân tích hội tụ thuật tốn 3.2 97 3.2.5 Thuật toán off-policy IRL cho điều khiển tối ưu bền vững sử dụng mạng nơ-ron 98 3.2.6 Mô phỏng, so sánh đánh giá 101 3.3 Kết luận chương 108 iv KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN 109 DANH MỤC CÁC CƠNG TRÌNH ĐƯỢC CƠNG BỐ 111 TÀI LIỆU THAM KHẢO 112 PHỤ LỤC 118 v DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Danh Mục Các Ký Hiệu Ký hiệu STT Giải thích Tập số thực n Không gian tọa độ thực (không gian Euclide) n chiều n m Tập ma trận có kích thước n m chứa phần tử số thực Tập compact n x ( ) C(v) CA(v) D Ma trận suy giảm thủy động lực học tuyến tính Dn (v) Ma trận suy giảm thủy động lực học phi tuyến 10 D(v) Ma trận suy giảm thủy động lực học 11 g( Véc-tơ lực đẩy lực trọng trường Tập luật điều khiển chấp nhận Ma trận Coriolis lực hướng tâm phương tiện hàng hải Ma trận Coriolis lực hướng tâm thủy động lực học khối lượng nước kèm ) I0 12 x Ma trận quán tính hệ thống xung quanh điểm O 13 J1( ) Ma trận quay chuyển đổi vận tốc dài 14 J2( ) Ma trận quay chuyển đổi vận tốc góc 15 J( ) Ma trận quay chuyển đổi vận tốc dài vận tốc góc Khối lượng vật rắn 16 m 17 MA Ma trận quán tính hệ thống khối lượng nước kèm 18 MRB Ma trận quán tính hệ thống vật rắn 19 [ T, Lực mô-men tác động lên thân tàu hệ tọa độ gắn thân tàu (b-frame) T ]T T 20 X Y Z Véc-tơ lực tác động lên thân tàu hệ tọa độ (bframe) vi T 21 K M N Véc-tơ mô-men tác động lên thân tàu hệ tọa độ (b-frame) 22 D Véc-tơ lực momem suy giảm 23 H Véc-tơ lực momen thủy động lực Véc-tơ lực mơ-men nhiễu tác động bên ngồi (sóng, gió, dịng chảy,…) 24 25 Véc-tơ lực mơ-men tổng quát tác động lên tàu khung tọa độ gắn thân RB T, [ 26 T ]T [x,y, z ]T 27 28 29 v [vT ,vT ]T 30 v1 [u, v, w ] 31 v2 [p,q, r ] Véc-tơ biểu diễn vị trí tàu hệ tọa độ gắn trái đất Véc-tơ biểu diễn góc hướng tàu hệ tọa độ gắn trái đất ]T [ Véc-tơ biểu diễn vị trí góc hướng tàu hệ tọa độ gắn trái đất Véc-tơ vận tốc dài vận tốc góc hệ tọa độ gắn thân T Véc-tơ vận tốc dài hệ tọa độ gắn thân T Véc-tơ vận tốc góc hệ tọa độ gắn thân 32 u Tốc độ trượt dọc tàu 33 v Tốc độ trượt ngang tàu 34 w Tốc độ trượt đứng tàu 35 p Tốc độ lắc ngang tàu 36 q Tốc độ lắc dọc tàu 37 r Tốc độ quay trở tàu 38 x Tọa độ tàu theo phương x hệ tọa độ NED 39 y Tọa độ tàu theo phương y hệ tọa độ NED 40 z Tọa độ tàu theo phương z hệ tọa độ NED 41 Góc lắc ngang tàu 42 Góc lắc dọc tàu 43 Góc hướng, xung quanh trục z tàu 44 45 W (x) Ma trận trọng số lý tưởng NN Véc-tơ hàm kích hoạt NN vii 46 J(x,u) Hàm chi phí 47 V *(x) Hàm Bellman 48 u Véc tơ đầu vào điều khiển 49 u* Véc tơ đầu vào điều khiển tối ưu 50 d Véc-tơ nhiễu hệ thống 51 In Ma trận đơn vị có chiều n Khơng L [0, ) 52 gian Banach, n d L2[0, ) 2 d dt < Danh Mục Các Chữ Viết Tắt Ký hiệu ADP Thuật ngữ tiếng Anh Giải thích Adaptive Dynamic Programming Quy hoạch động thích nghi Actor-Critic Neural Netwoks Cấu trúc điều khiển Actor-Critic giải thuật gồm hai NN: Mạng critic xấp xỉ hàm đánh giá tối ưu, mạng actor xấp xỉ luật điều khiển tối ưu Neural Netwok Mạng nơ-ron nhân tạo Actor NN Actor Neural Network Mạng nơ-ron actor Critic NN Critic Neural Network Mạng nơ-ron critic MLP Multi-Layer Perceptron NN truyền thẳng nhiều lớp ARE Algebraic Riccati Equation Phương trình đại số Riccati HJB Hamilton-Jacobi-Bellman Phương trình vi phân đạo hàm riêng HJB HJI Hamilton-Jacobi-Isaacs Phương trình vi phân đạo hàm riêng HJI PE Persistence of Excitation Điều kiện PE PI Policy Iteration Thuật toán lặp để xấp xỉ luật điều khiển tối ưu giải thuật quy hoạch động thích nghi Value Iteration Thuật lặp giá trị để xấp xỉ hàm đánh giá tối ưu giải thuật quy hoạch động thích nghi AC-NNs NN VI viii KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN Kết luận: Với đề tài “Xây dựng phương pháp điều khiển thích nghi tối ưu cho hệ lái tàu thủy”, luận án tập trung nghiên cứu mơ hình động lực học tàu đủ cấu chấp hành, nghiên cứu phương pháp điều khiển hệ thống lái tàu tự động từ cơng trình cơng bố ngồi nước, phân tích ưu nhược điểm phương pháp điều khiển để định hướng nghiên cứu cho luận án Đó nghiên cứu phát triển điều khiển bám tối ưu quỹ đạo cho tàu đủ cấu chấp hành có mơ hình bất định chịu ảnh hưởng nhiễu tác động trước Bộ điều khiển bám tối ưu quỹ đạo đề xuất luận án xây dựng phát triển dựa giải thuật ADP để xác định nghiệm xấp xỉ tối ưu cho phương trình HJB, HJI kết hợp với ước lượng nhiễu để giải đề bất định nhiễu tác động trước vào hệ thống Khắc phục trở ngại kỹ thuật phát sinh tổng hợp điều khiển bám tối ưu quỹ đạo dựa mơ hình sai lệch, luận án đề xuất hàm thay phù hợp để xác định lời giải tối ưu Luận án đề xuất ba điều khiển bám tối ưu quỹ đạo cho hệ thống lái tàu biển đủ cấu chấp hành là: Bộ điều khiển tối ưu bám quỹ đạo cấu trúc AC-RISE, cấu trúc AC-DO điều khiển bám tối ưu bền vững dựa giải thuật off-policy IRL Tính hội tụ trọng số mạng nơ ron sử dụng điều khiển tính ổn định hệ thống điều khiển kín phân tích chứng minh chặt chẽ dựa hàm Lyapunov phát biểu định lý luận án Các đề xuất luận án công bố tạp chí có uy tín ngồi nước Tóm lại, luận án có đề xuất sau đây: Đề xuất cấu trúc điều khiển tối ưu bám quỹ đạo cho hệ lái tàu thủy dựa giải thuật ADP với cấu trúc điều khiển AC-NNs, critic NN dùng để xấp xỉ hàm chi phí tối ưu actor NN xấp xỉ luật điều khiển tối ưu Bộ điều khiển tối ưu kết hợp với ước lượng nhiễu cho hệ lái tàu thủy, có khả bù thành phần bất định mơ hình tàu nhiễu mơi trường bên ngồi đảm bảo cho tàu bám quỹ đạo đặt trước ổn định Mặt khác, luận án đề xuất phương pháp xác định hàm kích hoạt cho AC-NNs dựa lời giải trường hợp đặc biệt toán điều khiển tối ưu Tính ổn định hệ thống phát biểu thông qua định lý chứng minh chặt chẽ mặt phương pháp luận, mô kiểm chứng phần mềm Matlab Đề xuất cấu trúc điều khiển tối ưu bền vững bám quỹ đạo hệ lái tàu thủy dựa giải thuật ADP với thuật toán off-policy IRL Giải thuật ADP sử dụng ba NN để xấp xỉ hàm chi phí tối ưu, luật điều khiển tối ưu luật nhiễu xấu nhất, luật cập nhật trọng số NN thiết kế, cập nhật đồng thời liên tục bước lặp Bộ điều khiển đề xuất luận án không yêu cầu thông tin động học hệ thống, đảm bảo tàu bám quỹ đạo đặt trước ổn định Luận án phát biểu chứng minh định lý tính chất hội tụ thơng số giá trị cận tối ưu áp dụng thuật tốn off-policy IRL, mơ kiểm chứng phần mềm Matlab 109 Hướng phát triển luận án: Trong phạm vi hạn hẹp luận án, kết trình bày luận án cịn khiêm tốn nhiều hướng đề nghị cần phát triển, cụ thể sau: Luận án tập trung nghiên cứu ứng dụng NN tuyến tính vào phương pháp quy hoạch động thích nghi, NN tuyến tính phù hợp với phân tích tốn học chặt chẽ khả xấp xỉ hàm yếu, với vấn đề bùng nổ kích thước NN số lượng đầu vào mạng tăng Do hướng phát triển tương lai luận án mở rộng giải thuật ADP với NN nhân tạo nhiều lớp thay NN tuyến tính, giúp giải thuật phù hợp với bối cảnh thực tế Hạn chế luận án chưa triển khai, kiểm chứng chất lượng điều khiển môi trường thực mơ hình tàu khác Vì hướng phát triển luận án triển khai thực nghiệm mơ hình tàu thật môi trường thực phát triển thành sản phẩm thương mại có ứng dụng cao thực tế 110 DANH MỤC CÁC CƠNG TRÌNH ĐƯỢC CƠNG BỐ CỦA LUẬN ÁN Van Tu Vu, Phuong Nam Dao, Thanh Loc Pham, Quang Huy Tran (01/2021): Sliding Variable-based Online Adaptive Reinforcement Learning of Uncertain/Disturbed Nonlinear Mechanical Systems, Journal of Control, Automation and Electrical Systems, Vol 32, Issue 2, pp 281-290 (ISI Journal – Q3) Van Tu Vu, Thanh Loc Pham, Quang Huy Tran, Phuong Nam Dao (03/2021): Optimal Control for fully-actuated Surface Vessel Systems, International Journal of iRobotics, Vol 04, No 1, pp 1-7 Vũ Văn Tú, Đào Phương Nam, Phan Xuân Minh (8/2021): Điều khiển bám tàu mặt nước bất định mơ hình nhiễu đầu vào thơng qua điều khiển học tăng cường thích nghi trực tuyến RISE, Tạp chí Nghiên cứu KH&CN quân sự, vol 74, pp 10-21 Van Tu Vu, Quang Huy Tran, Thanh Loc Pham, Phuong Nam Dao (03/2022): Online Actor-Critic Reinforcement Learning Control for Uncertain Surface Vessel Systems with External Disturbances, International Journal of Control, Automation and Systems, Vol 20, No 3, 1029–1040, March 2022 (SCIE Journal – Q2, IF: 3.314) Van Tu Vu, Phuong Nam Dao, Xuan Minh Phan (05/2022): Robust Optimal Control Based on the Off-Policy Integral Reinforcement Learning Algorithm for Surface Vessel Systems with Unknown Dynamics, in Proceedings of the International Conference on Advanced Mechanical Engineering, Automation and Sustainable Development, Chapter 124, pp 854–860, https://doi.org/10.1007/978-3-030-99666-6_124 (Scopus) Van Tu Vu, Thanh Loc Pham, Phuong Nam Dao (11/2022): Disturbance Observer-Based Adaptive Reinforcement Learning for Perturbed Uncertain Surface Vessels, ISA Transactions, Vol 130, pp 277-292, November 2022 (SCIE Journal – Q1, IF: 5.911) 111 TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] B Xiao, X Yang, and X Huo (2017), “A Novel Disturbance Estimation Scheme for Formation Control of Ocean Surface Vessels,” IEEE Transactions on Industrial Electronics, vol 64, no pp 4994–5003 Z Zhao, W He, and S S Ge (2014), “Adaptive neural network control of a fully actuated marine surface vessel with multiple output constraints,” IEEE Transactions on Control Systems Technology, vol 22, no pp 1536–1543 C S W He, Z Yin (2017), “Adaptive neural network control of a marine vessel with constraints using the asymmetric barrier Lyapunov function,” IEEE Trans Cybern., vol 47(7), pp 1641–1651 W B Klinger, I R Bertaska, K D Von Ellenrieder, and M R Dhanak (2017), “Control of an Unmanned Surface Vehicle with Uncertain Displacement and Drag,” IEEE J Ocean Eng., vol 42, no 2, pp 458–476 N Wang, C Qian, J C Sun, and Y C Liu (2016), “Adaptive Robust FiniteTime Trajectory Tracking Control of Fully Actuated Marine Surface Vehicles,” IEEE Trans Control Syst Technol., vol 24, no 4, pp 1454–1462 N Wang and M J Er (2016), “Direct Adaptive Fuzzy Tracking Control of Marine Vehicles with Fully Unknown Parametric Dynamics and Uncertainties,” IEEE Transactions on Control Systems Technology, vol 24, no pp 1845–1852 R Yu, Q Zhu, G Xia, and Z Liu (2012), “Sliding mode tracking control of an underactuated surface vessel,” IET Control Theory Appl., vol 6, no 3, pp 461–466 M C Fang, Y H Lin, and B J Wang (2012), “Applying the PD controller on the roll reduction and track keeping for the ship advancing in waves,” Ocean Engineering, vol 54 pp 13–25 M C Fang, Y Z Zhuo, and Z Y Lee (2012), “The application of the selftuning neural network PID controller on the ship roll reduction in random waves,” Ocean Engineering, vol 37, no pp 529–538 V L S F L Lewis, D L Vrabie (2012), "Optimal Control" Murad Abu-Khalaf and Frank L Lewis, (2005), “Nearly optimal control laws for nonlinear systems with saturating actuators using a neural network hjb approach,” Automatica, vol 41(5), pp 779–791 K G Vamvoudakis and F L Lewis (2012), “Online solution of nonlinear twoplayer zero-sum games using synchronous policy iteration,” Int J Robust Nonlinear Control, vol 22, no 13, pp 1460–1483 S Bhasin, R Kamalapurkar, M Johnson, K G Vamvoudakis, F L Lewis, and W E Dixon (2013), “A novel actor-critic-identifier architecture for approximate optimal control of uncertain nonlinear systems,” Automatica, vol 49, no pp 82–92 H Zhang, L Cui, X Zhang, and Y Luo (2011), “Data-driven robust approximate optimal tracking control for unknown general nonlinear systems using adaptive dynamic programming method,” IEEE Transactions on Neural Networks, vol 22, no 12 PART pp 2226–2236 T Dierks and S Jagannathan (2010), “Optimal control of affine nonlinear 112 [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] continuous-time systems using an online Hamilton-Jacobi-Isaacs formulation,” Proceedings of the IEEE Conference on Decision and Control pp 3048–3053 T I Fossen (2002), “Marine Control System-Guidance, Navigation and Control of Ships, Rigs and Underwater Vehicles;,” J Guid Control Dyn., vol 28, no 3, pp 574–575 T I Fossen (1994), “Guidance and control of ocean vehicles,” John Wiley & Sons Inc T I Fossen (2011), “Handbook of Marine Craft Hydrodynamics and Motion Control,” John Wiley Sons Do K D and Pan J (2009), “Control of ships and underwater vehicles: design for underactuated and nonlinear marine systems,” Springer Sci Bus Media T I F and O.-E Fjellstad (1995), “Nonlinear Modelling of Marine Vehicles in Degrees of Freedom,” J Math Model ling Syst., vol 1, pp 17–27 Khương Minh Tuấn (2017), “Nghiên cứu kiến trúc hướng mơ hình kết hợp với RealTime UML/MARTE thiết kế hệ thống điều khiển cho phương tiện không người lái tự hành mặt nước,” Luận án Tiến sỹ kỹ thuật, trường Đại học Bách Khoa Hà Nội Nguyễn Đơng (2017), “Phân tích thuỷ động lực học thiết kế hệ thống điều khiển theo công nghệ hướng đối tượng cho phương tiện tự hành nước,” Luận án Tiến sỹ kỹ thuật, trường Đại học Bách Khoa Hà Nội Nguyễn Hoài Nam (2017), “Nghiên cứu phương pháp hướng đối tượng phân tích thiết kế điều khiển chuyển động cho thiết bị tự hành AUV/ASV với chuẩn SysML-Modelica Automate lai,” Luận án Tiến sỹ kỹ thuật, trường Đại học Bách Khoa Hà Nội Đặng Xn Hồi (1999), “Ứng dụng kỹ thuật tự động hóa vi xử lý tàu thủy đóng Việt Nam,” Luận án Tiến sỹ kỹ thuật, trường Đại học Bách Khoa Hà Nội Hoàng Thị Tú Uyên (2018), “Nghiên cứu ứng dụng lý thuyết điều khiển thích nghi để nâng cao chất lượng hệ thống lái tự động tàu có chốn nước,” Luận án Tiến sỹ kỹ thuật, trường Đại học Bách Khoa Hà Nội Nguyễn Hữu Quyền (2019), “Nghiên cứu giải pháp điều khiển bám quỹ đạo tàu thủy có ràng buộc tín hiệu bất định hàm đầu vào,” Luận án Tiến sỹ kỹ thuật, trường Đại học Hàng Hải Việt Nam K Nomoto, T Taguchi, K Honda, and S Hirano (2018), “On the steering qualities of ships,” Int Shipbuild Prog., vol 4, no 35, pp 354–370 T I Fossen (2000), “A survey on Nonlinear Ship Control: from Theory to Practice,” IFAC Proc Vol., vol 33, no 21, pp 1–16 T I Fossen (2000), “Nonlinear passive control and observer design for ships,” Modeling, Identification and Control, vol 21, no pp 129–184 N H Norrbin (1972), “Analogue Simulation of Ship Maneuvers Based on Full Scale Trial or Free Sailing Model Tests,” in Proceedings of the 13th International Towing Tank Conference, pp 382–408 M Bech and L W Smitt (1969), “Analogue simulation of ship manoeuvres,” A Witkowska and R Smierzchalski (2012), “Designing a ship course controller by applying the adaptive backstepping method,” Int J Appl Math 113 [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] Comput Sci., vol 22, no 4, pp 985–997 A Witkowska, M Tomera, and R Śmierzchalski (2007), “A backstepping approach to ship course control,” Int J Appl Math Comput Sci., vol 17, no 1, pp 73–85 Q Zhang, N Jiang, Y Hu, and D Pan (2017), “Design of Course-Keeping Controller for a Ship Based on Backstepping and Neural Networks,” International Journal of e-Navigation and Maritime Economy, vol pp 34– 41 T Arie, M Itoh, A Senoh, N Takahashi, S Fujii, and N Mizuno (1986), “An Adaptive Steering System for a Ship,” IEEE Control Syst Mag., vol 6, no 5, pp 3–8 J Du, A Abraham, S Yu, and J Zhao (2014), “Adaptive dynamic surface control with Nussbaum gain for course-keeping of ships,” Engineering Applications of Artificial Intelligence, vol 27 pp 236–240 T Holzhüter (1997), “LQG approach for the high-precision track control of ships,” IEE Proceedings: Control Theory and Applications, vol 144, no pp 121–127 G J Olsder (1969), “On the time optimal course changing of ships,” Journal of Engineering Mathematics, vol 3, no pp 137–150 M R Katebi (1997), “H∞ robust control design for dynamic ship positioning,” IEE Proceedings: Control Theory and Applications, vol 144, no pp 110– 120 Y Huang, Z Liu, W Huang, and S Chen, “Robust H∞ control for nonlinear course system of unmanned surface vessel with polytopic uncertainty based on sum of squares,” Trans Inst Meas Control, vol 43, no 2, pp 390–399, (2021) B S Park, J W Kwon, and H Kim (2017), “Neural network-based output feedback control for reference tracking of underactuated surface vessels,” Automatica, vol 77 pp 353–359 N Wang, S F Su, X Pan, X Yu, and G Xie (2019), “Yaw-guided trajectory tracking control of an asymmetric underactuated surface vehicle,” IEEE Trans Ind Informatics, vol 15, no 6, pp 3502–3513 N Wang, G Xie, X Pan, and S F Su (2019), “Full-State Regulation Control of Asymmetric Underactuated Surface Vehicles,” IEEE Trans Ind Electron., vol 66, no 11, pp 8741–8750 M B & M F Yulong Tuo, Yuanhui Wang, Simon X Yang (2018), “Robust adaptive dynamic surface control based on structural reliability for a turretmoored floating production storage and offloading vessel,” Int J Control Autom Syst., vol 16, no 4, pp 1648–1659 H Qin, C Li, Y Sun, X Li, Y Du, and Z Deng (2020), “Finite-time trajectory tracking control of unmanned surface vessel with error constraints and input saturations,” Journal of the Franklin Institute, vol 357, no 16 pp 11472– 11495 S Y Jingqi Zhang and Y Yan (2019), “Fixedtime output feedback trajectory tracking control of marine surface vessels subject to unknown external disturbances and uncertainties,” ISA Trans., vol 93, pp 145–155 S Y Jingqi Zhang and Y Yan (2020), “Fixedtime velocity-free sliding mode 114 [48] [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] tracking control for marine surface vessels with uncertainties and unknown actuator faults,” Ocean Eng., vol 201, in Pr M Van (2019), “An enhanced tracking control of marine surface vessels based on adaptive integral sliding mode control and disturbance observer,” ISA Trans., vol 90, pp 30–40 M Van (2019), “Adaptive neural integral sliding-mode control for tracking control of fully actuated uncertain surface vessels,” International Journal of Robust and Nonlinear Control, vol 29, no pp 1537–1557 N Wang, H R Karimi, H Li, and S F Su (2019), “Accurate Trajectory Tracking of Disturbed Surface Vehicles: A Finite-Time Control Approach,” IEEE/ASME Transactions on Mechatronics, vol 24, no pp 1064–1074 W Xie, B Ma, W Huang, and Y Zhao (2018), “Global trajectory tracking control of underactuated surface vessels with non-diagonal inertial and damping matrices,” Nonlinear Dynamics, vol 92, no pp 1481–1492 J.-W Li (2019), “Robust adaptive control of underactuated ships with input saturation,” Int J Control, pp 1–10 J Huang, C Wen, W Wang, and Z P Jiang (2014), “Adaptive output feedback tracking control of a nonholonomic mobile robot,” Automatica, vol 50, no pp 821–831 Z G G Guo (2019), “Command-filtered fixed-time trajectory tracking control of surface vehicles based on a disturbance observer,” Int J Robust Nonlinear Control, vol 29, no 13, pp 4348–4365 and A A Yang Yang, Jialu Du, Hongbo Liu, Chen Guo (2014), “A Trajectory Tracking Robust Controller of Surface Vessels With Disturbance Uncertainties,” IEEE Transactions On Control Systems Technology, vol Vol 22, no NO Y Qu, B Xiao, Z Fu, and D Yuan (2018), “Trajectory exponential tracking control of unmanned surface ships with external disturbance and system uncertainties,” ISA Transactions, vol 78 pp 47–55 R W and J Du (2019), “Adaptive robust course-tracking control of timevarying uncertain ships with disturbances,” Int J Control Autom Syst., vol 17, no 7, pp 1847–1855 B and X Xia, Guoqing and Sun, Chuang and Zhao and Jingjing (2019), “Cooperative control of multiple dynamic positioning vessels with input saturation based on finite-time disturbance observer,” Int J Control Autom Syst., vol 17, no 2, pp 370–379 Z Zheng, Y Huang, L Xie, and B Zhu (2018), “Adaptive trajectory tracking control of a fully actuated surface vessel with asymmetrically constrained input and output,” IEEE Transactions on Control Systems Technology, vol 26, no pp 1851–1859 Z Yin, W He, C Sun, G Li, and C Yang (2018), “Adaptive control of a marine vessel based on reinforcement learning,” Chinese Control Conference, CCC, vol 2018-July pp 2735–2740 Z Yin, W He, C Yang, and C Sun (2018), “Control Design of a Marine Vessel System Using Reinforcement Learning,” Neurocomputing, vol 311, pp 353–362 115 [62] P Walters, R Kamalapurkar, F Voight, E M Schwartz, and W E Dixon (2018), “Online Approximate Optimal Station Keeping of a Marine Craft in the Presence of an Irrotational Current,” IEEE Trans Robot., vol 34, no 2, pp 486–496 [63] G Wen, S S Ge, C L P Chen, F Tu, and S Wang (2019), “Adaptive tracking control of surface vessel using optimized backstepping technique,” IEEE Trans Cybern., vol 49, no 9, pp 3420–3431 [64] and R C Xinxin Guo, Weisheng Yan (2019), “Integral Reinforcement Learning-Based Adaptive NN Control for Continuous-Time Nonlinear MIMO Systems With Unknown Control Directions,” IEEE Trans Syst Man, Cybern Syst., vol PP, pp 1–10 [65] Z Zheng, L Ruan, M Zhu, and X Guo (2020), “Reinforcement learning control for underactuated surface vessel with output error constraints and uncertainties,” Neurocomputing, vol 399 pp 479–490 [66] A B Martinsen, A M Lekkas, S Gros, J A Glomsrud, and T A Pedersen (2020), “Reinforcement Learning-Based Tracking Control of USVs in Varying Operational Conditions,” Frontiers in Robotics and AI, vol [67] K Hornik, M Stinchcombe, and H White (1990), “Universal approximation of an unknown mapping and its derivatives using multilayer feedforward networks,” Neural Networks, vol 3, no pp 551–560 [68] B A Finlayson (1990), "The Method of Weighted Residuals and Variational Principles" [69] F B Ioannou P (2006), "Adaptive Control Tutorial (Advances in Design and Control)" [70] H K Khalil (2002), "Nonlinear Systems, 3rd Edition" [71] K G Vamvoudakis (2011), “Online learning algorithms for differential dynamic games and optimal control,” Ph.D Thesis, Univ Texas Arlingt [72] F L Draguna Vrabie (2009), “Neural network approach to continuous-time direct adaptive optimal control for partially unknown nonlinear systems,” Neural Networks, vol 22, no 3, pp 237–246 [73] H Modares, F L Lewis, and M B Naghibi-Sistani (2013), “Adaptive optimal control of unknown constrained-input systems using policy iteration and neural networks,” IEEE Transactions on Neural Networks and Learning Systems, vol 24, no 10 pp 1513–1525 [74] K G Vamvoudakis and F L Lewis (2010), “Online actor-critic algorithm to solve the continuous-time infinite horizon optimal control problem,” Automatica, vol 46, no 5, pp 878–888 [75] K G Vamvoudakis, D Vrabie, and F L Lewis (2011), “Online adaptive learning of optimal control solutions using integral reinforcement learning,” IEEE SSCI 2011: 2011 IEEE Symposium on Adaptive Dynamic Programming and Reinforcement Learning pp 250–257 [76] R Song and J Li (2018), “A Single-NN Iterative Adaptive Dynamic Programming Algorithm for Continuous-Time Nonlinear Zero-Sum Games,” in Chinese Control Conference, CCC, vol., pp 2848–2853 [77] J Na, Y Lv, K Zhang, and J Zhao (2022), “Adaptive Identifier-Critic-Based Optimal Tracking Control for Nonlinear Systems with Experimental 116 [78] [79] [80] [81] [82] [83] [84] [85] Validation,” IEEE Trans Syst Man, Cybern Syst., vol 52, no 1, pp 459–472 H N Wu and B Luo (2012), “Neural network based online simultaneous policy update algorithm for solving the HJI equation in nonlinear H\infty control,” IEEE Transactions on Neural Networks and Learning Systems, vol 23, no 12 pp 1884–1895 T Başar and P Bernhard (2008), “H∞-Optimal Control and Related Minimax Design Problems,” H∞-Optimal Control and Related Minimax Design Problems B Kiumarsi, H Modares, and F L Lewis (2016), “Optimal Tracking Control of Uncertain Systems: On-Policy and Off-Policy Reinforcement Learning Approaches,” in Control of Complex Systems: Theory and Applications, pp 165–186 R S S and A G Barto (2014), "Reinforcement Learning: An Introduction" The MIT Press Cambridge, Massachusetts London, England R Kamalapurkar, H Dinh, S Bhasin, and W E Dixon (2015), “Approximate optimal trajectory tracking for continuous-time nonlinear systems,” Automatica, vol 51 pp 40–48 and J C B Xian, D.M Dawson, M.S de Queiroz t (2004), “A Continuous Asymptotic Tracking Control Strategy for Uncertain Multi-Input Nonlinear Systems,” Proc 2003 IEEE Int Symp Intell Control Houston, Texas, Oct 58, vol 54rd IEEE, no 7, pp 6209–6214 Y H Kim, F L Lewis, and D M Dawson (2000), “Intelligent optimal control of robotic manipulators using neural networks,” Automatica, vol 36, no pp 1355–1364 M Abu-Khalaf, F L Lewis, and J Huang (2008), “Neurodynamic programming and zero-sum games for constrained control systems,” IEEE Trans Neural Networks, vol 19, no 7, pp 1243–1252 117 PHỤ LỤC PHỤC LỤC A: Mơ hình sóng, gió dịng chảy đại dương Trong mục 1.1.2.3 luận án đưa mơ hình động lực học cuat phương tiện hàng hải sau: = J( )v (A.1) Mv +C(v)v + D(v)v + g( ) = + + g0 w Nguyên tắc xếp chồng giả thiết nhiễu loạn gồm sóng gió định nghĩa sau [16]: = win + wave + current (A.2) w A.1 Lực mơ-men sinh dịng chảy véc-tơ lực momen dòng chảy gây viết sau: current = (M RA + M A )vc +C(v r)v r C(v)v + D(v )v D(v)v (A.3) r r T Trong đó: v = v v v =[u ,v ,w , 0, 0, 0] véc-tơ vận tốc dòng current r c c c c c chảy hệ trục toạ độ gắn thân Lại có véc-tơ vận tốc dịng chảy hệ trục tọa độ Sau đó, thành Trái Đất ký hiệu sau vE =[uE,vE,wE, 0, 0, 0]T c c c c phần hệ trục tọa độ gắn thân [uc,v c,w c] tính toán sau: u Ec uc T v = J ( ) vE (A.4) T c c E w wc c A.2 Lực mô-men nhiễu loạn sóng gây véc-tơ lực momen sóng gây viết sau [16]: wave N i=1 N gBLT cos( )si (t) gBLT sin( )s (t) i i=1 0 wave = N i=1 (A.5) gBL(L2 B )sin(2 )s (t i 24 Trong đó: L - chiều dài tàu B - chiều rộng tàu T - chiều cao phần mớn nước tàu 118 ) - hướng sóng si (t)- độ dốc sóng - tỷ trọng nước g - gia tốc trọng trường A3 Lực mô-men gây tác động gió Đối với trường hợp tàu thủy thả neo (Zero speed), véc-to lực momen win gió gây cho công thức [17]: C ( )A X w Fw C ( )A Y w Lw C ( )A Z w Fw = V (A.6) win a w ( )A H C K w Lw Lw C ( )A H M w Fw Fw C ( )A L N w Lw oa đó: Vw - tốc độ gió a - tỷ trọng khơng khí ALw - diện tích mặt bên (m2) AFw - diện tích mặt ngang (m2) HLw - trọng tâm ALw dòng nước HFw - trọng tâm AFw dòng nước Loa - chiều dài lớn tàu w - góc hướng gió so với hướng mũi tàu Hình A.1 Định nghĩa tốc độ gió phương hướng Theo Hình A.1 viết w w sau: = w 119 (A.7) với w hướng gió Các hệ số C X ( w ),CY ( w ),C Z ( w ),C K ( w ),C M ( w ) C N ( w ) tính tốn số theo thực nghiệm đường ống gió Trường hợp tàu di chuyển, véc-tơ win viết sau: C ( )A X rw Fw C ( )A Y rw Lw C ( )A V2 Z rw Fw win a rw )A C K( rw LwH Lw C ( )A H M rw Fw Fw C ( )A L N rw (A.8) Lw oa đó: V rw = u2rw +v 2rw = arctan 2(v ,u ) rw với: rw = u V cos( u rw v rw w = v V sin( w rw — ) w (A.9) ) (A.10) w PHỤC LỤC B: Chương trình viết Matlab B1 Chương trình Matlab mơ tả động lực học tàu thủy eta_dot = J(eta) * v v_dot = -M^(-1) * C(v) * v + M^(-1) * tau J(eta) = [cos(eta(3)) -sin(eta(3)) 0] [sin(eta(3)) cos(eta(3)) 0] [0 1] M = [m11 0] [0 m22 m23] [0 m32 m33] C(v) = [0 19*v(2)-0.72*v(3)] [0 20*v(1)] [19*v(2)+0.72*v(3) -20*v(1) 0] B2 Chương trình Matlab giải thuật ADP % Actor-Critic ADP V(X) = W_c' * varphi(X) u(X) = -R^{-1} * B(X)' * (d(varphi(X))/dX)' W_a % DO delta = X - X_hat beta1 = -xi1 * sqrt(abs(beta0 - delta)) *sign(beta0 - delta) + rho1 beta0_dot = beta1; rho1_dot = -xi2 * sign(rho1 - beta1); 120 B3 Chương trình Matlab thiết kế điều khiển ADP-DO %Thoi gian mo phong Step = 0.001;T_end = 120; t = 0:Step:T_end; %% Bien trang thai eta = cell(1,size(t,2)); eta_dot = cell(1,size(t,2)); upsilon = cell(1,size(t,2)); upsilon_dot = cell(1,size(t,2)); e1 = cell(1,size(t,2)); e2 = cell(1,size(t,2)); % Quy dao mong mong eta_d = cell(1,size(t,2)); eta_d_dot = cell(1,size(t,2)); eta_d_dot_dot = cell(1,size(t,2)); % Ham phu f = cell(1,size(t,2)); d = cell(1,size(t,2)); % Bo dieu khien tau = cell(1,size(t,2)); % ADP W_c = cell(1,size(t,2)); W_a = cell(1,size(t,2)); GAMMA = cell(1,size(t,2)); temp = cell(1,size(t,2)); % DO e2_hat = cell(1,size(t,2)); e_phi_hat = cell(1,size(t,2)); Delta_hat = cell(1,size(t,2)); beta0 = cell(1,size(t,2)); rho1 = cell(1,size(t,2)); compensator = cell(1,size(t,2)); e_DO_f = cell(1,size(t,2)); %% Tham so n = 3; N = 12 eta_c = 2; eta_a1 = 0.01; eta_a2 = 50; nuy = 0.01; R = 0.5*eye(n); Q_11 = [20 4;2 20 6;4 20]; Q_12 = -[2 2;1 1;2 4]; Q_22 = diag([2,2,2]); Q = [Q_11 Q_12;Q_12' Q_22]; lambda_1 = [13.4 -9.7 -4.4;-8.4 18.8 3.6;-4.2 0.9 3.8]; 121 c = 0.1; amp_delta1 = 30; amp_delta2 = 30; amp_delta3 = 30; xi1 = 10; xi2 = 20; M_compensator = 40; amp_delta = [amp_delta1 0; amp_delta2 0; 0 amp_delta3]; % Quy dao bam mong muon for i = 1:size(t,2) eta_dot{i}= J(eta{i})*upsilon{i}; eta_d{i}= [10*sin(0.2*t(i));-10*cos(0.2*t(i)) ;10*sin(0.2*t(i))]; eta_d_dot{i}=[10*0.2*cos(0.2*t(i));10*0.2*sin(0.2*t(i)) ;10*0.2*cos(0.2*t(i))]; eta_d_dot_dot{i} = [-10*0.2*0.2*sin(0.2*t(i)) ;10*0.2*0.2* cos(0.2*t(i));-10*0.2*0.2*sin(0.2*t(i))]; % Nhieu he thong d{i} = [50*cos(0.5*t(i))+ 50*sin(0.5*t(i)); 50*cos(0.5*t(i))+ 50*sin(0.5*t(i)); 30*cos(0.9*t(i))+ 30*sin(0.5*t(i))]; %% Sai lech bam e1{i} = eta_d{i} - eta{i}; e2{i} = eta_d_dot{i} - eta_dot{i} + lambda_1*e1{i}; %% Ham phi tuyen f+d f{i}= h(eta{i},upsilon{i},eta_dot{i},e1{i},eta_d_dot{i},eta_d_ dot_dot{i}) + d{i}; %% Bo DO delta = e2{i} - e2_hat{i}; beta1 = -xi1*sqrt(abs(beta0{i}delta)).*sign(beta0{i}delta) + rho1{i}; phi = [amp_delta1*e2{i}(1); amp_delta2*e2{i}(2); amp_delta3*e2{i}(3)]; Delta_hat{i} = e_phi_hat{i} + phi + 1*compensator{i}; % Phuong trinh khong gian trang thai sai lech z = [e1{i};e2{i}]; F_X = [-lambda_1*e1{i}+e2{i}; (J_dot(eta{i},eta_dot{i})*J(eta{i})' J(eta{i})*pinv(M(eta{i}))*(C(upsilon{i})+ D(upsilon{i}))*J(eta{i})')*e2{i}]; G_X = [zeros(n);J(eta{i})*pinv(M(eta{i}))]; %% Tinh toan luat dieu khien u = -inv(R)*G_X'*gradSigma(z,eta{i}(3))'*W_a{i}; 122 % Tin hieu dieu khien ADP tau{i} = M(eta{i})*J(eta{i})'*Delta_hat{i} -u; % Tin hieu dieu khien temp{i} = M(eta{i})*J(eta{i})'*Delta_hat{i}; e_DO_f{i}= temp{i} - f{i}; %% Tinh toan luat cap nhat cac dai luong if i == size(t,2) break; else omega = gradSigmad(z,eta{i}(3))*eta_d_dot{i} + gradSigma(z,eta{i}(3))*(F_X + G_X*u); W_c_dot = eta_c*GAMMA{i}*omega/(1+nuy*omega'*GAMMA{i}*omega)*delta _hjb; W_a_dot = eta_a1/sqrt(1+(omega'*omega))*gradSigma(z,eta{i}(3))*G_X /R*G_X'*gradSigma(z,eta{i}(3))'*(W_a{i} W_c{i})*delta_hjb - eta_a2*(W_a{i} - W_c{i}); upsilon_dot{i} = inv(M(eta{i}))*(tau{i} - d{i} - C(upsilon{i})*upsilon{i}); compensator_dot = M_compensator*beta1./(abs(beta1)+c); e_phi_hat_dot = -amp_delta*( (J_dot(eta{i},eta_dot{i})*J(eta{i})' J(eta{i})*pinv(M(eta{i}))*(C(upsilon{i})+D(upsilon{i}))* J(eta{i})')*e2_hat{i} - J(eta{i})*pinv(M(eta{i}))*tau{i} + Delta_hat{i}); e2_hat_dot = (J_dot(eta{i},eta_dot{i})*J(eta{i})' J(eta{i})*pinv(M(eta{i}))*(C(upsilon{i})+D(upsilon{i}))* J(eta{i})')*e2_hat{i} - J(eta{i})*pinv(M(eta{i}))*tau{i} + Delta_hat{i}; beta0_dot = beta1; rho1_dot = -xi2*sign(rho1{i}-beta1); compensator{i+1} = compensator{i} + Step*compensator_dot; upsilon{i + 1} = upsilon{i} + upsilon_dot{i}*Step; eta{i + 1} = eta{i} + eta_dot{i}*Step + noise; W_a{i+1} = W_a{i} + Step*W_a_dot; W_c{i+1} = W_c{i} + Step*W_c_dot; W_c{i+1} GAMMA{i+1} = GAMMA{i} + Step*(eta_c*GAMMA{i}*(omega*omega')/(1+nuy*omega'*GAMMA{i}*ome ga)*GAMMA{i}); end end 123