Swimming gait control of elongated undulating fins based on the central pattern generators

VIET NAM NATIONAL UNIVERSITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY NGUYEN VAN DONG SWIMMING GAIT CONTROL OF ELONGATED UNDULATING FINS BASED ON THE CENTRAL PATTERN GENERATOR DOCTOR OF SCIENCE DISSERTATION HO CHI MINH CITY - 2023 VIET NAM NATIONAL UNIVERSITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY NGUYEN VAN DONG SWIMMING GAIT CONTROL OF ELONGATED UNDULATING FINS BASED ON THE CENTRAL PATTERN GENERATOR Major: Mechanical Engineering Major code: 62520103 Independent reviewer 1: Independent reviewer 2: Assoc Prof Ngo Quang Hieu, PhD Assoc Prof Nguyen Hung, PhD Reviewer 1: Assoc Prof Truong Nguyen Luan Vu, PhD Reviewer 2: Assoc Prof Nguyen Truong Thinh, PhD Reviewer 3: Assoc Prof Nguyen Tan Luy, PhD SCIENCE ADVISOR: Assoc Prof Nguyen Tan Tien, PhD COMMITMENT I pledge that this is my work of myself This dissertation's research results and conclusions are honest and not copied from any sources or under any form The references to the documentary sources had been cited as prescribed Dissertation author Signature Nguyen Van Dong iii ABSTRACT One of the inevitable consequences of modern warfare is the presence of explosive remnants scattered throughout various areas, causing long-term adverse effects on the quality of life for individuals In the coastal regions of Vietnam, fishermen constantly face the potential risk posed by undetonated mines still embedded in the seabed, often covered by layers of moss and mud Consequently, employing human clones to undertake detection and disposal tasks not only demands substantial labor but also entails significant risks Recognizing this limitation, several units within the Vietnamese Navy have turned to underwater robots for conducting mine clearance surveys However, a new challenge arises from the specific characteristics of the mine environment, which typically features mossy surroundings and accumulations of oceanic debris As a consequence, propeller-based robots encounter obstruction and inefficiency, necessitating the exploration of solutions to address these pressing issues The objective of this thesis is to address the aforementioned pressing issue by investigating the optimal configuration of parameters for the propulsion system of an underwater robot, utilizing the swimming mechanism of the Gymnotiform fish class This involves analyzing, selecting, and constructing the motor controller structure for the underwater robot, inspired by the design of the South American black knifefish and employing the central pattern generator (CPG) motor mechanism To achieve this, advanced optimization algorithms are employed to determine the specific parameters of the CPG motor controller Through the utilization of reinforcement learning algorithms, the coefficient K, which governs the transition speed of the swimming pattern, is determined Additionally, stroke adjustments are made to minimize the time required for swimming shape transformation while ensuring minimal output error compared to the desired stroke Furthermore, maintaining a consistent swimming frequency (The time required to complete one cycle of coordination between the fins to generate a propulsion waveform), avoiding fluctuations in underwater sound frequency to prevent the detonation of non-contact fuse torpedoes (sonar turbulence), while still ensuring maximum thrust to rapidly navigate the robot out of hazardous areas regardless of energy consumption, is crucial To achieve this, the thesis proposes the application of the swarm optimization algorithm to determine the set of amplitude parameters A1, A2 , and A16, optimizing thrust output at a fixed frequency Following 4251 thrust simulations, a maximum thrust of 3.60N was obtained from the module The findings of this thesis have practical implications in optimizing the sets of CPG parameters for longitudinal propulsion modules, tailored to specific frequency levels These modules enable flexible switching of swimming postures and facilitate optimal thrust generation based iv on mechanical characteristics The proposed modules replicate the swimming mechanism of the median and paired fins (MPF), laying the foundation for the development of higher-level control algorithms for fish robots utilizing this modular propulsion system v TÓM TẮT LUẬN ÁN Một hệ tất yếu chiến tranh đại tàn tích vật liệu nổ cịn sót lại, gây ảnh hưởng lâu dài đến an toàn người dân Đối với ngư dân vùng ven biển Việt Nam, họ phải đối mặt với nguy tiềm ẩn từ thủy lơi cịn nằm đáy biển, phủ đầy rong rêu bùn lầy Việc sử dụng người nhái để thực cơng việc tìm kiếm phá hủy không tốn nhân lực mà cịn mang đến nhiều rủi ro đến tính mạng người lính đặc cơng Gần đây, số đơn vị công binh Hải Quân Nhân Dân Việt Nam nhận thấy nhược điểm áp dụng robot nước để thực nhiệm vụ khảo sát phá huỷ thủy lôi Tuy nhiên, vấn đề xuất đặc điểm môi trường nơi thủy lơi cịn sót lại, thường có nhiều rong rêu rác thải đại dương Các robot sử dụng chân vịt thường bị mắc kẹt hoạt động không hiệu quả, cần có giải pháp để giải vấn đề Luận án đóng góp vào việc giải vấn đề cấp bách cách nghiên cứu tối ưu hóa số thơng số hệ thống tạo lực đẩy cho robot nước, theo chế bơi lớp cá Gymnotiform Bằng cách phân tích lựa chọn cấu trúc điều khiển vận động cho hệ thống tạo lực đẩy robot nước, lấy cảm hứng từ cấu trúc cá dao đen Nam Mỹ sử dụng chế vận động thần kinh trung tâm (CPG), luận án áp dụng thuật toán tối ưu lựa chọn thông số điều khiển vận động CPG Cụ thể, thông qua sử dụng giải thuật học tăng cường, luận án lựa chọn hệ số K đặc trưng cho tốc độ chuyển đổi dáng bơi Mục tiêu đảm bảo thời gian chuyển đổi dáng bơi thấp nhất, đồng thời đáp ứng sai số đầu so với dáng bơi mong muốn tối thiểu Ngoài ra, để đảm bảo tần số bơi quán tránh tạo biến động tần số âm nước, nhằm tránh kích nổ gây nhiễu động sonar khơng mong muốn từ ngịi nổ không tiếp xúc thủy lôi, luận án đề xuất áp dụng giải thuật tối ưu bầy đàn Giải thuật sử dụng để tìm thơng số biên độ A1, A2, , A16 cho lực đẩy tối đa tần số Kết mô cho thấy sau 4251 lần lặp, luận án tìm giá trị cực đại lực đẩy 3.60N Kết chứng minh thực nghiệm Kết luận án áp dụng để tối ưu hóa thơng số CPG cho module sử dụng chế vây dọc thân tương ứng với mức tần số Điều cho phép linh hoạt việc chuyển đổi dáng bơi đạt lực đẩy tốt nhất, phù hợp với đặc tính khí module đẩy mơ chế bơi MPF Kết sử dụng làm sở để phát triển giải thuật điều khiển lớp cao cho robot cá sử dụng hệ đẩy dạng module vi Tối ưu hóa thơng số CPG cho module đẩy giúp tăng cường hiệu suất khả di chuyển robot cá Bằng cách điều chỉnh thông số, biên độ tần số module đẩy, ta tạo mẫu chuyển động phù hợp với mục đích yêu cầu cụ thể robot Điều cung cấp linh hoạt cách điều khiển chuyển động robot cá, đồng thời cải thiện hiệu suất khả thích ứng mơi trường nước Các giải thuật điều khiển lớp cao phát triển dựa kết tối ưu hóa từ luận án Bằng cách tích hợp thơng số tối ưu CPG vào hệ thống điều khiển lớp cao, ta đạt tương thích tương đồng module đẩy khả di chuyển robot cá có nhiều module đẩy Điều mở cánh cửa cho việc phát triển giải thuật điều khiển phức tạp hơn, giúp robot cá đạt hiệu độ linh hoạt cao nhiệm vụ khác Tóm lại, luận án cung cấp sở quan trọng để tối ưu hóa thông số CPG cho module đẩy robot cá, từ tạo điều kiện cho việc phát triển giải thuật điều khiển lớp cao hơn, mang lại hiệu suất khả di chuyển tốt cho robot cá môi trường nước vii ACKNOWLEDGMENTS I sincerely appreciate my academic advisor, Associate Professor Tan Tien Nguyen, for their patient guidance, constructive recommendations, and enthusiastic encouragement Special thanks to Associate Professor Tan Tien Nguyen throughout my research journey, both financially and academically My dissertation would not have been completed without his invaluable support Also, special thanks to my family, including my parents and wife, for their patience and sacrifice so that I can focus on my research In addition, Dr Huy Hung Nguyen and Dr Van Tu Duong are advisors who help me publish scientific works in international scientific journals Finally, I would like to thank the Ministry of National Defense for fully covering my expenses during my research As a result, my research and knowledge will continue to be used to develop underwater robots that research the ocean viii CONTENTS INTRODUCTION 1.1 Background 1.2 Motivation .2 1.3 Literature review 1.3.1 Aquatic Locomotion Modes of Fish MPF propulsion 1.3.2 The swimming mechanism of fishes 1.3.3 The Development of Vertebrate Locomotion 10 1.3.4 Locomotion control for elongated undulating fin 11 1.4 Discussion & Objective of the Disertation 23 1.5 Outline of the Dissertation 24 DESIGN SWIMMING GAIT CONTROLLER AND THRUST MODELING 25 2.1 Elongated undulating fin description 25 2.2 Swimming gait controller for elongated undulating fin base on CPGs 27 2.2.1 2.2.2 2.2.3 2.2.4 Oscillating neuron models 27 Coupling Schemes 30 Configurations of Oscillators 36 Swimming gait using Multiple Coupled CPG Oscillators 39 2.3 Modeling of elongated undulating fin .40 2.4 Simulate the thrust of the fin ray when changing the waveform 44 2.5 Conclusions: 48 OPTIMIZING CONVERGENCE SPEED OF SWIMMING GAIT CONTROLLER BASE ON CPG BY REINFORCEMENT LEARNING 49 3.1 Problem statement 49 3.2 Theoretical foundations of reinforcement learning 52 3.2.1 3.2.2 3.2.3 3.2.4 3.2.5 Introduction to Reinforcement Learning 52 Markov decision processes 52 Canonical RL algorithm 55 Evaluation in RL 56 Q-Learning 56 3.3 Reinforcement learning based optimization convergence speed 57 3.4 Simulation and discussion 60 3.5 Conclusions 64 FORCE OPTIMIZATION OF ELONGATED UNDULATING FIN ROBOT USING IMPROVED PSO BASED CPG 66 4.1 Problem statement 66 4.2 Theory of Particle Swarm Optimization (PSO) .68 4.2.1 4.2.2 4.2.3 4.3 4.3.1 4.3.2 Introduction 68 The concept of intelligent swarm 69 Classical PSO algorithm 70 Developed PSO-based CPG Optimization 72 D-PSO 72 Application of D-PSO to CPG model 74 ix 4.4 4.4.1 4.4.2 4.5 Test Results and Discussion .76 Testing the D-PSO algorithm on the basic math function 79 Testing the D-PSO algorithm on the modified CPG network 80 Conclusions 82 EXPERIMENT 83 5.1 Introducing experimental models and measuring devices 83 5.2 Experiment 89 5.2.1 5.2.2 5.2.3 5.3 Experiment 1: 89 Experiment 2: 90 Experiment 3: 93 Conclusions 104 CONCLUSIONS 105 6.1 Dissertation contributions 105 6.2 Future work .106 REFRENCES 109 APPENDIX 120 x