Đề xuất phương pháp lập quỹ đạo chuyển động cho robot phục hồi chức năng chi trên

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Trường Cơ Khí -NGUYỄN VĂN HUY nvhuy98@gmail.com Đề xuất phương pháp lập quỹ đạo chuyển động cho robot phục hồi chức chi Chuyên ngành : Hệ thống điện tử thông minh LUẬN VĂN THẠC SĨ KHOA HỌC Kỹ thuật Cơ Điện tử NGƯỜI HƯỚNG DẪN KHOA HỌC : TS Nguyễn Thành Trung Hà Nội – 03/2023 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Nguyễn Văn Huy Đề tài luận văn: Đề xuất phương pháp lập quỹ đạo chuyển động cho robot phục hồi chức chi Chuyên ngành: Kỹ thuật Cơ Điện tử Mã số SV: 20211286M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 09/03/2023 với nội dung sau: - Chỉnh sửa lỗi chế gồm: Lỗi tả, lỗi dồn trang, trích dẫn cơng thức, Việt hóa đồ thị, việt hóa bảng, chỉnh sửa danh mục tài liệu tham khảo - Chỉnh sửa nội dung chương chương 2: Chuyển đổi phần giới thiệu mơ hình robot mơ hình đo lên chương - Bổ sung hình ảnh minh họa hệ trục tọa độ gắn với mơ hình robot mơ hình đo, thêm ma trận biến đổi tọa độ giúp tính tốn động học robot - Bổ sung nghiên cứu, tài liệu tham khảo liên quan đến phương pháp đề xuất quỹ đạo chuyển động cho robot - Bổ sung tham số trình áp dụng thuật toán DE - Chỉnh sửa tên đề xuất, tên phương pháp: Đề xuất 1: Kết hợp thuật toán DMPs DE - Chỉnh sửa nội dung chương 4, nêu bật đóng góp làm rõ hướng phát triển nghiên cứu tương lai Ngày tháng năm Giáo viên hướng dẫn Tác giả luận Nguyễn Thành Trung Nguyễn Văn Huy CHỦ TỊCH HỘI ĐỒNG văn LỜI CẢM ƠN Lời tơi xin bày tỏ lịng biết ơn sâu sắc tới TS Nguyễn Thành Trung – Trường Cơ Khí – Đại học Bách Khoa Hà Nội người thầy định hướng khoa học tận tình hướng dẫn, giúp đỡ, tạo điều kiện thuận lợi cho suốt thời gian thực luận án Thầy truyền cho hứng thú niềm hạnh phúc lớn lao nghiên cứu khám phá khoa học, biết vượt qua khó khăn để vươn tới, với tinh thần tận tụy với học trò nghiêm túc nghiên cứu khoa học.Tôi xin cảm ơn thầy cô giáo Đại học Bách Khoa Hà Nội giảng dạy, trang bị kiến thức để giúp thực Luận văn Tôi xin trân trọng cảm ơn tập thể thầy,cô Đại học Bách khoa Hà Nội giản dạy cho nhiều kiến thức quý giá, đồng thời động viên, chia sẻ, giúp đỡ tạo điều kiện thuận lợi thời gian, vật chất tinh thần để thực luận án Tôi mong muốn cảm ơn bạn bè, đồng nghiệp người thân động viên, giúp đỡ, quan tâm, hỗ trợ công việc để có điều kiện thực luận án Cuối cùng, tơi xin gửi tới người thân yêu gia đình nhỏ tơi lịng biết ơn sâu sắc Sự động viên, hỗ trợ hi sinh thầm lặng bố mẹ, anh em, tình cảm vơ giá, nguồn động lực tinh thần vô mạnh mẽ giúp tơi kiên trì vượt qua khó khan suốt trình học tập nghiên cứu Đại học Bách Khoa Hà Nội HỌC VIÊN Ký ghi rõ họ tên Nguyễn Văn Huy Tóm tắt nội dung luận văn Tổ chức WHO dự báo vào năm 2050 tổng số lượng người cao tuổi tăng gấp đôi, kèm theo gia tăng bệnh liên quan Để ứng phó với tình hình đó, việc phát triển loại Robot phục hồi chức nhu cầu cấp thiết Luận văn tập trung vào nghiên cứu Robot phục hồi chức chi trên, đặc biệt phương pháp thiết lập quỹ đạo chuyển động cho robot Quá trình nghiên cứu việc thu thập tài liệu dạng robot phục hồi chức chi liệu đo từ dạng tập phục hồi chức năng, hoạt động ngày người sử dụng Sau nghiên cứu đề xuất sử dụng thuật toán Dynamic Movement Primitives (DMPs) để thiết kế quỹ đạo chuyển động cho robot Cuối nghiên cứu đề xuất phương pháp Differential Evolution (DE) mạng nơ-ron hồi tiếp (LSTM) để giải toán động học ngược thiết kế quỹ đạo góc khớp cho Robot Phần mềm Matlab Python sử dụng để tính tốn vẽ đồ thị, xuất bảng số liệu nghiên cứu Kết luận văn giải vấn đề đặt ra, có tính khoa học thực tiễn cao HỌC VIÊN Ký ghi rõ họ tên Nguyễn Văn Huy MỤC LỤC LỜI CẢM ƠN iii MỤC LỤC v DANH MỤC HÌNH VẼ vii DANH MỤC BẢNG x PHẦN MỞ ĐẦU xi Lý chọn đề tài xi Đối tượng phương pháp nghiên cứu xi Mục đích nghiên cứu xi CHƯƠNG TỔNG QUAN 1.1 1.2 1.3 Tổng quan tình hình bệnh đột quỵ cách chữa trị 1.1.1 Tình hình bệnh đột quỵ 1.1.2 Phương pháp chữa trị đột quỵ phục hồi chức (PHCN) 1.1.3 Đột quỵ phục hồi phục hồi chức (PHCN) Tổng quan Robot phục hồi chức chi 1.2.1 MGA-exoskeleton 1.2.2 Mô hình L-EXOS 1.2.3 Mơ hình Armin Kết luận chương 12 CHƯƠNG ROBOT PHỤC HỒI CHỨC NĂNG CHI TRÊN (UEXOSVN) VÀ CÁC BÀI TOÁN CƠ BẢN 13 2.1 Mơ hình Robot phục hồi chức chi (UexosVN) 13 2.2 Mơ hình thiết bị đo 16 2.3 Bài toán động học 21 2.3.1 2.4 2.5 Bộ thông số Denavit-Hartenberg 21 2.1) 21 2.4.2 Ma trận biến đổi hệ trục tọa độ nhất: 22 2.4.3 Bài toán động học thuận 24 2.4.4 Bài toán động học ngược 25 Bài toán thiết kế quỹ đạo chuyển động 25 2.5.1 Các phương pháp thiết kế quỹ đạo cho robot công nghiệp 25 2.5.2 Các phương pháp thiết kế quỹ đạo chuyển động cho robot phục hồi chức chi 26 2.6 Kết luận chương 29 CHƯƠNG ĐỀ XUẤT CÁC PHƯƠNG PHÁP THIẾT LẬP QUỸ ĐẠO CHUYỂN ĐỘNG CHO ROBOT UEXOSVN 31 3.1 Đề xuất 1: Kết hợp thuật toán DMPs DE 31 3.1.1 Sử dụng DE để cải thiện chất lượng quỹ đạo sinh từ DMPs 31 3.1.2 Sử dụng DMPs kết hợp DE để thiết kế quỹ đạo chuyển động cho robot phục hồi chức chi 33 3.2 Đề xuất 2: Kết hợp thuật toán DMPs mạng Nơ-ron hồi tiếp 36 3.2.1 DMPs tạo liệu huấn luyện cho mạng nơ-ron nhân tạo 36 3.2.2 Sử dụng DMPs kết hợp mạng nơ-ron hồi tiếp để thiết kế quỹ đạo chuyển động cho robot phục hồi chức chi 40 3.3 3.4 Thiết lập thử nghiệm, kết so sánh phương pháp 45 3.3.1 Thiết lập thử nghiệm 45 3.3.2 Kết sau huấn luyện mơ hình mạng nơ-ron hồi tiếp 46 3.3.3 Kết so sánh phương pháp thiết lập quỹ đạo góc khớp 50 3.3.4 Ưu điểm, nhược điểm phương pháp 64 Kết luận chương 65 CHƯƠNG KẾT LUẬN 66 4.1 Đóng góp luận văn 66 4.2 Hướng phát triển nghiên cứu tương lai 67 TÀI LIỆU THAM KHẢO 68 PHỤ LỤC .71 A1: Dynamic movement primitives (DMPs) 71 A2: Differential Evolution (tiến hóa vi phân) 78 A3: Mạng Mạng nhớ dài-ngắn (Long Short Term Memory networks LSTM) 81 DANH MỤC HÌNH VẼ Hình 1.1 Tỷ lệ đột quỵ theo tuổi quốc gia 2016 (Nguồn: The Lancet Neurology) Hình 1.2 Tỷ lệ đột quỵ toàn cầu theo độ tuổi giới tính, 2016 Hình 1.3 Mơ hình MGA-Exoskeleton Hình 1.4 Mơ hình L-EXOS đeo người Hình 1.5 Mơ hình khí L-EXOS Hình 1.6 Mơ hình Armin I Hình 1.7 Hình mơ tả thiết lập ARMin II 10 Hình 1.8 Cài đặt Armin III 11 Hình 1.9 Hình biểu thị quỹ đạo cho chế độ thụ động 11 Hình 2.1 Mơ hình robot phục hồi chức chi 13 Hình 2.2 Mơ hình động học robot phục hồi chức chi 13 Hình 2.3 Khớp vai 14 Hình 2.4 Khớp khuỷu tay 14 Hình 2.5 Khớp cổ tay 15 Hình 2.6 Cấu tạo phần bàn tay robot 16 Hình 2.7 Cơ cấu điều khiển chiều dài cẳng tay 17 Hình 2.8 Cấu tạo cẳng tay Robot 18 Hình 2.9 Cấu tạo phần bắp tay robot 18 Hình 2.10 Cấu tạo khớp vai Robot 19 Hình 2.11 Chế tạo chi tiết trục khớp 19 Hình 2.12 Hệ thống đo hồn thiện 20 Hình 2.13 Minh họa xác định thông số DH 22 Hình 2.14 Quy ước hệ trục tọa độ robot (UexosVN) 23 Hình 2.15 Quy ước hệ trục tọa độ mơ hình đo 23 Hình 2.16:Người bệnh thực tập uống nước 26 Hình 3.1 Số lượng hàm chức thay đổi theo độ phức tạp quỹ đạo 32 Hình 3.2 Thuật tốn DE cho toán robot 35 Hình 3.3 Sơ đồ thuật tốn DMPs kết hợp với DE 36 Hình 3.4 Quỹ đạo đo mẫu điểm mặt phẳng cần đo 37 Hình 3.5 Sơ đồ thuật toán sử dụng DMPs để sản sinh liệu 38 Hình 3.6 Tọa độ điểm cuối quỹ đạo thu sau sản sinh liệu 39 Hình 3.7 Minh họa quỹ đạo chuyển động DMPs cho q DMPs cho E 40 Hình 3.8 Sequence to Sequence Model in Machine Translation 41 Hình 3.9 Bộ mã hóa - Encoder 42 Hình 3.10 Mơ hình mạng nơ-ron hồi tiếp cho tốn thiết kế quỹ đạo góc khớp 43 Hình 3.11 Sơ đồ phương pháp DMPs kết hợp với mạng nơ-ron 45 Hình 3.12 Giá trị góc khớp mong muốn (đánh bóng) 51 Hình 3.13 Giá trị góc khớp NN (đánh bóng) 52 Hình 3.14 Giá trị góc khớp DE (đánh bóng) 52 Hình 3.15 Sai lệch góc khớp NN (đánh bóng) 53 Hình 3.16 Sai lệch góc khớp DE (đánh bóng) 53 Hình 3.17 Sai lệch vị trí NN (đánh bóng) 54 Hình 3.18 Sai lệch vị trí DE (đánh bóng) 54 Hình 3.19 Giá trị góc khớp mong muốn (lấy nước) 56 Hình 3.20 Giá trị góc khớp NN (lấy nước) 56 Hình 3.21 Giá trị góc khớp DE (lấy nước) 57 Hình 3.22: Sai lệch góc khớp NN (lấy nước) 57 Hình 3.23 Sai lệch góc khớp DE (lấy nước) 58 Hình 3.24 Sai lệch vị trí NN (lấy nước) 58 Hình 3.25 Sai lệch vị trí DE (lấy nước) 59 Hình 3.26 Giá trị góc khớp mong muốn (uống nước) 60 Hình 3.27 Giá trị góc khớp NN (uống nước) 61 Hình 3.28 Giá trị góc khớp DE (uống nước) 61 Hình 3.29 Sai lệch góc khớp NN (uống nước) 62 Hình 3.30 Sai lệch góc khớp DE (uống nước) 62 Hình 3.31 Sai lệch vị trí NN (uống nước) 63 Hình 3.32 Sai lệch vị trí DE (uống nước) 63 Hình 5.1: Giá trị hàm (basis function) trình x giảm từ 72 Hình 2: Giá trị trọng số w giá trị hàm f 73 Hình 5.3: Quỹ đạo mong muốn 73 Hình 5.4: Quỹ đạo thu tương ứng với giá trị điểm cuối 74 Hình 5.5: So sánh giảm tuyến tính giảm theo hàm e 74 Hình 5.6: Hàm kích hoạt theo thời gian 75 Hình 5.7: Giá trị x theo thời gian 75 Hình 5.8: Điểm trung tâm cho hàm basics functions 76 Hình 5.9 Sơ đồ thuật tốn DE 79 Hình 5.10 Mơ-đun lặp lại RNN tiêu chuẩn chứa lớp 81 Hình 5.11 Mơ-đun lặp lại LSTM chứa bốn lớp tương tác 81 Hình 5.12 Ký hiệu khối mạng LSTM 82 Hình 5.13 Trạn thái tế bào (cell state) LSTM 82 Hình 5.14 Tần Sigmoid mạng LSTM 83 Hình 5.15 Tầng cổng quên mạng LSTM 83 Hình 5.16 Tầng cổng vào mạng LSTM 84 DANH MỤC BẢNG Bảng 2.1 Quy ước tên chiều chuyển động cánh tay robot 15 Bảng 2.2 Bảng DH cánh tay robot phục hồi chức 24 Bảng 3.1 So sánh quỹ đạo chuyển động DMPs cho q DMPs cho E 40 Bảng 3.2 Tham số q trình huấn luyện mơ hình 43 Bảng 3.3 Kết tập huấn luyện mạng nơ-ron với động tác đánh bóng47 Bảng 3.4 Kết tập kiểm tra mạng nơ-ron với động tác đánh bóng 47 Bảng 3.5 Kết tập huấn luyện mạng nơ-ron với động tác lấy nước 48 Bảng 3.6 Kết tập kiểm tra mạng nơ-ron với động tác lấy nước 48 Bảng 3.7 Kết tập huấn luyện mạng nơ-ron với động tác uống nước 49 Bảng 3.8 Kết tập kiểm tra mạng nơ-ron với động tác uống nước 49 Bảng 3.9 Kết tập liệu so sánh NN (đánh bóng) 50 Bảng 3.10 Kết tập liệu so sánh DE (đánh bóng) 51 Bảng 3.11 Kết tập liệu so sánh NN (lấy nước) 54 Bảng 3.12 Kết tập liệu so sánh DE (lấy nước) 55 Bảng 3.13 Kết tập liệu so sánh NN (uống nước 59 Bảng 3.14 Kết tập liệu so sánh DE (uống nước) 60 Bảng 3.15 Ưu nhược điểm phương pháp thiết kế quỹ đạo góc khớp 64 [27] Nguyen, T., Nguyen, H., Dang, K., & Nguyen, P (2021) Simulation and Experiment in Solving Inverse Kinematic for Human Upper Limb by Using Optimization Algorithm In L T Hoai, V T Nguyen, L Nguyen-Thinh, N T Nguyen, & Q D Vu (Eds.), Proceedings of the 13th Asian Conference on Intelligent Information and Database Systems (pp 515-524) Springer doi: 10.1007/978-3-030-73280-6_44 [28] Nguyen, T.-T., Nguyen, V.-H., & Nguyen, X.-H (2020) Comparing the Results of Applying DE, PSO, and Proposed Pro DE, Pro PSO Algorithms for the 5-DOF Scara Robot Inverse Kinematics Problem In The 2020 International Conference on Advanced Mechatronic Systems (pp 45-49) IEEE doi: 10.1109/ICAMechS49982.2020.9310157 [29] Nguyen, T.-T., Tao, N.-L., Nguyen, V.-T., Bui, N.-T., Nguyen, V H., & Watanabe, D (2020) Apply PSO Algorithm with Searching Space Improvements on a Degrees of Freedom Robot In The 3rd International Conference on Intelligent IEEE doi: Robotics and Control Engineering (pp 75-80) 10.1109/IRCE50905.2020.9199236 [30] Zhao, X., Chumkamon, S., Duan, S., Rojas, J., & Pan, J (2018) Collaborative Human-Robot Motion Generation Using LSTM-RNN In 18th International Conference on Humanoid Robots (Humanoids) (pp 1-9) IEEE doi: 10.1109/HUMANOIDS.2018.8625068 [31] Hochreiter, S., & Schmidhuber, J (1997) Long short-term memory Neural Computation, 9(8), 1735-1780 doi: 10.1162/neco.1997.9.8.1735 70 PHỤ LỤC A1: Dynamic movement primitives (DMPs) Dynamic movement primitives (DMPs) phương pháp dùng để kiểm soát quỹ đạo điểm cuối phát triển Stefan Schaal’s lab Phương pháp dùng để thực chuyển động phức tạp động hiệu chỉnh cách linh hoạt mà khơng cần phải chỉnh thông số tay hay lo lắng ổn định hệ thống Những chuyển động phức tạp bao gồm tập hợp chuyển động đơn giản thực song song, DMPs đề xuất cơng thức tốn học cho chuyển động đơn giản Sự khác biệt DMPs phương pháp trước việc DMPs hệ động lực học phi tuyến Ý tưởng cốt lõi việc ta chọn hệ động lực xác định rõ, đáp ứng ổn định sau thêm vào thành phần khác để khiến đáp ứng theo quỹ đạo mong muốn thực cơng việc Phương pháp DMPs chia thành loại discrete DMPs rhythmic DMPs Tưởng tượng ta có hệ thống: hệ thống ảo dùng để đề xuất quỹ đạo hệ thống thực dùng để thực quỹ đạo Sử dụng DMPs nghĩa đưa quỹ đạo cho hệ thống thực hiện, DMPs có riêng tập hợp bao gồm thành phần động lực học điều chỉnh DMPs cách hợp lý có tín hiệu điều khiển giúp hệ thống theo quỹ đạo mong muốn cụ thể đồ án này, hệ thống DMPs đề xuất quỹ đạo cho điểm cuối mơ hình cánh tay đưa tập hợp lực dùng cho việc điều khiển mơ hình thực tế Các lực sau chuyển dạng momen động Phương pháp DMPs tạo quỹ đạo đưa tín hiệu điều khiển cho mơ hình thực tế Phương trình động lực: PT 5.1 Trong y trạng thái hệ động lực, g mục tiêu, 𝛼𝛼𝑦𝑦 , 𝛽𝛽𝑦𝑦 hệ số gain term Phương trình có dạng giống với tín hiệu điều khiển PD, mục đích để đưa hệ thống trạng thái mong muốn Tiếp theo ta bổ sung thành phần Forcing term giúp ta thay đổi quỹ đạo: PT 5.2 Để tìm hàm phi tuyến f giúp hệ thống tạo đáp ứng mong muốn điều dễ dàng Và điểm mấu chốt DMPs việc sử dụng hệ phi tuyến dùng để xác định hàm f qua thời gian Hệ có tên hệ động lực canonical (canonical dynamical system), kí hiệu x Phương trình động lực hệ đơn giản: 71 PT 5.3 Hàm forcing f định nghĩa phương trình x: PT 5.4 y vị trí ban đầu hệ thống, PT 5.5 𝜔𝜔𝑖𝑖 trọng số cho hàm Ψ𝑖𝑖 Phương trình Ψ𝑖𝑖 có dạng hàm Gaussians Với ℎ𝑖𝑖 phương sai c i giá trị kỳ vọng Như hàm f tập hợp hàm Gaussians Các hàm Gauss kích hoạt (activated) q trình hàm x tiến dần tới điểm cuối Trong tốn x giảm dần từ giá trị Tổng hàm trọng số normalize sau nhân thêm với thành phần x(g-y ) Thành phần vừa có tác dụng đưa giá trị hàm f (diminishing term) vừa có tác dụng scaling quỹ đạo thay đổi điểm cuối không gian thao tác (spatial scaling term) Điều giải thích việc hàm x xuất phát từ giá trị x ta chọn x =1 Từ giá trị x hàm x giảm dần qua thời gian Ta giả thiết x giảm từ cách tuyến tính: Hình 5.1: Giá trị hàm (basis function) trình x giảm từ Nhận thấy x giảm từ 0, hàm gauss kích hoạt (một hàm gauss kích hoạt x trùng với giá trị kì vọng hàm gauss đó) Tiếp hàm Ψ𝑖𝑖 lại có hàm trọng số 𝜔𝜔𝑖𝑖 72 Hình 2: Giá trị trọng số w giá trị hàm f Kết hàm f ∑ 𝜔𝜔𝑖𝑖 Ψ𝑖𝑖 a Thành phần giảm dần (diminishing term) Việc đưa hàm x vào hàm f làm cho hàm f tiến trình hàm x tiến Điều đảm bảo cho hệ thống bám theo quỹ đạo phức tạp b Thành phần scaling theo không gian (spatial scaling) Scaling khơng gian có nghĩa setup cho hệ thống bám theo quỹ đạo tới vị trí định, sau ta di chuyển vị trí tiến xa tiến lại gần, vị trí ta thu quỹ đạo scale từ quỹ đạo ban đầu điều thực nhờ thành phần (g-y ), việc scale kết kích hoạt hàm (Ψ𝑖𝑖 ) tương ứng với vị trí điểm cuối giúp cho hệ thống bao quát vị trí xa gần khác Ví dụ ta muốn xây dựng hệ thống DMPs bám theo quỹ đạo sau: Hình 5.3: Quỹ đạo mong muốn Nếu ta muốn tăng giá trị điểm cuối lên gấp (từ lên 2) dùng trọng số 𝜔𝜔𝑖𝑖 làm điều này, nhiên ta đưa vào thành phần (g-y0) thu kết sau: 73 Hình 5.4: Quỹ đạo thu tương ứng với giá trị điểm cuối c Spreading basic function centers Vấn đề xảy hàm x không giảm cách tuyến tính giả định bên mà x giảm theo hàm e: Hình 5.5: So sánh giảm tuyến tính giảm theo hàm e Vì hàm basics functions kích hoạt theo x, hệ thống tuyến tính hàm basics function phân bố hợp lý hệ thống đưa vị trí mong muốn Tuy nhiên hệ thống thực tế x khơng phải hàm tuyến tính theo thời gian, vẽ biểu đồ hàm kích hoạt hàm theo thời gian ta nhận thấy hầu hết hàm kích hoạt x thay đổi nhanh chóng khoảng thời gian đầu việc kích hoạt kéo dài x tiến chậm 74 Hình 5.6: Hàm kích hoạt theo thời gian Để hàm phân bố đồng để hàm f đưa hệ thống theo quỹ đạo mong muốn tiến gần tới điểm đích Do ta cần lựa chọn điểm trung tâm cho hàm Gaussian cách hợp lý Nếu ta theo dõi giá trị x theo thời gian, ta lựa chọn thời điểm mà ta muốn kích hoạt hàm Gaussian, sau tính tốn ngược lại để tìm giá trị x tương ứng Đồ thị sau thể điều đó: Hình 5.7: Giá trị x theo thời gian Chấm đỏ thời điểm mà ta muốn đặt điểm trung tâm hàm Gausse, đường màu xanh hàm x Từ biểu đồ ta xác định giá trị x thời điểm ta muốn kích hoạt hàm Gauss Thêm vào ta cần quan tâm đến phương sai hàm Gauss hàm kích hoạt sau thời gian kích hoạt lâu Khi ta hiệu chỉnh hàm Gauss phía sau phương sai giảm Hàm thể phương sai sau: PT 5.6 75 Phương sai hàm basics function tính số lượng hàm basics function chia cho giá trị trung tâm Khi ta tạo hàm basics function phân bố hợp lý Hình 5.8: Điểm trung tâm cho hàm basics functions d Tỉ lệ theo thời gian (temporal scaling) Tính bao quát (generalizability) thuộc tính quan trọng hệ thống Tính bao quát chia thành loại: tính bao qt theo khơng gian tính bao qt theo thời gian Tính bao qt theo khơng gian phân tích Tính bao quát theo thời gian giúp hệ thống bám theo quỹ đạo mong muốn với tốc độ khác Có thể nhanh chậm bám theo quỹ đạo để thực điều ta đưa thêm thành phần 𝜏𝜏 (thành phần temporal) vào hệ động lực phương trình động lực trở thành: PT 5.7 Ta sử dụng 𝜏𝜏 trước 𝑦𝑦̈ đạo hàm cấp Nếu muốn tốc độ tăng lên ta đặt giá trị 𝜏𝜏 khoảng đến muốn tăng tốc độ ta đặt giá trị lớn e Bám theo quỹ đạo mong muốn (imitating a desired path) Sau có hàm f ta đưa hệ thống bám theo quỹ đạo phức tạp để đến điểm mong muốn kết hợp với thành phần tỉ lệ theo thời gian tỉ lệ theo không gian, ta tiến hành setup hệ thống để bám theo quỹ đạo mong muốn Một phương pháp lý tưởng đưa cho hệ thống quỹ đạo tính ngược lại để tìm lực Ta điều khiển thành phần f (forcing term), thành phần gây ảnh hưởng tới gia tốc Do đạo hàm lần hàm quỹ đạo để thu hàm gia tốc: PT 5.8 76 Ta nhận thấy hàm forcing term tạo từ tổng trọng số hàm basics functions kích hoạt qua thời gian, ta sử dụng kĩ thuật tối ưu giống việc hồi quy trọng số cục để chọn trọng số cho hàm basics function giúp cho hàm f đáp ứng quỹ đạo mong muốn f d Thành phần cần tối giản: PT 5.9 Phương pháp đề xuất là: PT 5.10 Trong : PT 5.11 77 A2: Differential Evolution (tiến hóa vi phân) Giới thiệu thuật tốn Tiến hóa vi phân - Differential Evolution ( DE ) ban đầu phát triển Storn and Price dựa lý thuyết tiến hóa, phương pháp tối ưu hóa giải toán cách lặp lặp lại cố gắng cải thiện giải pháp để tìm nghiệm toán tối ưu Các phương pháp thường gọi metaheuristics DE sử dụng cho hàm có giá trị thực nhiều chiều khơng sử dụng gradient tốn tối ưu hóa, có nghĩa DE khơng u cầu tốn tối ưu hóa phải khác biệt , u cầu phương pháp tối ưu hóa cổ điển phương pháp gradient descent quasi-newton DE cho thuật tốn tìm kiếm dựa dân số linh hoạt ổn định nhất, thể mạnh mẽ vấn đề đa phương thức Trong lĩnh vực kỹ thuật hầu hết vấn đề tối ưu hóa thực tế gắn với ràng buộc Các toán tối ưu hóa bị ràng buộc khó giải độ phức tạp tính phi tuyến tính cao chúng Do đó, DE sử dụng cho tốn tối ưu hóa khơng liên tục , nhiễu, thay đổi theo thời gian Thuật toán DE DE sử dụng tập hợp giải pháp ứng viên việc tìm kiếm thực theo cách ngẫu nhiên cách áp dụng toán tử đột biến, giao lựa chọn để hướng dân số đến giải pháp tốt Thuật tốn tìm kiếm nghiệm tốn cách trì tập hợp giải pháp ứng viên (cá nhân) tạo giải pháp cách kết hợp giải pháp có theo quy trình cụ thể Các ứng cử viên có giá trị mục tiêu tốt giữ lại lần lặp thuật toán theo cách mà giá trị mục tiêu cá nhân cải thiện, tạo thành phần tập hợp, không giá trị mục tiêu bị loại bỏ Quá trình tự lặp lại thỏa mãn tiêu chí chấm dứt định Dưới sơ đồ thuật tốn: 78 Hình 5.9 Sơ đồ thuật tốn DE • Chọn thông số xác suất chéo CR [0,1], trọng lượng vi sai F [0,2] quy mô dân số NP, số lượng hệ tối đa Sự lựa chọn tham CR,F,NP có tác động lớn đến hiệu suất tối ưu hóa Do đó, việc lựa chọn tham số DE mang lại hiệu suất tốt chủ đề nhiều nghiên cứu • Khởi tạo tất dân số X ngẫu nhiên không gian tìm kiếm • Cho đến đáp ứng tiêu chí chấm dứt (ví dụ: số lần lặp lại thực đạt mức độ phù hợp thích hợp), lặp lại bước sau: • Tính tốn hàm chi phí ứng với hệ • Tạo vector đột biến: 79 PT 5.12 Trong đó: r1,r2,r3,r4 dân số ngẫu nhiên tập dân số, X best ; dân số có hàm chi phí thấp • Tạo veoto chéo hóa: PT 5.13 • So sánh U V lựa chọn giữ lại dân số tốt hơn: PT 5.14 • Chọn dân số có hàm chi phí tốt nghiệm tốn • Kết thúc thuật tốn DE ta nhận nghiệm tối ưu toàn cục toán 80 A3: Mạng Mạng nhớ dài-ngắn (Long Short Term Memory networks - LSTM) Mạng nhớ dài-ngắn (Long Short Term Memory networks) thường gọi LSTM có khả học phụ thuộc xa LSTM giới thiệu Hochreiter & Schmidhuber (1997) [30], sau cải tiến phổ biến nhiều người ngành Chúng hoạt động hiệu nhiều toán khác nên dần trở nên phổ biến LSTM thiết kế để tránh vấn đề phụ thuộc xa (long-term dependency) Việc nhớ thông tin suốt thời gian dài đặc tính mặc định chúng, ta khơng cần phải huấn luyện để nhớ Tức nội ghi nhớ mà không cần can thiệp Mọi mạng hồi quy có dạng chuỗi mô-đun lặp lặp lại mạng nơ-ron Với mạng RNN chuẩn, mơ-đun có cấu trúc đơn giản, thường tầng Hình 5.10 Mô-đun lặp lại RNN tiêu chuẩn chứa lớp LSTM có kiến trúc dạng chuỗi vậy, mơ-đun có cấu trúc khác với mạng RNN chuẩn Thay có tầng mạng nơ-ron, chúng có tới tầng tương tác với cách đặc biệt Hình 5.11 Mơ-đun lặp lại LSTM chứa bốn lớp tương tác 81 Hình 5.12 Ký hiệu khối mạng LSTM Ở sơ đồ trên, đường mang véc-tơ từ đầu nút tới đầu vào nút khác Các hình màu hồng biểu diễn phép tốn phép cộng véc-tơ chẳng hạn, cịn ô màu vàng sử dụng để học mạng nơ-ron Các đường hợp kí hiệu việc kết hợp, đường rẽ nhánh ám nội dung chép chuyển tới nơi khác a Ý tưởng cốt lõi LSTM Chìa khóa LSTM trạng thái tế bào (cell state) - đường chạy thơng ngang phía sơ đồ hình vẽ Trạng thái tế bào dạng giống băng truyền Nó chạy xuyên suốt tất mắt xích (các nút mạng) tương tác tuyến tính đơi chút Vì mà thơng tin dễ dàng truyền thơng suốt mà khơng sợ bị thay đổi Hình 5.13 Trạn thái tế bào (cell state) LSTM LSTM có khả bỏ thêm vào thông tin cần thiết cho trạng thái tế bào, chúng điều chỉnh cẩn thận nhóm gọi cổng (gate) Các cổng nơi sàng lọc thơng tin qua nó, chúng kết hợp tầng mạng sigmoid phép nhân 82 Hình 5.14 Tần Sigmoid mạng LSTM Tầng sigmoid cho đầu số khoảng [0, 1][0, 1], mơ tả có thơng tin thơng qua Khi đầu 00 có nghĩa khơng cho thơng tin qua cả, cịn 11 có nghĩa cho tất thơng tin qua Một LSTM gồm có cổng để trì điều hành trạng thái tế bào b Bên LSTM Bước LSTM định xem thông tin cần bỏ từ trạng thái tế bào Quyết định đưa tầng sigmoid - gọi “tầng cổng quên” (forget gate layer) Nó lấy đầu vào h {t-1} x t đưa kết số khoảng [0, 1][0,1] cho số trạng thái tế bào C {t-1} Đẩu 11 thể giữ tồn thơng tin lại, cịn 00 tồn thơng tin bị bỏ Hình 5.15 Tầng cổng quên mạng LSTM Bước định xem thông tin ta lưu vào trạng thái tế bào Việc gồm phần Đầu tiên sử dụng tầng sigmoid gọi “tầng cổng vào” (input gate layer) để định giá trị ta cập nhập Tiếp theo tầng tạo véc-tơ cho giá trị C t nhằm thêm vào cho trạng thái Trong bước tiếp theo, ta kết hợp giá trị lại để tạo cập nhập cho trạng thái 83 Hình 5.16 Tầng cổng vào mạng LSTM Tiếp theo cập nhập trạng thái tế bào cũ C t-1 thành trạng thái C t Ở bước trước định việc cần làm, nên ta cần thực xong Ta nhân trạng thái cũ với f t để bỏ thông tin ta định quên lúc trước Sau cộng thêm i t * C t Trạng thái thu phụ thuộc vào việc ta định cập nhập giá trị trạng thái Cuối cùng, ta cần định xem ta muốn đầu Giá trị đầu dựa vào trạng thái tế bào, tiếp tục sàng lọc Đầu tiên, ta chạy tầng sigmoid để định phần trạng thái tế bào ta muốn xuất Sau đó, ta đưa trạng thái tế bảo qua hàm để có giá trị khoảng [-1, 1][−1,1], nhân với đầu cổng sigmoid để giá trị đầu ta mong muốn 84