(Luận văn thạc sĩ) ứng dụng phương pháp aladin để giải bài toán tối ưu trong đánh giá tính bền vững của mạng truyền thông

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN VĂN HOÀN ỨNG DỤNG PHƯƠNG PHÁP ALADIN ĐỂ GIẢI BÀI TỐN TỐI ƯU TRONG ĐÁNH GIÁ TÍNH BỀN VỮNG CỦA MẠNG TRUYỀN THÔNG LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA Đà Nẵng, Năm 2020 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN VĂN HOÀN ỨNG DỤNG PHƯƠNG PHÁP ALADIN ĐỂ GIẢI BÀI TOÁN TỐI ƯU TRONG ĐÁNH GIÁ TÍNH BỀN VỮNG CỦA MẠNG TRUYỀN THÔNG Chuyên ngành: KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA Mã số: 8520216 LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học: TS Trần Thị Minh Dung Đà Nẵng, Năm 2020 i LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu thân tơi Các kết nghiên cứu kết luận luận văn trung thực, không chép từ nguồn hình thức Việc tham khảo báo nguồn tài liệu thực trích dẫn ghi nguồn tài liệu tham khảo quy định Tác giả Trần Văn Hoàn ii MỤC LỤC LỜI CAM ĐOAN I MỤC LỤC .II TÓM TẮT LUẬN VĂN ERROR! BOOKMARK NOT DEFINED ABSTRACT ERROR! BOOKMARK NOT DEFINED LỜI CẢM ƠN V DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT VI DANH MỤC CÁC HÌNH VIII MỞ ĐẦU 1 Đặt vấn đề .1 Mục tiêu nhiệm vụ nghiên cứu Đối tượng phạm vi nghiên cứu Ý nghĩa khoa học thực tiễn đề tài Bố cục luận văn NGHIÊN CỨU TỔNG QUAN VỀ HỆ THỐNG ĐA ĐỐI TƯỢNG VÀ MẠNG TRUYỀN THÔNG 1.1 Giới thiệu hệ thống đa đối tượng (MAS) .4 1.2 Hệ thống mạng truyền thông .6 1.3 Điều khiển hợp tác 1.4 Thuật toán đồng thuận .8 1.4.1 Giao thức đồng thuận 1.4.2 Vấn đề đồng thuận thời gian tuyến tính 11 1.4.3 Thiết kế ma trận đồng thuận 11 1.4.4 Thiết kế ma trận trọng số 11 1.4.4.1 Trọng số có bậc lớn 11 1.4.4.2 Trọng số có cạnh số 12 1.4.4.3 Trọng số Metropolis .12 1.4.5 Tối ưu hóa 12 1.5 Lý thuyết đồ thị 13 1.5.1 Định nghĩa 13 1.5.2 Biểu diễn đồ thị 14 1.5.3 Đồ thị có hướng và đồ thị vô hướng 14 1.5.4 Đơn đồ thị và đa đồ thị .16 1.5.5 Tính kết nối của đồ thị .16 1.5.6 Đặc tính đồ thị đại số 18 iii 1.5.7 Quang phổ ma trận Laplacian 20 1.5.8 Các loại đồ thị tiêu chuẩn 21 1.6 Tính bền vững mạng truyền thơng 23 1.6.1 Độ liên kết của nút 24 1.6.2 Độ kết nối đại số 24 1.6.3 Số spanning tree 24 1.6.4 Độ phản kháng của đồ thị 24 1.7 Tính bền vững mạng lưới theo hình thức phân tán 25 1.7.1 Tính tốn giá trị riêng riêng biệt của ma trận Laplacian 27 1.7.2 Tính tốn bội số của giá trị riêng riêng biệt của ma trận Laplacian 28 PHƯƠNG PHÁP AUGMENTED LAGRANGIAN BASED ALTERNATING DIRECTION INEXACT NEWTON (ALADIN) .30 2.1 Giới thiệu 30 2.2 Thuật tốn tối ưu hóa hàm không lồi 31 2.3 Điểm tương đồng khác biệt so với SQP phương pháp lagrangian tăng cường .34 2.4 Tính hội tụ thuật tốn .35 2.5 Phân tích hội tụ cục .40 ỨNG DỤNG PHƯƠNG PHÁP ALADIN TRONG ĐÁNH GIÁ TÍNH BỀN VỮNG CỦA MẠNG TRUYỀN THƠNG .44 3.1 Tính bền vững mạng truyền thông 44 3.2 Ứng dụng phương pháp ALADIN 46 KẾT QUẢ MÔ PHỎNG VÀ NHẬN XÉT 48 4.1 Kết mô 48 4.1.1 Trường hợp 48 4.1.2 Trường hợp 51 4.2 Nhận xét .54 KẾT LUẬN VÀ KIẾN NGHỊ .55 TÀI LIỆU THAM KHẢO 56 iv ỨNG DỤNG PHƯƠNG PHÁP ALADIN ĐỂ GIẢI BÀI TỐN TỐI ƯU TRONG ĐÁNH GIÁ TÍNH BỀN VỮNG CỦA MẠNG TRUYỀN THƠNG Học viên: Trần Văn Hồn Chun ngành: Kỹ thuật điều khiển tự động hoá Mã số: 8520216 Khóa: 36 Trường Đại học Bách khoa ĐHĐN Tóm tắt - Ngày với tốc độ phát triển nhanh chóng khoa học cơng nghệ, người ngày nghiên cứu chế tạo nhiều hệ thống có độ phức tạp xác cao, với nhiều đối tượng tham gia để hoàn thành nhiệm vụ khó, nguy hiểm với tốc độ nhanh độ xác cao Để điều khiển hệ đa đối tượng đạt hiệu tối đa ngồi tốc độ điều khiển nhanh, xác tính bền vững mạng truyền thông khả chịu đựng hệ thống ngẫu nhiên xảy vài cố quan trọng Nó thể tính an tồn, hiệu kinh tế q trình hoạt động, sản xuất Ngồi hiểu biết tính bền vững mạng điều khiển bảo vệ cải thiện hiệu suất mạng cách hiệu Nghiên cứu nhằm đánh giá tính bền vững mạng truyền thơng hệ thống đa đối tượng cách sử dụng thuật toán đồng thuận dựa lý thuyết đồ thị ứng dụng phương pháp “Augmented Lagrangian based Alternating Direction Inexact Newton” (ALADIN) để đánh giá Từ khóa: Phương pháp ALADIN, tính bền vững mạng, thuật toán đồng thuận, hệ đa đối tượng, lý thuyết đồ thị APPLICATION OF ALADIN METHOD TO SOLVE THE OPTIMAL PROBLEM IN EVALUATING THE SUSTAINABILITY OF COMMUNICATION NETWORK Abstract - Today, with the rapid development of science and technology, people are increasingly researching and manufacturing many systems with high complexity and precision, with many participants joining them to complete the tasks Difficult and dangerous service with high speed and high accuracy In order to control a multi agent systems effectively, in addition to the fast control speed, the robustness of the communication network or its ability to withstand when the system randomly occurs a few Incident is very important It shows the safety and economic efficiency during operation and production In addition, understanding the sustainability of a control network can effectively protect and improve its performance This research aims to evaluate the robustness of communication networks in multi agent systems by using consensus algorithms based on graph theory and applying Augmented Lagrangian based Alternating Direction Inexact Newton (ALADIN) method to evaluate Key words: ALADIN method, network robustness, consensus algorithms, multi agent systems, graph theory v LỜI CẢM ƠN Luận văn hoàn thành hướng dẫn TS Trần Thị Minh Dung Em xin chân thành cám ơn Cơ tận tình hướng dẫn, bảo, tạo điều kiện thuận lợi suốt trình làm Luận văn Em xin chân thành cám ơn quý Thầy Cô Khoa Điện Trường Đại học Bách Khoa Đà Nẵng nhiệt tình giảng dạy, bảo góp ý suốt q trình học tập làm Luận văn Xin cám ơn anh chị lớp K36, bạn bè gia đình ln động viên khích lệ giúp đỡ tơi trình học tập nghiên cứu khoa học Mặc giù cố gắng nhiều Luận văn khơng tránh thiếu sót Kính mong nhận đóng góp ý kiến q Thầy Cơ Hội đồng Khoa học để Luận văn hoàn thiện Em xin trân trọng cảm ơn! vi DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Tập hợp số thực  Tập hợp số thực xác định dương x Vec tơ x xi Phần tử thứ i véc tơ x X Ma trận X XT Chuyển vị ma trận X x Không gian chuẩn x = xT x G Đồ thị G(E, V) V Đỉnh đồ thị, nút hay đối tượng E Cạnh đồ thị, liên kết di Bậc nút i d max Bậc tối đa d max = max d i Ni Hàng xóm nút i N Số nút d(G) Đường kính đồ thị G A Ma trận kề D Bậc ma trận L Ma trận Laplacian sp(L) Phổ Lalacian  Tập hợp giá trị riêng riêng biệt Laplacian i (L) Giá trị riêng thứ i ma trận Laplacian W Ma trận đồng thuận wij Phần tử hàng thứ i cột thứ j ma trận W SG Tập hợp ma trận, SG  W   N N | w ij  0if (i, j ) E and i  j vii 1N Véc tơ cột với tất N phần tử JN 11T Ma trận trung bình, J N  N IN Ma trận đơn vị N N Kv ( Ke ) Đỉnh (cạnh) kết nối  Số spanning trees R Độ phản kháng đồ thị MAS Hệ thống đa đối tượng (multi agent systems) QP Quadratic programming SQP Sequential quadratic programming NLP Nonlinear programming ADMM Alternating direction method of multiplies ALADIN Augmented Lagrangian based alternating direction inexact Newton method  Tham số hiệu chỉnh i Ma trận tỉ lệ bán xác định dương KKT Karush-Kuhn-Tucker viii DANH MỤC CÁC HÌNH Số hiệu Tên hình vẽ hình vẽ Trang 1.1 Cấu trúc chung hệ đa đối tượng 1.2 Điều khiển giao thông thông minh 1.3 Đồng thuận trung bình mạng 1.4 Đồ thị có hướng 14 1.5 Đồ thị vô hướng 14 1.6 Đơn đồ thị vô hướng 15 1.7 Đa đồ thị có hướng 15 1.8 Đồ thị G1 vô hướng sáu nút a) đồ thị năm nút có hướng b) 16 1.9 Biểu đồ bị ngắt kết nối 17 1.10 Biểu đồ bị ngắt kết nối kết nối lại 17 1.11 Biểu đồ hoàn chỉnh 18 1.12 Đồ thị trọng số 21 1.13 Đồ thị thông thường 22 1.14 Đồ thị khoảng cách thông thông thường 22 1.15 Đồ thị Clebsch – đặn 23 1.16 Sơ đồ tính tốn bền vững mạng lưới theo hình thức phân tán 26 4.1 Cấu trúc mạng lưới bốn nút toàn diện 48 4.2 Dạng sóng αk mạng bốn nút tồn diện 50 4.3 Dạng sóng hàm mục tiêu mạng lưới bốn nút toàn diện 51 4.4 Cấu trúc mạng lưới bốn nút 51 4.5 Dạng sóng αk mạng bốn nút 53 4.6 Dạng sóng hàm mục tiêu mạng lưới bốn nút 54 55 KẾT LUẬN VÀ KIẾN NGHỊ Kết luận  Nội dung Luận văn tập trung nghiên cứu thuật toán đồng thuận sử dụng phương pháp tối ưu hóa để tính thơng số sử dụng để đánh giá tính bền vững mạng truyền thơng  Luận văn trình bày hướng đánh giá tính bền vững ứng dụng phương pháp ALADIN Đây phương pháp mới, nhằm giải tốn tối ưu có điều kiện ràng buộc không lồi  Điều kiện ràng buộc hàm không lồi ta dùng phương pháp Lagrange để giải tốc độ hội tụ tốn chậm Ta thấy phương pháp ALADIN cải thiện tốc độ đáp ứng rõ rệt Kiến nghị Luận văn đánh giá tính bền vững đồ thị vơ hướng Hướng phát triển tương lai nghiên cứu đồ thị có hướng 56 TÀI LIỆU THAM KHẢO [1] B Houska, J Frasch, M Diehl An Augmented Lagrangian Based Algorithm for Distributed Non-Convex Optimization SIAM Journal on Optimization, Volume 26(2), pp.1101–1127,2016 [2] L Xiao and S Boyd Fast linear iterations for distributed averaging Systems Control Letters,53:65-78,2004 [3] L Xiao, S Boyd, and S Kim Distributed average consensus with leastmean square deviation Journal on Parallel Distributed Computation, 67(1):33–46, January 07 [4] I Necoara, D Doan, and J A K Suykens, Application of the proximal center decomposition method to distributed model predictive control, in Proceedings of the 47th IEEE Conference on Decision and Control, 2008, pp 2900-2905 [5] L Georgopoulos Definitive consensus for distributed data inference PhD thesis, EPFL, Lausanne, 2011 [6] A Y Kibangou, “Graph Laplacian based matrix design for finite-time distributed average consensus,” in Proc of American Contr Conf., pp.1901-1906, 201 [7] J Ferber Multi-Agent Systems: An Introduction to Distributed Artificial Intelligence Addison-Wesley Longman Publishing Co., Inc., Boston, MA, USA, 1st edition, 1999 [8] R Merris Laplacian matrices of a graph: a survey Linear Algebra and its Applications, 197:143–176, 1994 [9] D P Bertsekas, Nonlinear Programming, 2nd ed., Athena Scientific, Belmont, MA, 1999 [10] I Necoara and J A K Suykens, Application of a smoothing technique to decomposition in convex optimization, IEEE Trans Automat Control, 53 (2008), pp 2674-2679 [11] M Diehl, A Walther, H G Bock, and E Kostina, An adjoint-based SQP algorithm with quasi-Newton Jacobian updates for inequality constrained optimization, Optim Methods Softw., 25 (2010), pp 531-552 [12] J Nocedal and S J Wright, Numerical Optimization, 2nd ed., Springer Ser Oper Res Financ Eng Springer, New York, 2006 [13] S P Han, A globally convergent method for nonlinear programming, J Optim Theory Appl., 22 (1977), pp 297-309 57 [14] A Iusem, Augmented Lagrangian methods and proximal point methods for convex optimization, Investigaci´on Operativa, (1999), pp 11-49 [15] B Lemaire, The Proximal Algorithm, Internat Ser Numer Math., Birkhăauser Verlag, Basel, 1989, pp 73-87 [16] N Parikh and S Boyd, Proximal algorithms, Found Trends Optim., (2013), pp 123-231 [17] A H Dekker and B D Colbert Network robustness and graph topology In Proceedings of the 27th Australasian Conference on Computer Science (ACSC) Volume 26, 2004 [18] J Wu, M Barahona, Y Tan, and H Deng Spectral measure of structural robustness in complex networks IEEE Transactions on Systems, Man and Cybernetics, Part A: Systems and Humans, 41(6):1244–1252, November 2011 [19] M Friedler Algebraic connectivity of graphs Czechoslovak Mathematical Journal, 23:298–305, 1973 [20] W Ellens and R E Kooij Graph measures and network robustness e-version, arXiv, 2013 [21] P Yang, R A Freeman, G Gordon, K Lynch, S Srinivasa, and R Sukthankar Decentralized estimation and control of graph connectivity in mobile sensor networks In Proc of American Control Conference, (ACC), pages 2678 – 2683, June 2008 [22] Thi Minh Dung Tran Methods for fnite-time average consensus protocols design, network robustness assessment and network topology reconstruction PhD Thesis 2015 [23] H Everett, Generalized Lagrange multiplier method for solving problems of optimum allocation of resources, Oper Res., 11 (1963), pp 399-417 [24] P Giselsson and A Rantzer, Distributed model predictive control with suboptimality and stability guarantees, in Proceedings of the 49th IEEE Conference on Decision and Control (CDC), 2010 [25] P Giselsson, M Dang Doan, T Keviczky, B De Schutter, and A Rantzer, Accelerated gradient methods and dual decomposition in distributed model predictive control, Automatica, 49 (2013), pp 829-833 [26] A Rantzer, Dynamic dual decomposition for distributed control, in Proceedings of the 2009 American Control Conference, 2009 pp 884-888 [27] S Richter, M Morari, and C N Jones, towards computational complexity certification for constrained MPC based on Lagrange relaxation and the fast gradient 58 method, in Proceedings of the 50th IEEE Conference on Decision and Control and European Control Conference (CDC-ECC), 2011 [28] H Uzawa, Iterative methods for concave programming, in Studies in Linear and Nonlinear Programming, K Arrow, L Hurwicz, and H Uzawa, eds., 1958, Stanford University Press, Stanford, CA, pp 154-165 [29] H Uzawa, Market mechanisms and mathematical programming, Econometrica, J., 28 (1960), pp 872-881 [30] R Glowinski and A Marrocco, Sur l’approximation, par elements finis d’ordre un, et la resolution, par penalisation-dualite, d’une classe de problems de Dirichlet non lineares, Rev Francaise Automati Inform Recherche Oper., (1975), pp 41-76 [31] D Gabay and B Mercier, A dual algorithm for the solution of nonlinear variational problems via finite element approximations, Comput Math Appl., (1976), pp 17-40 [32] S Boyd, N Parikh, E Chu, B Peleato, and J Eckstein, Distributed optimization and statistical learning via the alternating direction method of multipliers, Found Trends Machine Learning, (2011), pp 1-122 [33] P T Boggs and J W Tolle, Sequential quadratic programming, Acta Numer., (1996), pp 1-51 [34] P Toint, on sparse and symmetric matrix updating subject to a linear equation, Math Comput., 31 (1977), pp 954-961 [35] Q Tran Dinh, I Necoara, and M Diehl, A dual decomposition algorithm for separable nonconvex optimization using the penalty function framework, in Proceedings of the 52nd IEEE Conference on Decision and Control, 2013, pp 2372-2377 [36] R Andreani, E G Birgin, J M Martinez, and M L Schuverdt, On Augmented Lagrangian methods with general lower-level constraints, SIAM J Optim., 18 (2007), pp 1286-1309 [37] J W Chinneck Practical optimization: A gentle introduction Systems and Computer Engineering Carleton University Ottawa, Canada, 2012 ... TRẦN VĂN HỒN ỨNG DỤNG PHƯƠNG PHÁP ALADIN ĐỂ GIẢI BÀI TỐN TỐI ƯU TRONG ĐÁNH GIÁ TÍNH BỀN VỮNG CỦA MẠNG TRUYỀN THÔNG Chuyên ngành: KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA Mã số: 8520216 LUẬN VĂN THẠC... .55 TÀI LIỆU THAM KHẢO 56 iv ỨNG DỤNG PHƯƠNG PHÁP ALADIN ĐỂ GIẢI BÀI TỐN TỐI ƯU TRONG ĐÁNH GIÁ TÍNH BỀN VỮNG CỦA MẠNG TRUYỀN THƠNG Học viên: Trần Văn Hồn Chuyên ngành: Kỹ thuật điều khiển... thuật tốn tính tốn đánh giá bền vững mạng điều khiển Ứng dụng phương pháp ALADIN để đánh giá mạng truyền thông b) Mục tiêu cụ thể  Tính tốn đưa hàm mục tiêu, điều kiện ràng buộc thuật toán, đưa