Phát triển phương pháp luận trích rút hệ luật ngôn ngữ mờ giải bài toán phân lớp, hồi quy dựa trên đại số gia tử

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ PHÁT TRIỂN PHƯƠNG PHÁP LUẬN TRÍCH RÚT HỆ LUẬT NGƠN NGỮ MỜ GIẢI BÀI TOÁN PHÂN LỚP, HỒI QUY DỰA TRÊN ĐẠI SỐ GIA TỬ LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội – 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHỊNG VIỆN KHOA HỌC 3393333 VÀ CƠNG NGHỆ QN SỰ PH ÁT TR IỂ N PH ƯƠ NG PH ÁP LU ẬN TR ÍC H RÚ T HỆ LUẬT NGƠN NGỮ MỜ GIẢI BÀI TOÁN PHÂN LỚP, HỒI QUY D T ĐẠI SỐ GIA TỬ Chuyên ngành: Cơ sở toán học cho tin học Mã số: 46 01 10 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: Hà Nội – 2022 i LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các kết nghiên cứu số liệu trình bày luận án trung thực, chưa cơng bố cơng trình khác, liệu tham khảo trích dẫn đầy đủ Hà Nội, ngày tháng năm 2022 Tác giả luận án ii LỜI CẢM ƠN NCS xin bày tỏ lòng biết ơn sâu sắc tới thầy PGS TSKH TS trực tiếp bảo tận tình hướng dẫn NCS hồn thành luận án NCS xin gửi lời cảm ơn đặc biệt tới TS Hoàng Văn Thơng, TS Phạm Đình Phong thành viên nhóm nghiên cứu Đại số gia tử ln bên cạnh động viên có nhiều hỗ trợ trình nghiên cứu NCS trân trọng cảm ơn Thủ trưởng Viện KH-CN quân sự; Thủ trưởng cán bộ, nhân viên Phòng Đào tạo, Viện KH-CN quân sự; Thủ trưởng, thầy, nhà nghiên cứu thuộc Viện Công nghệ thơng tin, Viện KH-CN qn tận tình giảng dạy, hướng dẫn tạo điều kiện suốt trình học tập, nghiên cứu hồn thành luận án NCS trân trọng cảm ơn Ban Giám hiệu Trường Đại học Giao thông vận tải, Khoa Công nghệ thông tin, đơn vị chức Trường, đồng nghiệp tạo điều kiện suốt thời gian vừa qua để tơi hồn thành nhiệm vụ cơng tác nghiên cứu Cảm ơn gia đình, người thân, bạn bè bên cạnh, động viên, hỗ trợ NCS mặt sống Tác giả luận án iii MỤC LỤC Trang DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT vi DANH MỤC CÁC BẢNG ix DANH MỤC CÁC HÌNH VẼ xi MỞ ĐẦU Chương 1: TỔNG QUAN VỀ TRÍCH RÚT HỆ LUẬT NGƠN NGỮ MỜ GIẢI BÀI TOÁN HỒI QUY VÀ BÀI TOÁN PHÂN LỚP DỰA TRÊN ĐẠI SỐ GIA TỬ 1 Một số khái niệm 1 Tập mờ 1 Biến ngôn ngữ 1 Phân hoạch mờ 1 Khung nhận thức ngôn ngữ Đại số gia tử Miền giá trị biến ngôn ngữ cấu trúc đại số 2 Một số tính chất Đại số gia tử Định lượng Đại số gia tử 10 Hệ khoảng tương tự 12 Đại số gia tử mở rộng 13 Hệ mờ dựa luật 19 Các thành phần hệ mờ 19 Các mục tiêu xây dựng FRBS Tổng quan giải toán phân lớp, hồi quy dựa hệ luật mờ 22 25 Bài toán phân lớp 25 Bài toán hồi quy 26 Các hướng tiếp cận giải toán phân lớp, hồi quy hệ luật mờ 26 4 Phương pháp sinh luật dựa liệu ĐSGT Những vấn đề tồn hướng nghiên cứu 29 33 iv Những vấn đề tồn lý thuyết tập mờ 34 Hướng tiếp cận Đại số gia tử vấn đề tồn 34 Đề xuất hướng nghiên cứu 37 Kết luận chương 37 Chương 2: PHÁT TRIỂN THUẬT TỐN NÂNG CAO ĐỘ CHÍNH XÁC 38 CỦA CÁC HỆ PHÂN LỚP VÀ HỒI QUY DỰA TRÊN ĐẠI SỐ GIA TỬ 38 Thiết kế ngữ nghĩa tính tốn từ biến ngôn ngữ ứng dụng 38 1 Thiết kế ngữ nghĩa tính tốn từ ngơn ngữ dựa hàm S 38 2 Ứng dụng thiết kế phân hoạch mờ dựa hàm S giải toán hồi quy 42 Ứng dụng thiết kế phân hoạch mờ dựa hàm S giải toán phân lớp 51 2 Phát triển thuật toán sinh luật dựa định xây dựng hệ luật mờ giải toán hồi quy 57 2 Thuật toán xây dựng định 58 2 Thuật toán sinh hệ luật ứng cử từ định 59 2 Xây dựng FRBS giải toán hồi quy 60 2 Thực nghiệm đánh giá 65 Nâng cao độ xác hệ phân lớp dựa luật mờ thuật toán đồng tối ưu 68 Thuật toán đồng tối ưu PSO cho hệ phân lớp dựa luật mờ 68 Thực nghiệm thảo luận 74 Kết luận chương 77 Chương 3: PHÁT TRIỂN THUẬT TOÁN THIẾT KẾ HỆ LUẬT NGƠN NGỮ MỜ GIẢI NGHĨA ĐƯỢC VÀ CĨ KHẢ NĂNG MỞ RỘNG 78 GIẢI BÀI TOÁN HỒI QUY DỰA TRÊN ĐẠI SỐ GIA TỬ 78 Biểu diễn ngữ nghĩa tập mờ giải nghĩa tập từ ngơn ngữ 80 1 Khái niệm tính giải nghĩa cấu trúc toán học cấu trúc khác 80 Biểu diễn tập mờ hình thang từ miền từ biến ngơn ngữ tính giải nghĩa chúng Khả mở rộng LFoC cấu trúc tr-MGr biến 81 87 v Khái niệm khả mở rộng LFoC 87 2 Khả mở rộng LFoC 87 3 Khả mở rộng cấu trúc tr-MGr LFoC 90 3 Phát triển thuật toán thiết kế LRBS giải nghĩa mở rộng giải toán hồi quy 93 3 Các nhiệm vụ thuật tốn A thiết kế IS-LRBS 94 3 Thuật tốn tiến hóa đa mục tiêu thiết kế IS-LRBS 97 Nghiên cứu thực nghiệm thảo luận 101 Cài đặt thực nghiệm 101 Các thực nghiệm 102 Kết luận chương 113 KẾT LUẬN 114 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC Đà CƠNG BỐ 116 TÀI LIỆU THAM KHẢO 117 PHỤ LỤC: CÁC TẬP DỮ LIỆU THỰC NGHIỆM P1 PL1 Các tập liệu thực nghiệm cho toán hồi quy P1 PL2 Các tập liệu thực nghiệm cho toán phân lớp P5 vi DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT A Biến ngơn ngữ (thuộc tính ngơn ngữ) �� Đại số gia tử tuyến tính biến ngơn ngữ A ��� � Đại số gia tử mở rộng biến ngơn ngữ A A Một thuật tốn tiến hóa đa mục tiêu IS-LRBS-Design-MOEA �� Cấu trúc bụi ngữ nghĩa biến ngôn ngữ A �� Khung nhận thức ngôn ngữ biến A �(�� ) Khung nhận thức ngôn ngữ biến A với mức đặc tả k fm(x) Độ đo tính mờ x H Tập gia tử |H| Số lượng gia tử H Hen Tập gia tử mở rộng (bổ sung thêm gia tử h0) H+ Tập gia tử dương H- Tập gia tử âm H(x) Tập từ sinh từ x tác động gia tử � Cấu trúc đa thể hình thang biến A � Cấu trúc đa thể hình thang biến A với mức đặc tả k � �� ���,� ℙ Mặt Pareto LRBS thiết kế thuật toán MOEA SA Cấu trúc ngữ nghĩa miền từ ngôn ngữ XA biến A ��� k-section ��� cấu trúc ngữ nghĩa �A �(�) Khoảng tương tự mức k S( kj) Tập khoảng mờ tương tự Aj ℑ(x) Khoảng tính mờ x ℑk(x) Khoảng tính mờ mức k x XA Tập từ ngôn ngữ biến ngôn ngữ A � �� � Tập từ ngôn ngữ biến ngôn ngữ A đại số gia tử mở rộng � �� Tập các từ có độ dài k biến A �(��) Tập từ có độ dài nhỏ k biến A |x| Độ dài từ x vii v(x) Ánh xạ định lượng ngữ nghĩa biến ngơn ngữ A µ(h) Độ đo tính mờ gia tử h AI Trí tuệ nhân tạo (Artificial Intelligence) Comp Độ phức tạp (Complexity) DB Cơ sở liệu (Database) ĐSGT Đại số gia tử (Hedge Algebra) FRBC Hệ phân lớp dựa luật mờ (Fuzzy rule-based classifier) FRBS Hệ dựa luật mờ, Hệ luật mờ (Fuzzy rule-based system) HA Đại số gia tử (Hedge Algebra) enHA Đại số gia tử mở rộng (Enlarge Hedge Algebra) IVQM IS Ánh xạ ngữ nghĩa định lượng giá trị khoảng (Interval-valued Quantifying Mapping) Giải nghĩa có khả mở rộng (Interpretable & Scalable) KB Cơ sở tri thức (Knowledge base) LR Luật ngôn ngữ (Linguistic rule) LRB Cơ sở luật ngôn ngữ (Linguistic rule-based) LRBS Hệ luật mờ ngôn ngữ (Linguistic rule-based system) LFoC Khung nhận thức ngôn ngữ (Linguistic frames of cognition) MG/MGr Đa thể hạt (Multi Granularity) MOGA MOEA Thuật toán di truyền đa mục tiêu (Multi-Object Genetic Algorithm) Thuật tốn tiến hóa đa mục tiêu (Multi-Objective Evolutionary Algorithm) MOO Tối ưu đa mục tiêu (Multi-objective optimization) MOPSO Tối ưu bầy đàn đa mục tiêu (Multi-objective particle swarm optimization) 117 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Thu Anh (2019), “Nghiên cứu tính giải nghĩa hệ mờ theo ngữ nghĩa giới thực”, Luận án tiến sĩ toán học, Học viện Khoa học Công nghệ, Viện Hàn lâm Khoa học Công nghệ Việt Nam [2] Nguyễn Cát Hồ, Nguyễn Văn Long (2003), “Làm đầy đủ đại số gia tử sở bổ sung phần tử giới hạn”, Tạp chí Tin học Điều khiển học, Tập 19(1), tr 62-71 [3] Nguyễn Cát Hồ, Trần Thái Sơn, Dương Thăng Long (2010), “Đại số gia tử hạn chế AX2 (ĐSGT2) ứng dụng cho tốn phân lớp mờ”, Tạp chí Khoa học Công nghệ [4] Dương Thăng Long, Nguyễn Cát Hồ, Trần Thái Sơn (2010), “Một phương pháp xây dựng hệ luật mờ có trọng số để phân lớp dựa đại số gia tử”, Tạp chí Tin học Điều khiển học, Tập 26(1), tr 55-72 [5] Dương Thăng Long (2010), “Phương pháp xây dựng hệ mờ dạng luật với ngữ nghĩa dựa Đại số gia tử ứng dụng toán phân lớp”, Luận án tiến sĩ tốn học, Viện Cơng nghệ thơng tin, Viện Hàn lâm Khoa học Công nghệ Việt Nam [6] Phạm Đình Phong (2017), “Phát triển số phương pháp thiết kế hệ phân lớp sở lý thuyết tập mờ đại số gia tử”, Luận án Tiến sĩ Khoa học máy tính, Trường Đại học Cơng nghệ, Đại học Quốc gia Hà Nội [7] Hồng Văn Thơng (2016), “Nghiên cứu ngữ nghĩa tính tốn từ ngơn ngữ ứng dụng vào việc xây dựng hệ mờ tối ưu dựa luật”, Luận án tiến sĩ toán học, Học viện Khoa học Công nghệ, Viện Hàn lâm KH&CN Việt Nam [8] Hồng Văn Thơng, Nguyễn Cát Hồ, Nguyễn Văn Long (2014), “Một phương pháp sinh hệ luật mờ Mamdani cho toán hồi quy với ngữ nghĩa Đại số gia tử”, Tạp chí Tin học Điều khiển học, Tập 30 (3), tr 227–238 Tiếng Anh [9] F Aghaeipoor, M M Javidi (2019), “On the influence of using fuzzy extensions in linguistic fuzzy rule-based regression systems”, Applied Soft Computing Journal, 79, pp 283–299 [10] F Aghaeipoor, M M Javidi (2019), “MOKBL + MOMs: An interpretable multi-objective evolutionary fuzzy system for learning high-dimensional regression data”, Information Sciences, 496, pp 1–24 118 [11] R Alcalá, M J Gacto, F Herrera, and J Alcalá-Fdez (2007), “A multiobjective genetic algorithm for tuning and rule selection to obtain accurate and compact linguistic fuzzy rule-based systems”, Int J Uncertainty, Fuzziness Knowl -Based Syst , vol 15, no 5, pp 539–557 [12] R Alcalá, J Alcalá-Fdez, F Herrera, J Otero (2007), “Genetic learning of accurate and compact fuzzy rule based systems based on the 2-tuples linguistic representation”, Int J Approx Reason, 44, pp 45–64 [13] R Alcalá, P Ducange, F Herrera, B Lazzerini, and F Marcelloni (2009), “A Multiobjective Evolutionary Approach to Concurrently Learn Rule and Data Bases of Linguistic Fuzzy-Rule-Based Systems”, IEEE Trans on Fuzzy Syst , Vol 17, No pp 1106-1122 [14] R Alcalá, M J Gacto, F Herrera (2011b), A fast and scalable multiobjective genetic fuzzy system for linguistic fuzzy modeling in high dimensional regression problems, IEEE Trans Fuzzy Syst 19 (4) 666–681 [15] J M Alonso, L Magdalena, G González-Rodríguez (2009), “Looking for a good fuzzy system interpretability index: An experimental approach”, Int J Approx Reason 51 pp 115–134 [16] M Antonelli, P Ducange, B Lazzerini, F Marcelloni (2009), “Learning concurrently partition granularities and rule bases of Mamdani fuzzy systems in a multi-objective evolutionary framework”, Int J Approx Reason, 50(7) (a) pp 1066–1080 [17] M Antonelli, P Ducange, B Lazzerini, F Marcelloni (2009), “Multiobjective evolutionary learning of granularity, membership function parameters and rules of Mamdani fuzzy systems”, Evol Intel 2(1–2) pp 21–37 [18] M Antonelli, P Ducange, B Lazzerini, F Marcelloni (2011), “Learning concurrently data and rule bases of Mamdani fuzzy rule-based systems by exploiting a novel interpretability index”, Soft Comput , 15, pp 1981–1998 [19] M Antonelli, P Ducange, F Marcelloni (2013), “An efficient multi-objective evolutionary fuzzy system for regression problems”, Int J Approx Reason, pp 1434–1451 [20] M Antonelli, P Ducange, F Marcelloni (2014), “A fast and efficient multiobjective evolutionary learning scheme for fuzzy rule-based classifiers”, Information Sciences, Vol 283, pp 36–54 [21] Carlos M Fonsecay and Peter J Flemingz (1993), “Genetic Algorithms for Multiobjective Optimization: Formulation, Discussion and Generalization”, 119 Proceedings of the 5th International Conference on Genetic Algorithms, Pages 416-423, Morgan Kaufmann Publishers Inc San Francisco, CA, USA [22] M Cococcioni, P Ducange, B Lazzerini, and F Marcelloni (2007), “A Pareto-based multi-objective evolutionary approach to the identification of Mamdani fuzzy systems”, Soft Comput , vol 11 pp 1013–1031 [23] O Cordón, M J del Jesus, and F Herrera (1998), “Genetic learning of fuzzy rule-based classification systems cooperating with fuzzy reasoning methods”, Int J Intell Syst , vol 13 pp 1025–1053 [24] O Cordón, M J del Jesus, F Herrera (1999), “A proposal on reasoning methods in fuzzy rule-based classification systems”, Int J Approx Reason 20(1) pp 21–45 [25] O Cordón (2011), “A historical review of evolutionary learning methods for Mamdani-type fuzzy rule-based systems: Designing interpretable genetic fuzzy systems”, Int J of Approx Reason , 52 pp 894–913 [26] D W Corne, J D Knowles, M J Oates (2000), “The Pareto EnvelopeBased Selection Algorithm for Multiobjective Optimization”, Lecture Notes in Computer Science Volume 1917 pp 839-848 [27] J Demsar (2006), “Statistical comparisons of classifiers over multiple data sets”, J Mach Learn Res , vol 7, pp 1–30 [28] K Deb, A Pratap, S Agarwal, and T Meyarivan (2002), “A fast and elitist multiobjective genetic algorithm: NSGA-II”, IEEE Trans on Evolutionary Computation (2), pp 182-197 [29] M Elkanoa, M Galara, J Sanza, H Bustince (2018), “CHI-BD: A fuzzy rulebased classification system for Big Data classification problems”, Fuzzy Sets and Systems, Vol 348, pp 75–101 [30] M Fazzolari, B Giglio, R Alcalá, F Marcelloni, F Herrera (2013), “A study on the application of instance selection techniques in genetic fuzzy rule-based classification systems: Accuracy-complexity trade-off”, Knowledge-Based Systems 54, 32-41 [31] A Fernandez, S García, M J del Jesus, F Herrera (2008), “A study of the behavior of linguistic fuzzy rule based classification systems in the framework of imbalanced data sets”, Fuzzy Set and Systems, 159 (18) 2378–2398 [32] M J Gacto, R Alcalá, F Herrera (2008), “Adaptation and Application of Multi-Objective Evolutionary Algorithms for Rule Reduction and Parameter Tuning of Fuzzy Rule-Based Systems”, Soft Computing, Volume 13, Issue pp 419-443 120 [33] M J Gacto, R Alcalá, F Herrera (2011), “Interpretability of Linguistic Fuzzy Rule-Based Systems: An Overview of Interpretability Measures”, Inform Sci , 181:20 pp 4340–4360 [34] M J Gacto, M Galende, R Alcalá, F Herrera (2014), “METSK-HDe: A multiobjective evolutionary algorithm to learn accurate TSK-fuzzy systems in high-dimensional and large-scale regression problems”, Information Sciences 276 63–79 [35] S García, J Derrac, I Triguero, C J Carmona, F Herrera (2012), “Evolutionary-Based Selection of Generalized Instances for Imbalanced Classification”, Knowl -Based Syst, 25:1 pp 3-12 [36] Horn, J (1994), “A niched Pareto genetic algorithm for multiobjective optimization, Evolutionary Computation”, IEEE World Congress on Computational Intelligence , Proceedings of the First IEEE Conference on, 82 87 vol [37] H Ishibuchi, K Nozaki, N Yamamoto, H Tanaka (1995), “Selecting fuzzy if-then rules for classification problems using genetic algorithms”, IEEE Trans Fuzzy Syst 3(3) pp 260–270 [38] H Ishibuchi (1996), “Multi-Objective Genetic Local Search (MOGLS), Evolutionary Computation”, Proceedings of IEEE International Conference on, 20-22 May 1996, pp 119 – 124 [39] H Ishibuchi, T Nakashima, T Morisawa (1999), “Voting in fuzzy rule-based systems for pattern classification problems”, Fuzzy Sets Syst 103(2) pp 223–238 [40] H Ishibuchi and T Yamamoto (2004), “Fuzzy Rule Selection by MultiObjective Genetic Local Search Algorithms and Rule Evaluation Measures in Data Mining”, Fuzzy Sets and Systems Vol 141, No (2004), pp 59-88, [41] H Ishibuchi and T Yamamoto (2005), “Rule weight specification in fuzzy rule-based classification systems”, IEEE Trans on Fuzzy Systems, vol 13, no pp 428-435 [42] H Ishibuchi, Y Nojima (2007), “Analysis of interpretability-accuracy tradeoff of fuzzy systems by multiobjective fuzzy genetics-based machine learning”, Int J Approx Reason , vol 44, no pp 4–31 [43] H Ishibuchi, Y Nojima (2013), “Repeated double cross-validation for choosing a single solution in evolutionary multi-objective fuzzy classifier design”, Knowl -based Syst 54 pp 22–31 [44] L Kevin and S Olivier (2006), “Fuzzy Histograms and Density Estimation”, Advances in Soft Computing, Springer Berlin, ISSN 1615-3871, pp 45-52 121 [45] J D Knowles and D W Corne (2000), “Approximating the non dominated front using the Pareto archived evolution strategy”, Evol Comput , vol 8, no pp 149–172 [46] V López, A Fernández, M J del Jesus, F Herrera (2013), “A hierarchical genetic fuzzy system based on genetic programming for addressing classification with highly imbalanced and borderline data-sets”, Knowl -Based Syst 38 pp 85– 104 [47] E H Mamdani, S Assilian (1975),, “An experiment in linguistic synthesis with a fuzzy logic controller”, Int J Man-Mach Stud pp 1–13 [48] E G Mansoori, M J Zolghadri, and S D Katebi (2008), “SGERD: A SteadySate Genetic Algorithm for Extracting Fuzzy Classification Rules From Data”, IEEE Trans on fuzzy syst , Vol 16, No pp 1061-1071 [49] A A Márquez, F A Márquez, A M Roldán, A Peregrín (2013), “An efficient adaptive fuzzy inference system for complex and high dimensional regression problems in linguistic fuzzy modeling”, Knowl -Based Syst 54 pp 42–52 [50] C Mencar, A M Fanelli (2008), “Interpretability constraints for fuzzy information granulation”, Inform Sci 178 pp 4585–4618 [51] C Mencar, C Castiello, R Cannone, A M Fanelli (2011), “Interpretability assessment of fuzzy knowledge bases: a cointension based approach”, Int J Approx Reason 52 pp 501–518 [52] G A Miller (1956), “The magical number seven plus or minus two: some limits on our capacity for processing information”, The Psychological Review 63, pp 81–97 [53] D Nauck (2003), “Measuring interpretability in rule-based classification systems”, Proceed of the 12th IEEE Int Conf on Fuzzy Syst , vol pp 196– 201 [54] C H Nguyen and W Wechler (1990), “Hedge algebras: an algebraic approach to structures of sets of linguistic domains of linguistic truth variables”, Fuzzy Sets and Syst , 35(3) pp 281-293 [55] C H Nguyen and W Wechler (1992), “Extended algebra and their application to fuzzy logic”, Fuzzy Sets and Syst , vol 52 pp 259–281 [56] C H Nguyen and N V Huynh (2002), “An algebraic approach to linguistic hedges in Zadeh's fuzzy logic”, Fuzzy Sets and Syst , vol 129 pp 229-254 [57] C H Nguyen (2007), “A topological completion of refined hedge algebras and a model of fuzziness of linguistic terms and hedges”, Fuzzy Sets and Syst , vol 158 pp 436-451 122 [58] C H Nguyen and V L Nguyen (2007), “Fuzziness measure on complete hedges algebras and quantifying semantics of terms in linear hedge algebras”, Fuzzy Sets and Syst , vol 158 pp 452-471 [59] C H Nguyen, W Pedryczb, T L Duong, T S Tran (2013), “A genetic design of linguistic terms for fuzzy rule based classifiers”, Int J Approx Reason , 54 1–2 [60] C H Nguyen, V N Huynh, W Pedrycz (2014), “A Construction of Sound Semantic Linguistic Scales Using 4-Tuple Representation of Term Semantics”, Int J Approx Reason , 55 763–786 [61] C H Nguyen, T S Tran, D P Pham (2014), “Modeling of a semantics core of linguistic terms based on an extension of hedge algebra semantics and its application”, Knowl-Based Syst , Vol 67 pp 244-262 [62] C H Nguyen, V T Hoang, V L Nguyen (2015), “A discussion on interpretability of linguistic rule base systems and its application to solve regression problems”, Knowledge-Based Systems, Vol 88, 107-133 [63] C H Nguyen, T S Tran, V T Hoang, V L Nguyen (2017), “LFoCInterpretability of Linguistic Rule Based Systems and its Applications To Solve Regression Problems”, International Journal of Computer Technology & Applications, Vol 8(2), 94-117 [64] Cat Ho Nguyen, Jose M Alonso (2017), “Looking for a real-world-semanticsbased approach to the interpretability of fuzzy systems”, Conference: IEEEInternational Conference on Fuzzy Systems, 9-12/07, Naples, Italia, DOI: 10 1109/FUZZ-IEEE 2017 8015562 [65] Cat Ho Nguyen, Thi Lan Pham, Tu N Nguyen, Cam Ha Ho, Thu Anh Nguyen (2021), “ The linguistic summarization and the interpretability, scalability of fuzzy representations of multilevel semantic structures of word-domains” , Microprocessors and Microsystems 81 103641 (ISSN 1872-9436) [66] J V de Oliveira (1999), “Semantic constraints for membership function optimization”, IEEE Trans Syst , Man, and Cyber – Part A: Syst and Hum 29 pp 128–138 [67] J V de Oliveira (1999), “Towards neuro-linguistic modeling: constraints for optimization of membership functions”, Fuzzy Sets and Syst 106 pp 357–380 [68] P D Phong, N C Ho, N T Thuy (2013), “Multi-objective Particle Swarm Optimization Algorithm and its Application to the Fuzzy Rule Based Classifier Design Problem with the Order Based Semantics of Linguistic Terms”, In proceeding of RIVF 2013, November, Hanoi, Vietnam, pp 12 – 17 123 [69] M Pota, M Esposito, G D Pietro (2017), “Designing rule-based fuzzy systems for classification in medicine”, Knowledge-Based Systems, Vol 124, pp 105–132 [70] P Pulkkinen and H Koivisto (2008), “Fuzzy classifier identification using decision tree and multiobjective evolutionary algorithms”, Int J Approx Reason , vol 48, no pp 526–543 [71] P Pulkkinen and H Koivisto (2010), “A Dynamically constrained multiobjective genetic fuzzy system for regression problems”, IEEE Trans on fuzzy syst , Vol 8, No pp 161-177 [72] I Rodríguez-Fdez, M Mucientes (2013), “A Bugarín, An Instance Selection Algorithm for Regression and its Application in Variance Reduction”, Fuzzy Systems (FUZZ), IEEE International Conference, pp 1-8 [73] M Soui, I Gasmi, S Smiti, K Ghédira (2019), “Rule-based credit risk assessment model using multi-objective evolutionary algorithms”, Expert Systems With Applications, Vol 126, pp 144–157 [74] N Srinivas and Kalyanmoy Deb (1994), “Muiltiobjective Optimization Using Nondominated Sorting in Genetic Algorithms”, Journal Evolutionary Computation, Vol 2, No 3, pp 221-248 [75] A Tarski, A Mostowski, R Robinson (1953), “Undecidable Theories”, North-Holland [76] K Trawinski, O Cordón, L Sánchez, A Quirin (2013), “Multiobjective Genetic Classifier Selection For Random Oracles Fuzzy Rule-Based Classifier Ensembles: How Beneficial Is The Additional Diversity”, Knowl -based Syst 54 pp 3-21 [77] D Vukadinović, M Bašić, C H Nguyen, N L Vu, T D Nguyen (2014), “Hedge-Algebra-Based Voltage Controller for a Self-Excited Induction Generator”, Contr Engin Pract , 30 pp 78–90 [78] L X Wang, J M Mendel (1992), “Generating fuzzy rules by learning from examples, IEEE Trans Syst Man Cybern 22 (6), pp 1414–1427 [79] L A Zadeh (1965), “Fuzzy set”, Information and control, 8, pp 338-353 [80] L A Zadeh (1975), “The concept of a linguistic variable and its application to approximate reasoning”, Parts I, II and III Inform Sci 8, 8, 9, pp 199–249, pp 301–357, pp 43–80 [81] L A Zadeh (1999), “From computing with numbers to computing with words – from manipulation of measurements to manipulation of perceptions”, IEEE Trans on Circuits and Syst – I: Fund Theory and Applic 45 (1) pp 105–119 124 [82] L A Zadeh (2000) , “Fuzzy sets and fuzzy information granulation theory – key selected papers”, Beijing Normal University Press, China [83] H J Zimmermann (1991), “Fuzzy sets theory and its applications”, 2nd Ed , Kluwer Acad Pub , USA [84] E Zitzler, M Laumanns, and L Thiele (2001), “SPEA2: Improving the strength Pareto evolutionary algorithms”, TIK-Report 103, Computer Engineering and Networks Laboratory (TIK), Swiss Federal Institute of Technology (ETH) Zurich [85] S M Zhou, J Q Gan (2008), “Low-level interpretability and high-level interpretability: a unified view of data-driven interpretable fuzzy system modelling”, Fuzzy Sets and Systems 159 pp 3091–3131 P1 PHỤ LỤC CÁC TẬP DỮ LIỆU THỰC NGHIỆM Phụ lục trình bày tập liệu tốn sử dụng thực nghiệm luận án Các tập liệu lấy từ http://www keel es/ tập liệu đông đảo cộng đồng nghiên cứu sử dụng để thử nghiệm công bố PL1 Các tập liệu thực nghiệm cho toán hồi quy Bảng PL1 1: Các tập liệu mẫu sử dụng thực nghiệm cho toán hồi quy STT Tập liệu Ký hiệu Electrical Length ELE1 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Plastic Strength Quake Electrical Maintenance Friedman Auto MPG6 Delta Ailerons Daily Electricity Energy Delta Elevators Analcat Auto MPG8 Abalone California Housing Concrete Compressive Strength Stock prices Weather Ankara Weather Izmir MV artificial domain Forest Fires Mortgage Treasury Baseball House-16H Elevators PLA QUA ELE2 FRIE MPG6 DELAIL DEE DELELV ANA MPG8 ABA CAL CON STP WAN WIZ MV FOR MOR TRE BAS HOU ELV Số thuộc tính (Real/Int) Số mẫu liệu (1/1) 495 (2/0) (2/1) (4/0) (5/0) (2/3) (5/0) (6/0) (5/1) (7/0) (2/5) (7/1) (3/5) (7/1) (9/0) (9/0) (9/0) 10 (7/3) 12 (7/5) 15 (15/0) 15 (15/0) 16 (1/14) 16 (10/6) 18 (14/4) 1650 2178 1056 1200 398 7129 365 9517 4052 398 4177 20,640 1030 950 1609 1461 40,768 517 1049 1049 337 22,784 16599 P2 STT 25 26 27 28 Tập liệu Computer Activity Pole Telecommunications Pumadyn Ailerons Ký hiệu CA POLE PUM AIL Số thuộc tính (Real/Int) Số mẫu liệu 21 (21/0) 26 (26/0) 32 (32/0) 40 (36/4) 8192 14998 8192 13750 Một số mô tả thêm tập liệu ELE1: tập liệu liên quan đến việc tìm mơ hình liên quan đến tổng chiều dài đường dây hạ lắp đặt thị trấn nông thôn với số dân thị trấn giá trị trung bình khoảng cách từ trung tâm thị trấn đến ba khách hàng xa Mơ hình sử dụng để ước tính tổng chiều dài đường dây trì Tập liệu có biến đầu vào Inhabitants, Distance đầu Length với khơng gian tìm kiếm nhỏ (độ phức tạp nhỏ) Tuy nhiên tốn thú vị hệ thống phi tuyến số liệu có nhiễu Do mơ hình thực phức tạp PLA: Là tập liệu hồi quy nhiệm vụ tính tốn áp suất chịu miếng nhựa định tác dụng lên độ mạnh nhiệt độ cố định QUA: Tập liệu hồi quy nhiệm vụ ước tính sức mạnh trận động đất dựa độ sâu tiêu điểm, vĩ độ kinh độ ELE2: Ước tính chi phí bảo trì tối thiểu mạng điện tối ưu Bài tốn bao gồm bốn biến đầu vào tập liệu có sẵn bao gồm số ví dụ đại diện phân phối tốt Trong trường hợp này, phương pháp học tập mong đợi thu số quy tắc đáng kể Do đó, vấn đề liên quan đến khơng gian tìm kiếm lớn (độ phức tạp cao) FRIE: Đây tập liệu điểm chuẩn tổng hợp Friedman đề xuất vào năm 1991 Các trường hợp tạo phương pháp sau: Tạo giá trị thuộc tính, X1, , X5 cách độc lập, thuộc tính phân phối đồng [0 0, 0] Nhận giá trị biến mục tiêu Y công thức: y = 10 (sin (PI) x1x2) +20 (x3-0,5)2 + 10x4 + 5x5 + e e nhiễu ngẫu nhiên Gaussian N (0,1) MPG6: Dữ liệu liên quan đến chu kỳ tiêu thụ nhiên liệu thành phố tính theo dặm cho gallon (mpg), dự đốn rời rạc multivalued thuộc tính liên tục (hai đa giá trị thuộc tính rời rạc (xi lanh Origin) từ tập liệu ban đầu (autoMPG6) loại bỏ) Tập liệu phiên sửa đổi chút tập liệu cung cấp thư viện StatLib Cùng với việc Ross Quinlan (1993) sử dụng việc dự đốn thuộc tính Mpg, DELAIL: điều khiển ailerons (máy bay F16) có thuộc tính đầu vào: RollRate, PitchRate, curPitch, currRoll, diffRollRate, thuộc tính đầu Sa P3 DEE: Vấn đề liên quan đến việc dự đốn giá trung bình hàng ngày TkWhe lượng điện Tây Ban Nha Bộ liệu chứa giá trị thực từ năm 2003 mức tiêu thụ lượng hàng ngày Tây Ban Nha từ thủy điện, điện hạt nhân, carbon, nhiên liệu, khí tự nhiên nguồn lượng đặc biệt khác DELELV: dự đoán hành động thực thang máy máy bay với thuộc tính đầu vào: climbRate, Altitude, RollRate, curRoll, diffClb, diffDiffClb đầu Se 10 ANA: Đây tập liệu sử dụng sách "Phân tích liệu phân loại" Jeffrey S Simonoff, Springer-Verlag, New York, 2003 Dữ liệu chứa thông tin phân tích thực tịa án tối cao 11 MPG8: Tương tự tập liệu MPG6 có thuộc tính, có giá trị rời rạc giá trị liên tục 12 ABA: Dự đoán tuổi bào ngư từ phép đo vật lý Tuổi bào ngư xác định cách cắt vỏ qua hình nón đếm số lượng vịng qua kính hiển vi Các phép đo khác, dễ lấy hơn, sử dụng để dự đốn tuổi Có thể cần thêm thơng tin, chẳng hạn kiểu thời tiết vị trí (do có sẵn thức ăn) để giải vấn đề 13 CAL: Tập liệu chứa thông tin tất nhóm khối California từ Điều tra dân số năm 1990 Trong mẫu này, trung bình nhóm khối bao gồm 1425,5 cá thể sống khu vực địa lý nhỏ hẹp Nhiệm vụ lấy gần giá trị ngơi nhà trung bình khối với giá trị phần lại biến 14 CON: Bê tông vật liệu quan trọng cơng trình dân dụng Cường độ nén bê tơng hàm phi tuyến tính tuổi thành phần Các thành phần bao gồm xi măng, xỉ lò cao, tro bay, nước, phụ gia siêu dẻo, cốt liệu thô cốt liệu mịn 15 STP: Dữ liệu cung cấp giá cổ phiếu hàng ngày từ tháng năm 1988 đến tháng 10 năm 1991, mười công ty hàng không vũ trụ Nhiệm vụ tính gần giá cơng ty thứ 10 với giá người lại 16 WAN: Tập tin chứa thông tin thời tiết Ankara từ ngày 01/01/1994 đến ngày 28/05/1998 Từ tính cho, mục tiêu dự đốn nhiệt độ trung bình 17 WIZ: Tập tin chứa thông tin thời tiết Izmir từ ngày 01/01/1994 đến ngày 31/12/1997 Từ đặc điểm cho, mục tiêu dự đoán nhiệt độ trung bình 18 MV: Đây tập liệu nhân tạo có phụ thuộc giá trị thuộc tính Các trường hợp tạo phương pháp cố định 19 FOR: Đây nhiệm vụ hồi quy khó, với mục đích dự đốn khu vực cháy rừng bị thiêu rụi, khu vực đông bắc Bồ Đào Nha, cách sử dụng khí tượng liệu khác P4 20 MOR: Tệp chứa thông tin liệu kinh tế Hoa Kỳ từ 01/04/1980 đến 02/04/2000 hàng tuần Từ tính định, mục tiêu dự đoán Tỷ lệ chấp thông thường 30 năm 21 TRE: Tệp chứa thông tin liệu kinh tế Hoa Kỳ từ 01/04/1980 đến 02/04/2000 hàng tuần Từ tính cho, mục tiêu dự đoán Tỷ lệ CD tháng 22 BAS: Tập liệu chứa mức lương năm 1992 nhóm cầu thủ Giải bóng chày nhà nghề chơi trận hai mùa giải 1991 1992, không bao gồm vận động viên ném bóng Đối với người chơi, số thước đo hiệu suất cung cấp với bốn biến phân loại cho biết mức độ tự người chuyển đến đội khác Trong trường hợp này, nhiệm vụ tính gần mức lương người chơi 23 HOU: Cơ sở liệu thiết kế sở liệu Cục điều tra dân số Hoa Kỳ cung cấp Dữ liệu thu thập phần điều tra dân số năm 1990 Hoa Kỳ Đây chủ yếu số lượng tích lũy cấp độ khảo sát khác Nhiệm vụ dự đốn giá trung bình ngơi nhà khu vực dựa thành phần nhân học tình trạng thị trường nhà khu vực 24 ELV: Tập liệu có từ nhiệm vụ điều khiển máy bay F16, biến mục tiêu thuộc tính khác với miền ailerons Trong trường hợp này, biến mục tiêu liên quan đến hành động thực thang máy máy bay 25 CA: Tập liệu Hoạt động Máy tính tập hợp thước đo hoạt động hệ thống máy tính Dữ liệu thu thập từ Sun Sparcstation 20/712 với 128 Mbyte nhớ chạy khoa đại học nhiều người dùng Nhiệm vụ dự đoán tỷ lệ sử dụng biến, phần thời gian mà cpus chạy chế độ người dùng 26 POLE: Đây ứng dụng thương mại mô tả Weiss & Indurkhya (1995) (http://www cs su oz au/~nitin) Dữ liệu mô tả cố viễn thông 27 PUM: Tập liệu tổng hợp từ mô thực tế động lực học cánh tay robot Unimation Puma 560 Nhiệm vụ tập liệu dự đốn gia tốc góc liên kết cánh tay robot Các đầu vào bao gồm vị trí góc, vận tốc mômen cánh tay robot Tập liệu bao gồm họ tập liệu, tạo riêng cho mơi trường delve tập liệu riêng lẻ trải dài góc khối có kích thước đại diện cho: - Số lượng đầu vào (32) - Mức độ phi tuyến tính (khá tuyến tính phi tuyến tính) - Lượng tiếng ồn đầu (vừa phải cao) 28 AIL: Tập liệu giải vấn đề điều khiển, cụ thể lái máy bay F16 Các thuộc tính mơ tả trạng thái máy bay, mục tiêu dự đoán hành động điều khiển cánh quạt máy bay P5 PL2 Các tập liệu thực nghiệm cho toán phân lớp Bảng PL1 2: Các tập liệu mẫu sử dụng thực nghiệm cho toán phân lớp STT Tập liệu Ký hiệu Số thuộc tính (Real/Int/Nominal) Số lớp Số mẫu liệu Appendicitis App (7/0/0) 106 Australian Aus 14 (3/5/6) 690 Bands Ban 19 (//) 365 Bupa Bup (1/5/0) 345 Cleveland Cle 13 (13/0/0) 297 Dermatology Der 34 (0/34/0) 358 Glass Gla (9/0/0) 214 Haberman Hab (0/3/0) 306 Hayes-roth Hay (//) 160 10 Heart Hea 13 (1/12/0) 270 11 Hepatitis Hep 19 (2/17/0) 80 12 Ionosphere Ion 34 (//) 351 13 Iris Iri (4/0/0) 150 14 Mammographic Mam (0/5/0) 830 15 Newthyroid New (//) 215 16 Pima Pim (8/0/0) 768 17 Saheart Sah (5/3/1) 462 18 Sonar Son 60 (60/0/0) 208 19 Tae Tae (0/5/0) 151 20 Vehicle Veh 18(0/18/0) 846 21 Wdbc Wdb 30 (//) 569 22 Wine Win 13 (13/0/0) 178 23 Wisconsin Wis (0/9/0) 683 Sau mô tả ngắn gọn đặc điểm tập liệu bảng trên: Tập liệu Appendicitis có thuộc tính (có giá trị từ 0,0 đến 1,0) biểu diễn tiêu chuẩn y tế thực qua 106 bệnh nhân, nhãn lớp tương ứng biểu thị bệnh nhân bị không bị việm ruột thừa P6 Australian tập liệu ứng dụng thẻ tín dụng Tất thuộc tính chuyển thành ký hiệu khơng có nghĩa nhằm bảo vệ liệu mật Tập liệu Bands liên quan đến in quay với nhiệm vụ xác định phần định có phải dải hình trụ hay khơng Tập liệu Bupa liên quan đến việc phân tích số rối loạn chức gan phát sinh từ uống rượu mức Năm thuộc tính đầu tất xét nghiệm máu cho nhạy cảm với rối loạn chức gan Thuộc tính cuối số lượng panh (tương đương với nửa lít) rượu uống ngày Tập liệu Cleveland liên quan đến bệnh tim gồm 14 thuộc tính với nhiệm vụ dị xét diện bệnh tim bệnh nhân Nhãn lớp số nguyên từ (không diện) đến Dermatology tập liệu chẩn đoán bệnh vảy ban đỏ Bệnh nhân trước tiên đánh giá lâm sàng với 12 thuộc tính sau mẫu da lấy để đánh giá với 22 thuộc tính mơ học Thuộc tính lịch sử gia đình có giá trị bệnh quan sát thấy gia đình có giá trị trường hợp ngược lại Ngồi thuộc tính tuổi, tất thuộc tính khác có mức độ khoảng từ đến Giá trị thuộc tính khơng diện, giá trị lớn 1, giá trị trung gian tương đối Tập liệu Glass dùng để phân lớp loại kính tìm thấy trường tội phạm xác định theo hàm lượng ơxít (K, Na, Fe, Al, …) Tập liệu Haberman bao gồm ca từ nghiên cứu thực từ năm 1958 đến năm 1970 Đại học Chicago's Billings Hospital sống sót bệnh nhân sau phẫu thuật ung thư vú Việc phân lớp liệu nhằm xác định bệnh nhân sống thêm từ năm trở lên (“positive”) hay năm (“negative”) Hayes-roth tập liệu nhân tạo có thuộc tính dùng để thử nghiệm hệ phân lớp dựa nguyên mẫu (prototype classifier) 10 Tập liệu Heart có 13 thuộc tính dùng để phát bệnh nhân bị bệnh tim (nhãn 2) hay không bị bệnh tim (nhãn 1) 11 Tập liệu Hepatitis có 19 thuộc tính chứa đựng thông tin bệnh nhân bị ảnh hưởng bệnh viêm gan 12 Ionosphere tập liệu đa thu thập hệ Goose Bay, Labrador Hệ bao gồm dàn 16 ăng ten mảng pha tần số cao với tổng công suất phát 6,4KW Mục tiêu electron tự tầng điện ly Ra đa trả lại nhãn “Good” cho chứng vài cấu trúc tầng điện ly, ngược lại nhãn “Bad” khơng, tức tín hiệu xuyên qua tầng điện ly P7 13 Iris tập liệu phân loại hoa diên vĩ bao qua thuộc tính độ dài độ rộng đài hoa cánh hoa Mỗi nhãn lớp ứng với loại hoa Iris Setosa, Iris Versicolour Iris Virginica 14 Mammographic tập liệu sử dụng để dự đoán mức độ nghiêm trọng (lành tính ác tính) khối X quang vú dựa thuộc tính BI-RADS tuổi bệnh nhân 15 Newthyroid tập liệu tuyến giáp sử dụng để phát bệnh nhân bình thường (nhãn 1), có hoạt động mức (nhãn 2) hay giảm hoạt động (nhãn 3) tuyến giáp 16 Pima tập liệu cho phép phân phụ nữ có độ tuổi 21 thành hai nhóm: bị đái tháo đường (tested_positive) chưa bị đái tháo đường (tested_negative) 17 Saheart tập liệu giúp xác định người có bị mắc bệnh tim mạch vành (postive) hay không (negative) 18 Sonar tập liệu chứa tín hiệu thu từ nhiều góc độ khác nhau, trải 90 độ cho mỏ quặng 180 độ cho đá Mỗi mẫu liệu gồm 60 thuộc tính có giá trị từ 0,0 đến 1,0, đó, giá trị số biểu thị lượng bên dài tần số định, tích hợp với qua quãng thời gian định Nhãn R M thể đối tượng phát đá khối kim loại 19 Tae tập liệu đánh giá hiệu suất giảng dạy qua học kỳ bình thường kỳ hè 151 trợ lý giảng dạy Khoa thống kê, Đại học Wisconsin-Madison Kết đánh giá gồm loại ứng với nhãn: low (1), medium (2) high (3) 20 Vehicle tập liệu dùng để phân loại hình bóng cụ thể cho bốn loại xe (van, saab, bus, opel) sử dụng tập đặc trưng trích xuất từ hình bóng Xe nhìn từ góc độ khác 21 Wdbc tập liệu bao gồm 30 thuộc tính tính tốn từ ảnh số hút kim nhỏ khối vú Chúng mô tả đặc điểm nhân tế bào xuất ảnh nhằm phát khối u lành tính (B) hay ác tính (M) 22 Wine tập liệu dùng để phân loại rượu qua việc phân tích định lượng 13 thành phần tìm thấy trong ba loại rượu 23 Wisconsin bao gồm liệu ca phẫu thuật ung thư vú nghiên cứu tiến hành Đại học Wisconsin Hospitals, Madison nhằm xác định khối u phát lành tính (nhãn 2) hay ác tính (nhãn 4) ... Tổng quan giải toán phân lớp, hồi quy dựa hệ luật mờ 22 25 Bài toán phân lớp 25 Bài toán hồi quy 26 Các hướng tiếp cận giải toán phân lớp, hồi quy hệ luật mờ 26 4 Phương pháp sinh luật dựa liệu... việc trích rút hệ luật mờ cho toán phân lớp hồi quy nên mục trình bày số phương pháp lập luận xấp xỉ dựa hệ luật mờ giải hai toán Hệ luật mờ sử dụng để giải toán phân lớp gọi hệ luật mờ phân. .. dụng làm sở lý luận luận án, hệ dựa luật ngôn ngữ mờ ứng dụng giải toán phân lớp, toán hồi quy dựa luật ngôn ngữ, khái niệm vai trò đại số gia tử Dựa phân tích ưu, nhược điểm phương pháp thiết kế