Trong chương này, luận án tập trung nghiên cứu vấn đề giải nghĩa được và khả năng mở rộng của các LRBS được trích rút từ tập dữ liệu giải bài toán hồi quy. Tính giải nghĩa được của LRBS theo định nghĩa của Taski trong [75]. Theo định nghĩa này đòi hỏi các LRBS được thiết kế phải giải quyết được bài toán nội dung của các luật mờ và luật ngôn ngữ, tức là chúng ta phải có Cont(rL) = Cont (rFuz) (trong môi trường mờ).
Luận án đưa ra một số khái niệm trên cấu trúc tr-MGr và cấu trúc ngữ nghĩa
SA của một thuộc tính, trên cơ sở đó, luận án đã chứng tỏ rằng phương pháp biểu diễn cấu trúc tập mờ tr-MGr của các LFoC được xây dựng dựa trên ĐSGT mở rộng giải nghĩa được theo định nghĩa của Tarski trong toán học và logic. Luận án cũng chứng tỏ các LFoC và cấu trúc tr-MGr của chúng là có thể mở rộng được.
Luận án đề xuất một thuật toán MOEA kí hiệu là A thực hiện trích rút LRBS từ tập dữ liệu giải bài toán hồi quy, trong đó, các LRBS giải nghĩa được và có thể mở rộng theo yêu cầu của người sử dụng bằng cách mở rộng khung nhận thức ngôn ngữ LFoC và mở rộng LRB. Các kết quả thực nghiệm thuật toán được so sánh với
các phương pháp tiếp cận theo tập mờ EIT2In-FRBS3 [9], MOKLB+MOMs [10],
PKB [13], FSMOGFSe
+TUNe[14], METSK-HDe [34] và phương pháp tiếp cận ĐSGT đã được đề xuất trước đây trong HA-PAES-MG-Kmax[62]. Kết quả so sánh chứng tỏ rằng phương pháp thiết kế đề xuất trong luận án cho kết quả tốt hơn. Và chứng tỏ bài toán nội dung của các luật mờ và luật ngôn ngữ của LRBS được thiết kế đã được giải quyết, tức là Cont(rL) = Cont (rFuz) (trong môi trường mờ).
Các kết quả nghiên cứu đã được công bố trong công trình [CT5] và đang được hoàn thiện thêm để công bố trong công trình [CT6].
KẾT LUẬN
Bài toán phân lớp và hồi quy là hai trong số những bài toán có tính ứng dụng thực tiễn cao trong phát triển các ứng dụng AI. Hiện nay, chúng ta có nhiều hướng tiếp cận khác nhau để giải quyết các bài toán này. Luận án tiếp cận dựa trên lý thuyết tập mờ và ĐSGT để giải quyết bằng cách phát triển các phương pháp luận, thuật toán để trích rút các LRBS từ tập mẫu dữ liệu của bài toán. Mục tiêu là xây dựng được các LRBS có độ chính xác cao, giải nghĩa được và mở rộng được. Với mục tiêu này, luận án đã hoàn thành mục tiêu đề ra và đạt được những kết quả chính bao gồm:
- Nghiên cứu một phương pháp thiết kế ngữ nghĩa tính toán của từ dạng tập mờ dựa trên hàm S và ĐSGT mở rộng, ứng dụng phát triển các thuật toán trích rút các LRBS cho bài toán phân lớp (FRBC_S), hồi quy (EnHA-PAES-SF). Kết quả thực nghiệm trên các bài toán mẫu cho thấy các LRBS được xây dựng có độ chính xác phân lớp và hồi quy tốt hơn so với các thuật toán sử dụng ngữ nghĩa dựa trên tập mờ dạng hình thang, tam giác.
- Nghiên cứu một phương pháp sinh luật dựa trên hệ khoảng tính mờ tương tự được xác định bằng ĐSGT và cây quyết định C4.5. Áp dụng phương pháp sinh luật này, luận án phát triển một thuật toán có tên là HA-De-PAES trích rút LRBS giải bài toán hồi quy. Kết quả thực nghiệm cho thấy các LRBS được xây dựng không bị giảm độ chính xác so với các LRBS được trích rút từ các thuật toán được so sánh trong khi nó làm giảm số lượng luật phải xem xét đồng thời giúp làm giảm thời gian tối ưu hệ luật.
- Nghiên cứu, đề xuất một thuật toán đồng tiến hóa (HACO) xây dựng LRBS cho bài toán phân lớp với các tham số ngữ nghĩa của ĐGST và cơ sở luật của LRBS được tối ưu hóa đồng thời. Kết quả thử nghiệm chứng tỏ thuật toán đề xuất xây xựng
được các LRBS có độ chính xác cao hơn các thuật toán được so sánh.
-Phát triển một phương pháp luận về tính giải nghĩa được và mở rộng được
của của LFoC và cấu trúc tr-MGr được xây dựng dựa trên ĐSGT mở rộng. Áp dụng đề xuất thuật toán tiến hóa đa mục tiêu IS-LRBS-Design-MOEA, kí hiệu là A, thiết kế các LRBS có tính giải nghĩa được theo định nghĩa của Tarski trong lĩnh vực toán học và logic, đồng thời có khả năng mở rộng được.
- Đề xuất một phương pháp thiết kế ngữ nghĩa dựa trên tập mờ có dạng hình chữ S, đại số gia tử mở rộng và ứng dụng phát triển hai thuật toán trích rút hệ luật mờ ngôn ngữ (LRBS) giải bài toán phân lớp và bài toán hồi quy [CT1, CT3].
- Đề xuất thuật toán HA-De-PAES trích rút LRBS dựa trên ĐSGT và cây quyết định để giải bài toán hồi qui [CT2]. Đề xuất thuật toán HACO đồng tiến hóa các tham số ngữ nghĩa và lựa chọn luật tối ưu cho hệ phân lớp dựa trên luật mờ [CT4].
- Đề xuất phương pháp luận thiết kế hệ luật mờ ngôn ngữ dựa trên ĐSGT mở rộng đảm bảo giải nghĩa được theo định nghĩa của Tarski trong toán logic và có khả năng mở rộng khi các khung nhận thức ngôn ngữ (LFoC) tăng lên nhưng không làm thay đổi cấu trúc ngữ nghĩa hiện có. Phát triển một thuật toán tiến hóa đa mục tiêu, IS-LRBS-Design-MOEA, để thực hiện trích rút LRBS từ tập dữ liệu giải bài toán hồi quy mà các LRBS là giải nghĩa được và có khả năng mở rộng [CT5, CT6].
Hướng nghiên cứu tiếp theo
- Phương pháp luận thiết kế LRBS có tính giải nghĩa và khả năng mở rộng có thể được phát triển mở rộng cho một số bài toán đang được quan tâm nghiên cứu như bài toán phân lớp, tóm tắt ngôn ngữ từ dữ liệu số, trích rút luật kết hợp, dự báo chuỗi thời gian, ...Ngoài ra, thuật toán thiết kế LRBS có tính giải nghĩa và khả năng mở rộng sử dụng phương pháp tối ưu (2+2)M-PAES với kỹ thuật sinh luật ngẫu nhiên từ mẫu dữ liệu và thuộc tính. Do đó, với tập dữ liệu có nhiều mẫu và số thế hệ huấn luyện không đủ lớn để khám phá ra tập luật có khả năng phủ toàn bộ tập dữ liệu dẫn đến có thể bỏ sót một số luật tốt. Một thuật toán tốt hơn cần được nghiên cứu để nâng cao chất lượng của các LRBS được trích rút, trong đó có thể kết hợp một số kỹ thuật khác nhau trong khai phá dữ liệu như trích chọn đặc trưng, sàng luật, ...
- Nghiên cứu khắc phục hiện tượng quá khớp khi huấn luyện với một số bài
toán, phát triển các thuật toán xử lý bài toán có tính phức tạp như có dữ liệu không cân bằng, số mẫu dữ liệu lớn, số thuộc tính lớn, .…
DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ
[CT1] Hoàng Văn Thông, Nguyễn Đức Dư, Nguyễn Cát Hồ “Một phương pháp thiết kế ngữ nghĩa dạng tập mờ của từ ngôn ngữ dựa trên đại số gia tử mở rộng và
ứng dụng xây dựng FRBS giải bài toán hồi quy”, Chuyên san Các công trình
nghiên cứu, phát triển và ứng dụng Công nghệ thông tin và Truyền thông, Tập V-2, Số 18 (38), 2017. DOI: https://doi.org/10.32913/rd-ict.vol2.no38.527
[CT2] Nguyễn Đức Dư, Hoàng Văn Thông, “Một phương pháp sinh luật mờ dựa
trên cây quyết định và đại số gia tử xây dựng hệ luật mờ giải bài toán hồi
quy”, Chuyên san Các công trình nghiên cứu, phát triển và ứng dụng Công
nghệ thông tin và Truyền thông, Tập 2019 Số 2. DOI: https://doi.org/10.32913/mic- ict-research-vn.v2019.n2.901
[CT3] Nguyễn Đức Dư, Phạm Đình Phong, Phạm Đình Vũ, Nguyễn Đức Thảo,
“Một phương pháp thiết kế ngữ nghĩa tính toán của các từ ngôn ngữ giải bài toán phân lớp dựa trên hệ luật mờ”, Chuyên san Các công trình nghiên cứu, pháttriển và ứng dụng Công nghệ thông tin và Truyền thông, Tập 2020 Số 1. DOI: https://doi.org/10.32913/mic-ict-research-vn.v2020.n1.914
[CT4] Nguyễn Đức Dư, Phạm Đình Phong, “A co-optimization PSO for Fuzzy
Rule-based Classifier Design Problem based on Enlarged Hedge Algebras”, Periodica Polytechnica Electrical Engineering and Computer Science, Vol. 65 No. 4 (2021). DOI: https://doi.org/10.3311/PPee.16141 (Scopus indexed, Scimagojr-Q4).
[CT5] Nguyễn Đức Dư, Hoàng Văn Thông, Phạm Đình Phong, Nguyễn Cát Hồ, “Một phương pháp xây dựng hệ dựa trên luật mờ có khả năng mở rộng giải bài toán hồi quy”, Chuyên san Khoa học Tự nhiên - Kỹ thuật - Công nghệ, Tạp chí Khoa học và Công nghệ, Đại học Thái Nguyên, T.226, S.11 (2021).
DOI: https://doi.org/10.34238/tnu-jst.4811
[CT6] Van Thong Hoang, Cat Ho Nguyen, Duc Du Nguyen, Dinh Phong Pham, Van Long Nguyen, “The interpretability and scalability of linguistic-rule-based
systems for solving regression problems”, International Journal of Approximate
Reasoning. Submited: 09/09/2021, Hiện đang sửa chữa theo yêu cầu của Phản biện và Ban biên tập tạp chí.
TÀI LIỆU THAM KHẢO
Tiếng Việt
[1] Nguyễn Thu Anh (2019), “Nghiên cứu tính giải nghĩa được của hệ mờ theo ngữ
nghĩa thế giới thực”, Luận án tiến sĩ toán học, Học viện Khoa học và Công
nghệ,Viện Hàn lâm Khoa học và Công nghệ Việt Nam.
[2] Nguyễn Cát Hồ, Nguyễn Văn Long (2003), “Làm đầy đủ đại số gia tử trên cơ sở bổ sung các phần tử giới hạn”, Tạp chí Tin học và Điều khiển học, Tập 19(1), tr 62-71.
[3] Nguyễn Cát Hồ, Trần Thái Sơn, Dương Thăng Long (2010), “Đại số gia tử hạn chế AX2 (ĐSGT2) và ứng dụng cho bài toán phân lớp mờ”, Tạp chí Khoa học và Công nghệ.
[4] Dương Thăng Long, Nguyễn Cát Hồ, Trần Thái Sơn (2010), “Một phương pháp xây dựng hệ luật mờ có trọng số để phân lớp dựa trên đại số gia tử”, Tạp chí Tin học và Điều khiển học, Tập 26(1), tr 55-72.
[5] Dương Thăng Long (2010), “Phương pháp xây dựng hệ mờ dạng luật với ngữ
nghĩa dựa trên Đại số gia tử và ứng dụng trong bài toán phân lớp”, Luận án tiến sĩ toán học, Viện Công nghệ thông tin, Viện Hàn lâm Khoa học và Công nghệ Việt Nam.
[6] Phạm Đình Phong (2017), “Phát triển một số phương pháp thiết kế hệ phân lớp trên cơ sở lý thuyết tập mờ và đại số gia tử”, Luận án Tiến sĩ Khoa học máy tính,
Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội.
[7] Hoàng Văn Thông (2016), “Nghiên cứu ngữ nghĩa tính toán của từ ngôn ngữ và
ứng dụng vào việc xây dựng hệ mờ tối ưu dựa trên luật”, Luận án tiến sĩ toán
học,Học viện Khoa học và Công nghệ, Viện Hàn lâm KH&CN Việt Nam.
[8] Hoàng Văn Thông, Nguyễn Cát Hồ, Nguyễn Văn Long (2014), “Một phương pháp sinh hệ luật mờ Mamdani cho bài toán hồi quy với ngữ nghĩa Đại số gia tử”,
Tạp chí Tin học và Điều khiển học, Tập 30 (3), tr. 227–238.
Tiếng Anh
[9] F. Aghaeipoor, M. M. Javidi (2019), “On the influence of using fuzzy extensions in linguistic fuzzy rule-based regression systems”, Applied Soft Computing Journal, 79, pp 283–299.
[10]F. Aghaeipoor, M. M. Javidi (2019), “MOKBL + MOMs: An interpretable multi-objective evolutionary fuzzy system for learning high-dimensional regression data”, Information Sciences, 496, pp 1–24.
[11]R. Alcalá, M. J. Gacto, F. Herrera, and J. Alcalá-Fdez (2007), “A multi- objective genetic algorithm for tuning and rule selection to obtain accurate and compact linguistic fuzzy rule-based systems”, Int. J. Uncertainty, Fuzziness Knowl.-Based Syst., vol. 15, no. 5, pp. 539–557.
[12]R. Alcalá, J. Alcalá-Fdez, F. Herrera, J. Otero (2007), “Genetic learning of accurate and compact fuzzy rule based systems based on the 2-tuples linguistic representation”, Int. J. Approx. Reason, 44, pp. 45–64.
[13] R. Alcalá, P. Ducange, F. Herrera, B. Lazzerini, and F. Marcelloni (2009), “A
Multiobjective Evolutionary Approach to Concurrently Learn Rule and Data Bases of Linguistic Fuzzy-Rule-Based Systems”, IEEE Trans. on Fuzzy Syst., Vol. 17, No. 5 pp. 1106-1122.
[14]R. Alcalá, M.J. Gacto, F. Herrera (2011b), A fast and scalable multiobjective genetic fuzzy system for linguistic fuzzy modeling in high dimensional regression problems, IEEE Trans. Fuzzy Syst. 19 (4) 666–681.
[15]J. M. Alonso, L. Magdalena, G. González-Rodríguez (2009), “Looking for a good fuzzy system interpretability index: An experimental approach”, Int. J. Approx. Reason. 51 pp. 115–134.
[16]M. Antonelli, P. Ducange, B. Lazzerini, F. Marcelloni (2009), “Learning concurrently partition granularities and rule bases of Mamdani fuzzy systems in a multi-objective evolutionary framework”, Int. J. Approx. Reason, 50(7) (a) pp. 1066–1080.
[17]M. Antonelli, P. Ducange, B. Lazzerini, F. Marcelloni (2009), “Multi-objective evolutionary learning of granularity, membership function parameters and rules of Mamdani fuzzy systems”, Evol. Intel. 2(1–2) pp. 21–37.
[18]M. Antonelli, P. Ducange, B. Lazzerini, F. Marcelloni (2011), “Learning concurrently data and rule bases of Mamdani fuzzy rule-based systems by exploiting a novel interpretability index”, Soft Comput., 15, pp. 1981–1998. [19]M. Antonelli, P. Ducange, F. Marcelloni (2013), “An efficient multi-objective evolutionary fuzzy system for
regression problems”, Int. J. Approx. Reason, pp. 1434–1451.
[20]M. Antonelli, P. Ducange, F. Marcelloni (2014), “A fast and efficient multi- objective evolutionary learning scheme for fuzzy rule-based classifiers”,
Information Sciences, Vol. 283, pp. 36–54.
[21]Carlos M. Fonsecay and Peter J. Flemingz (1993), “Genetic Algorithms for Multiobjective Optimization: Formulation, Discussion and Generalization”,
Proceedings of the 5th International Conference on Genetic Algorithms, Pages 416-423, Morgan Kaufmann Publishers Inc. San Francisco, CA, USA.
[22]M. Cococcioni, P. Ducange, B. Lazzerini, and F. Marcelloni (2007), “A Pareto- based multi-objective evolutionary approach to the identification of
Mamdani fuzzy systems”, Soft Comput., vol. 11 pp. 1013–1031.
[23]O. Cordón, M. J. del Jesus, and F. Herrera (1998), “Genetic learning of fuzzy rule-based classification systems cooperating with fuzzy reasoning methods”,
Int. J. Intell. Syst., vol. 13 pp. 1025–1053.
[24]O. Cordón, M. J. del Jesus, F. Herrera (1999), “A proposal on reasoning methods in fuzzy rule-based classification systems”, Int. J. Approx. Reason. 20(1) pp. 21–45.
[25] O. Cordón (2011), “A historical review of evolutionary learning methods for Mamdani-type fuzzy rule-based systems: Designing interpretable genetic fuzzy systems”, Int. J. of Approx. Reason., 52 pp. 894–913.
[26]D. W. Corne, J. D. Knowles, M. J. Oates (2000), “The Pareto Envelope-Based Selection Algorithm for Multiobjective Optimization”, Lecture Notes in Computer Science Volume 1917 pp. 839-848.
[27]J. Demsar (2006), “Statistical comparisons of classifiers over multiple data sets”, J. Mach. Learn. Res., vol. 7, pp. 1–30.
[28]K. Deb, A. Pratap, S. Agarwal, and T. Meyarivan (2002), “A fast and elitist multiobjective genetic algorithm: NSGA-II”, IEEE Trans. on Evolutionary Computation 6 (2), pp. 182-197.
[29]M. Elkanoa, M. Galara, J. Sanza, H. Bustince (2018), “CHI-BD: A fuzzy rule- based classification system for Big Data classification problems”, Fuzzy Sets and Systems, Vol. 348, pp. 75–101.
[30]M. Fazzolari, B. Giglio, R. Alcalá, F. Marcelloni, F. Herrera (2013), “A study on the application of instance selection techniques in genetic fuzzy rule-based classification systems: Accuracy-complexity trade-off”, Knowledge-Based Systems 54, 32-41.
[31]A. Fernandez, S. García, M.J. del Jesus, F. Herrera (2008), “A study of the behavior of linguistic fuzzy rule based classification systems in the framework of imbalanced data sets”, Fuzzy Set and Systems, 159 (18) 2378–2398.
[32] M. J. Gacto, R. Alcalá, F. Herrera (2008), “Adaptation and Application of Multi-Objective Evolutionary Algorithms for Rule Reduction and Parameter Tuning of Fuzzy Rule-Based Systems”, Soft Computing, Volume 13, Issue 5 pp. 419-443.
[33] M.J. Gacto, R. Alcalá, F. Herrera (2011), “Interpretability of Linguistic Fuzzy Rule-Based Systems: An Overview of Interpretability Measures”,
Inform. Sci., 181:20 pp. 4340–4360.
[34] M.J. Gacto, M. Galende, R. Alcalá, F. Herrera (2014), “METSK-HDe: A multiobjective evolutionary algorithm to learn accurate TSK-fuzzy systems in high-dimensional and large-scale regression problems”, Information Sciences
276 63–79.
[35] S. García, J. Derrac, I. Triguero, C.J. Carmona, F. Herrera (2012),
“Evolutionary-Based Selection of Generalized Instances for Imbalanced
Classification”, Knowl.-Based Syst, 25:1 pp. 3-12.
[36]Horn, J. (1994), “A niched Pareto genetic algorithm for multiobjective optimization, Evolutionary Computation”, IEEE World Congress on Computational Intelligence., Proceedings of the First IEEE Conference on, 82 - 87 vol.1
[37]H. Ishibuchi, K. Nozaki, N. Yamamoto, H. Tanaka (1995), “Selecting fuzzy if- then rules for classification problems using genetic algorithms”, IEEE Trans. Fuzzy Syst. 3(3) pp. 260–270.
[38] H. Ishibuchi (1996), “Multi-Objective Genetic Local Search (MOGLS), Evolutionary Computation”, Proceedings of IEEE International Conference on, 20-22 May 1996, pp. 119 – 124.
[39]H. Ishibuchi, T. Nakashima, T. Morisawa (1999), “Voting in fuzzy rule-based systems for pattern classification problems”, Fuzzy Sets Syst 103(2) pp. 223–238.
[40] H. Ishibuchi and T. Yamamoto (2004), “Fuzzy Rule Selection by Multi- Objective Genetic Local Search Algorithms and Rule Evaluation Measures in Data Mining”, Fuzzy Sets and Systems Vol.141, No.1 (2004), pp. 59-88,.
[41]H. Ishibuchi and T. Yamamoto (2005), “Rule weight specification in fuzzy rule- based classification systems”, IEEE Trans. on Fuzzy Systems, vol. 13, no. 4 pp. 428-435.
[42]H. Ishibuchi, Y. Nojima (2007), “Analysis of interpretability-accuracy tradeoff of fuzzy systems by multiobjective fuzzy genetics-based machine learning”, Int. J. Approx. Reason., vol.44, no.1 pp. 4–31.
[43]H. Ishibuchi, Y. Nojima (2013), “Repeated double cross-validation for choosing a single solution in evolutionary multi-objective fuzzy classifier design”,
Knowl.-based Syst.54 pp. 22–31.
[44] L. Kevin and S. Olivier (2006), “Fuzzy Histograms and Density Estimation”,
[45]J. D. Knowles and D.W. Corne (2000), “Approximating the non dominated front using the Pareto archived evolution strategy”, Evol. Comput., vol. 8, no. 2 pp. 149–172.
[46]V. López, A. Fernández, M.J. del Jesus, F. Herrera (2013), “A hierarchical genetic fuzzy system based on genetic programming for addressing classification with highly imbalanced and borderline data-sets”, Knowl.-Based Syst. 38 pp. 85– 104.
[47]E.H. Mamdani, S. Assilian (1975),, “An experiment in linguistic synthesis with a fuzzy logic controller”, Int. J. Man-Mach. Stud. 7 pp. 1–13.
[48]E.G. Mansoori, M.J. Zolghadri, and S.D. Katebi (2008), “SGERD: A Steady- Sate Genetic Algorithm for Extracting Fuzzy Classification Rules From Data”,
IEEE Trans. on fuzzy syst., Vol 16, No. 4 pp. 1061-1071.
[49]A.A. Márquez, F.A. Márquez, A.M. Roldán, A. Peregrín (2013), “An efficient adaptive fuzzy inference system for complex and high dimensional regression problems in linguistic fuzzy modeling”, Knowl.-Based Syst. 54 pp. 42–52.
[50]C. Mencar, A.M. Fanelli (2008), “Interpretability constraints for fuzzy information granulation”, Inform. Sci. 178 pp. 4585–4618.
[51]C. Mencar, C. Castiello, R. Cannone, A.M. Fanelli (2011), “Interpretability assessment of fuzzy knowledge bases: a cointension based approach”, Int. J. Approx. Reason. 52 pp. 501–518.
[52]G.A. Miller (1956), “The magical number seven plus or minus two: some limits on our capacity for processing information”, The Psychological Review 63, pp. 81–97.
[53]D. Nauck (2003), “Measuring interpretability in rule-based classification systems”, Proceed. of the 12th IEEE Int. Conf. on Fuzzy Syst., vol. 1 pp. 196– 201
[54]C.H. Nguyen and W. Wechler (1990), “Hedge algebras: an algebraic approach to structures of sets of linguistic domains of linguistic truth variables”, Fuzzy Sets and Syst., 35(3) pp. 281-293.