CẢI THIỆN MÔ HÌNH MỜ HƯỚNG DỮ LIỆU TSK VỚI TRI THỨC TIÊN NGHIỆM.TRƯỜNG ĐẠI HỌC KHOA HỌC,ĐẠI HỌC HUẾ

TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, Trường Đại học Khoa học, ĐH Huế Tập 12, Số (2018) CẢI THIỆN MƠ HÌNH MỜ HƯỚNG DỮ LIỆU TSK VỚI TRI THỨC TIÊN NGHIỆM Nguyễn Đức Hiển1, Lê Mạnh Thạnh2 Trường Đại học Khoa học, Đại học Huế Email: hiencit@gmail.com Email: lmthanh@hueuni.edu.vn Ngày nhận bài: 26/12/2017; ngày hoàn thành phản biện: 9/01/2018; ngày duyệt đăng: 8/6/2018 TÓM TẮT Bằng cách thỏa mãn điều kiện đề đồng hàm đầu mơ hình mờ TSK (Takagi – Sugeno – Kang) máy học véc-tơ hỗ trợ hồi quy, xây dựng thuật tốn cho phép trích xuất mơ hình mờ TSK từ máy học véc-tơ hỗ trợ Những nghiên cứu trước cho thấy mơ hình mờ trích xuất tồn hạn chế chất định Bài báo đề xuất mơ hình mờ dựa tích hợp tri thức tiên nghiệm với mơ hình mờ TSK trích xuất từ máy học véc-tơ hỗ trợ cho toán dự báo hồi quy Mơ hình tiếp cận theo hướng trích xuất tập luật mờ “có thể diễn dịch được” cho hệ dự báo dựa kết hợp mơ hình máy học thống kê Bằng cách tích hợp tri thức tiên nghiệm với mơ hình mờ dựa SVM (Support Vector Machine), hệ thống luật mờ trích xuất giảm tính phức tạp Hiệu giải pháp đề xuất đánh giá thông qua kết thực nghiệm có so sánh với số mơ hình khác Từ khóa: mơ hình mờ; mơ hình mờ TSK; luật mờ; máy học véc-tơ hỗ trợ; máy học véc-tơ hỗ trợ hồi quy; tri thức tiên nghệm ĐẶT VẤN ĐỀ Mơ hình mờ biết đến mơ hình hiệu việc xử lý thông tin mơ hồ khơng chắn, đồng thời thể lợi rõ ràng việc biểu diễn xử lý tri thức Hoạt động mơ hình mờ phụ thuộc chủ yếu vào hệ thống luật mờ q trình suy diễn tập luật mờ Đã có nhiều tác giả nghiên cứu đề xuất phương thức để xây dựng mơ hình mờ hướng liệu Nhìn chung giải pháp chủ yếu dựa kỹ thuật khai phá liệu, mơ hình máy học thống kê như: Neural Network [6][7][8], Support Vector 39 Cải thiện mơ hình mờ hướng liệu TSK với tri thức tiên nghiệm Machine (SVM) [1][4][5][11][12][16], Self Organizing Map (SOM) [8], Cây định [15], Đại số gia tử [17], thuật toán Phân cụm, Phân lớp, Hồi quy,… [3][6] Việc trích xuất tập luật mờ tự động từ liệu thông qua học máy có nhiều khiếm khuyết liệu ngẫu nhiên bị lỗi (nhiễu), thiếu tính đặc trưng, thiếu tính bao phủ Vì vậy, việc hiểu tập luật để hiệu chỉnh, bổ sung, tối ưu hóa thật cần thiết Các nghiên cứu nhằm tích hợp tri thức chun gia với mơ hình mờ hướng liệu tìm thấy [2][9][12][13] Tuy nhiên với tập luật có số lượng lớn việc hiểu diễn dịch chúng, đồng thời phân tích tích hợp chúng với tri thức có tính chất tinh túy chuyên gia, thật khó khăn Phân cụm tập luật đề xuất [16] giải pháp cho vấn đề đơn giản hóa tập luật mơ hình mờ hướng liệu Nghiên cứu lý thuyệt học dựa tri thức [14] cho thấy kiểu khác tri thức tiên nghiệm (a priori knowledge) sử dụng để cải thiện hiệu mơ hình máy học nói chung mơ hình mờ nói riêng Bài báo tập trung nghiên cứu kịch tích hợp tri thức tiên nghiệm việc học mơ hình mờ để cải thiện mơ hình mờ hướng liệu trích xuất Các phần báo bao gồm: phần tìm hiểu nguồn tri thức tiên nghiệm việc học mơ hình mờ Trong phần 3, chúng tơi trình bày kịch khác vệc tính hợp tri thức tiên nghiệm việc học mơ hình mờ Phần trình bày số kết thực nghiệm với số ví dụ tích hợp tri thức tiên nghiệm việc huấn luyện mơ hình mờ Cuối cùng, phần 5, nêu lên số kết luận định hướng nghiên cứu CÁC NGUỒN TRI THỨC TIÊN NGHIỆM TRONG VIỆC HỌC MƠ HÌNH MỜ Tri thức tiên nghiệm hệ thống nghiên cứu nhiều dạng khác Một khác biệt tri thức mơ hình tri thức mơ tả chế hoạt động mơ hình tri thức tinh túy có từ kinh nghiệm chuyên gia Cả hai kiểu khác tri thức kết hợp với mơ hình mờ [9] Tri thức qui trình sẵn có đưcọ sửu dụng để mơ tả hệ thống phi tuyến phức tạp thu thập giản đơn, ví dụ hệ thống tuyến tính có giá trị chế độ hoạt động định Những thơng tin mã hóa dạng qui tắc mờ Các biến đặc trưng cho thay đổi các chế độ hoạt động trở thành phần đối tượng hệ thống qui tắc mờ, hàm thành viên định nghĩa để xác định cho mơ hình thành phần miền định Đối với vấn đề mơ hình hóa hệ thống, kiểu khác tri thức tiên nghiệm gồm có: 40 TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, Trường Đại học Khoa học, ĐH Huế Tập 12, Số (2018) - Tầm quan trọng liệu: nhiều ứng dụng thực tế, mẫu liệu định ngoại lai số bị nhiễu Do vậy, mơ hình xây dựng từ liệu bị nhiễu hay ổn định - Hành vi máy học: q trình học tập, khơng gian giả thuyết máy học cần hạn chế trước Ví dụ, mơ hình mạng nơ-ron hồi quy, người ta phải xác định nguyên mẫu vấn đề hồi quy thiết kế trước cấu trúc liên kết mạng mạng nơ-ron - Mục tiêu máy học: tiêu chí ổn định, độ bền vững, thời gian khởi động, thời gian thiết lập kiến thức phải có trước cho nhà thiết kế hệ thống CÁC KỊCH BẢN HỌC CÓ TRI THỨC TIÊN NGHIỆM Trong phần chứng tỏ vai trò tri thức tiên nghiệm với việc học mơ hình mờ Ở cần làm rõ mối quan hệ logic giả thuyết (Hypothesis), mô tả mẫu (Descriptions) (dưới dạng thuộc tính), kết dự đốn (Predictions) Cho Descriptions hội tất mô tả mẫu tập huấn luyện, cho Predictions hội tất tiên đốn Khi đó, Hypothesis “giải thích quan sát” phải thỏa mãn điều kiện sau (ký hiệu ╞ có nghĩa kế thừa logic) [14]: Hypothesis ˄ Descriptions╞ Predictions Xét trường hợp học mô hình mờ, định nghĩa khái niệm Hypothesis sau: Định nghĩa (Hypothesis) Cho D={X,Y} tập liệu huấn luyện (các quan sát), mơ hình mờ M gọi Hypothesis điều kiện sau thỏa mãn: (∀X ∈ D) (M(X)=Y) Ở nội dung giải thích định nghĩa phương thức học mơ hình mờ theo [14]: Học dựa giải thích (EBL – Explanation-bassed learning), Học dựa thích hợp (RBL – Relevance-based learning) Học quy nạp dựa tri thức (KBIL – Knowledge-based inductive learning) 3.1 Học dựa giải thích (EBL) Phương pháp học EBL phương thức trích xuất luật mờ chung từ quan sát riêng lẻ Ý tưởng EBL sử dụng tri thức tiên nghiệm để xây dựng cấu trúc ban đầu Hypothesis, sau xác lập Hypothesis thức dựa vào quan sát thực nghiệm Cụ thể theo định nghĩa [14] sau: Background╞ Hypothesis Hypothesis ˄ Descriptions╞ Predictions 41 Cải thiện mơ hình mờ hướng liệu TSK với tri thức tiên nghiệm Hình mô tả phương pháp học EBL Xét trường hợp học mơ hình mờ, EBL định nghĩa sau: Định nghĩa (EBL) Cho B tri thức mơ hình mờ M Khi đó, thuật toán A gọi thuật toán học EBL thỏa mãn điều kiện sau: B ╞ M, (∀X∈D)(M(X)=Y) a priori knowledge Explanation-based learning Hypotheses Observations Predictions Hình Mơ hình học EBL Theo phương pháp học này, việc học mơ hình mờ việc lựa chọn trước nguyên mẫu phân lớp hay hồi quy cho mơ hình, sau tiến hành huấn luyện mơ hình, xem hình thức học EBL 3.2 Học dựa thích hợp (RBL) Theo phương pháp học này, tri thức tiên nghiệm kết hợp với quan sát thực nghiệm phép máy học rút qui tắc giải thích cho thực nghiệm [14]: Background ˄ Descriptions ˄ Predictions ╞ Hypothesis Hypothesis ˄ Descriptions╞ Predictions a priori knowledge Relevance-based learning Observations Hypotheses Hình Mơ hình học RBL 42 Predictions TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, Trường Đại học Khoa học, ĐH Huế Tập 12, Số (2018) Hình mơ tả phương thức học RBL Xét trường hợp học mơ hình mờ RBL định nghĩa sau: Định nghĩa (RBL) Cho B kiến thức mơ hình mờ M Một thuật toán A gọi thuật toán học RBL điều kiện sau thỏa mãn: (∀X∈D)(M(X)=Y), B˄Y╞ M Theo phương pháp học này, việc học mơ hình mờ việc sử dụng tri thức liên quan việc xác định cấu trúc mơ hình, thuộc tính chức mơ hình đề cải thiện độ vững mơ hình 3.3 Học quy nạp dựa tri thức (KBIL) KBIL phương thức học theo kiểu gia tăng, tri thức tiên nghiệm giả thiết học kết hợp với để giải thích cho thực nghiệm Cụ thể theo định nghĩa [14] sau: Background ˄ Hypothesis ˄ Descriptions ╞ Predictions a priori knowledge khởi tạo/tinh luyện Hypotheses Observations Knowledge-based inductive learning Hypotheses huấn luyện Predictions Hình Mơ hình học KBIL Hình mơ tả phương pháp học KBIL Theo phương pháp này, ban đầu tri thức quan sát thực nghiệm dùng để đưa Hypotheses ban đầu Sau đó, kết hợp quan sát thực nghiệm tri thức để củng cố Hypotheses để gia tăng tính xác dự đốn Xét trường hợp học mơ hình mờ KBIL định nghĩa sau: Định nghĩa (KBIL) Cho B kiến thức mơ hình mờ M Một thuật toán A gọi thuật toán học KBIL điều kiện sau thỏa mãn: (∀X∈D)(B˄M(X)=Y) 43 Cải thiện mơ hình mờ hướng liệu TSK với tri thức tiên nghiệm Chú ý rằng, Hypotheses sinh dựa vào KBIL phải phù hợp với tri thức tiên nghiệm với quan sát thực nghiệm mới, phạm vi Hypotheses thu gọn để chứa quy tắc thật biết Do vậy, trường hợp học mơ hình mờ, việc áp dụng thuật tốn tối ưu hóa mơ gradient descent hình thức học dựa vào KBIL, Hypotheses (mơ hình) tăng dần thích nghi theo q trình học phạm vi Hypotheses thu gọn để phù hợp với phản hồi từ quan sát thực nghiệm Một số kết thực nghiệm bàn luận Ở nghiên cứu thực nghiệm xây dựng mơ hình mờ TSK sở trích xuất tập luật mờ từ máy học véc-tơ hỗ trợ hồi quy (kịch EBL); có tối ưu hóa tham số hàm thành viên Gauss mơ hình phương pháp Gradient descent (kịch KBIL), tối ưu hóa cấu trúc mơ hình cách thay đổi tham số ε rút gọn luật mờ tương tự (kịch RBL) Sơ đồ khối mơ hình thực nghiệm biểu diễn hình Environment Training data Support Vector Structure Learning determining the suitable support vectors incremental design Support Vector Parameter Learning for nomalization normalized support vectors Optimization optimized structure & parameters TSK fuzzy model Hình Mơ hình thực nghiệm trích xuất mơ hình mờ TSK từ SVM 4.1 Ví dụ mơ hình hồi qui phi tuyến Để chứng tỏ hiệu tri thức tiên nghiệm việc huấn luyện mơ hình mờ, chúng tơi tích hợp tri thức tiên nghiệm cấu trúc mơ hình vào mơ hình mờ TSK trích xuất từ máy học véc-tơ hỗ trợ (SVMs) [16], cụ thể thông qua việc điều chỉnh tham số ε giới hạn số lượng SVs; số lượng 44 TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, Trường Đại học Khoa học, ĐH Huế Tập 12, Số (2018) luật mờ trích xuất Chúng tiến hành thực nghiệm giải toán hồi quy phi tuyến sau: sin⁡(x) Sinc(x) = { x ⁡⁡⁡if⁡x ≠ o ⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡(1) 1⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡if⁡x = Tập liệu huấn luyện xác định phạm vi từ -3π đến +3π Trong trình xác định cấu trúc SVM, sử dụng tham số ε để điều chỉnh số lượng SVs Chúng cố định tham số C =10 Khi giá trị ε=0.0, có 50 SVs nhận từ mơ hình, đồng nghĩa với việc nhận 50 luật Sau chúng tơi tăng giá trị tham số ε lên, ε=0.1, có SVs nhận tương ứng với luật mờ trích xuất Hình thể kết mơ hình thực nghiệm Như điều chỉnh giá trị tham số ε, tức điều chỉnh số lượng SVs để tối ưu hóa vị trí SVs, đồng nghĩa với việc tối ưu hóa phân bố số lượng luật mờ Hình Kết mơ hình tối ưu hóa (RMSE = 0.0183) 4.2 Ví dụ mơ hình dự đốn chuỗi hồi qui hỗn loạn Mackey-Glass Với thực nghiệm muốn chứng tỏ rằng, mơ hình mờ dựa SVMs với tích hợp tri thức tiên nghiệm thật mang lại hiệu Dữ liệu lựa chọn để thử nghiệm liệu chuỗi thời gian Mackey-Glass (Mackey-Glass time series) Dữ liệu chuỗi thời gian Mackey-Glass sinh theo công thức sau [10]: ẋ = ax(t − τ) − cx(t)⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡(2) + x b (t − τ) Trong ta chọn τ=30 , a=0.2, b=10, c=0.1 Với 1000 mẫu liệu sinh ra, 800 mẫu liệu sử dụng để huấn luyện cho máy học Véc-tơ hỗ trợ sinh luật mờ, 200 mẫu liệu lại sử dụng để thử nghiệm suy luận dựa tập luật mờ trích xuất Thuộc tính đầu vào lựa chọn giá trị x(t-1), x(t-2), thuộc tính đầu cần dự đốn giá trị x(t) Như mơ hình có 02 đầu vào 01 đầu Trong thực nghiệm giữ cố định tham số C=10 điều chỉnh giá trị tham số ε=0.1, số lượng SVs tương ứng mơ hình Hình 5b thể phân bố hàm thành viên tương ứng với biến đầu vào x(t-2) 45 Cải thiện mơ hình mờ hướng liệu TSK với tri thức tiên nghiệm (a) (b) Hình Kết dự đoán 200 mẫu liệu thử nghiệm (RMSE = 0.0092) Bên cạnh việc thực nghiệm dự đoán giá trị x(t) liệu thử nghiệm (500 mẫu liệu) sử dụng tập luật mờ sản xuất từ mơ hình đề xuất (mơ hình f-SVM*), chúng tơi thử nghiệm dự đốn liệu với mơ hình đề xuất tác giả khác, bao gồm mơ hình ANFIS, RBF SVM Hiệu mơ hình so sánh đánh giá dựa thông số RMSE, thông số đo lường độ lệch giá trị x(t) thực tế giá trị dự đoán So sánh giá trị RMSE Bảng ta nhận thấy mơ hình f-SVM* cho kết dự đốn tương đương với mơ hình ANFIS tốt so với mơ hình RBF SVM Bảng So sánh kết mơ hình qua thơng số RMSE Số luật mờ 170 Mơ hình áp dụng ANFIS RBF SVM f-SVM*