Đang tải... (xem toàn văn)
Mục tiêu nghiên cứu đề tài là nghiên cứu giải pháp tích hợp các kiểu khác nhau của tri thức với mô hình mờ TSK hướng dữ liệu (data-driven models) trích xuất từ máy học véc-tơ hỗ trợ cho bài toán dự báo hồi quy nhằm cải tiến hiểu quả của mô hình.
ĐẠI HỌC ĐÀ NẴNG TRƯỜNG CĐ CÔNG NGHỆ THÔNG TIN BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP CƠ SỞ NGHIÊN CỨU GIẢI PHÁP TÍCH HỢP CÁC KIỂU KHÁC NHAU CỦA TRI THỨC ĐỂ CẢI TIẾN MƠ HÌNH MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉC-TƠ HỖ TRỢ Mã số: T2016-07-02 Xác nhận quan chủ trì đề tài Chủ nhiệm đề tài Nguyễn Đức Hiển Đà Nẵng, 12/2016 i M C C C C i NH C H NH NH C NH CC C iii NG I HÔNG IN K iv I Q v NGHIÊN CỨ vi Ở ĐẦ 1 quan ính cấp thiết đề tài ục tiêu đề tài Cách tiếp cận phương pháp nghiên cứu Đối tượng phạm vi nghiên cứu Nội dung nghiên cứu Chương C Ở H Ô H NH K À HỌC C- hình mờ 1.1 1.1.1 hình mờ 1.1.2 hình mờ akagi-Sugeno Cơ sở lý thuyết 1.2 amdani áy học éc-tơ hỗ trợ 10 1.2.1 áy học éc-tơ hỗ trợ 10 1.2.2 áy học éc-tơ hỗ trợ cho vấn đề tối ưu hóa hồi qui 12 1.3 ự tương tự máy học éc-tơ hỗ trợ mơ hình mờ 13 1.4 uất luật mờ t li u dựa kết hợp máy học Chương 2 IỆC HỌC Ơ H NH mơ hình 15 ỚI RI HỨC IÊN NGHIỆ 17 trò tri thức tiên nghi m 17 2 Học dựa giải thích (EBL) 18 Học dựa thích hợp (R ) 19 Học quy nạp dựa tri thức (K I ) 20 Chương 3 32 ÍCH HỢP RI HỨC IÊN NGHIỆ ÀO Q R NH HỌC 22 Điều ki n đảm bảo tính “có thể diễn dịch được” mơ hình mờ 22 ích hợp tri thức tiên nghi m mơ hình mờ dựa máy học véc-tơ hỗ trợ 24 Chương Ộ ỐK Q HỰC NGHỆ 27 ii í dụ hồi quy phi tuyến tính 27 Chuỗi thời gian hỗn loạn ackey-Glass 29 H thống orenz 32 K ÀI IỆ ẬN À KI N NGHỊ 35 H KH O i iii DANH M C HÌNH VẼ Hình Cấu trúc mơ hình mờ Hình Hình ảnh phân lớp với SVM 11 Hình Sự tương đương SVM Mơ hình mờ 14 Hình Sơ đồ khối thuật toán f-SVM 16 Hình Mơ hình học EBL 18 Hình Mơ hình học RBL 19 Hình Mơ hình học KBIL 20 Hình Thuật toán SVM-IF 25 Hình Kết mơ hình tối ưu hóa (RMSE = 0.0183) 28 Hình 10 Kết dự đốn 200 mẫu liệu thử nghiệm (RMSE = 0.0092) 31 Hình 11 (a) Kết mơ hình tối ưu hóa (RMSE = 0.0043), (b)(c)(d) Các hàm thành viên tương ứng x(t-1), y(t-1) x(t-1) 33 iv DANH M C BẢNG BIỂU ảng Tập luật trích xuất từ mơ hình tối ưu hóa – 4.1 28 ảng So sánh kết mơ hình qua thơng số RMSE – 4.1 28 ảng Diễn dịch ngôn ngữ cho luật bảng 29 ảng Tập luật trích xuất 800 mẫu liệu huấn luyện – 4.2 30 ảng So sánh kết mơ hình qua thông số RMSE – 4.2 31 ảng Tập luật trích xuất 500 mẫu liệu huấn luyện – 4.3 32 ảng So sánh kết mơ hình qua thơng số RMSE – 4.3 34 v DANH M C CÁC TỪ VIẾT TẮT SVM Support Vector Machine SOM Self Organizing Map GA Genetic Algorithm EBL explaination-based learning RBL relevance-based learning KBIL Knowledge-based inductive learning SMO Sequential Minimal Optimization SVs Support vectors RMSE Root Mean Squared Error vi ĐẠI HỌC ĐÀ NẴNG TRƯỜNG CĐ CÔNG NGHỆ THÔNG TIN CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung: - ên đề tài: NGHIÊN CỨU GIẢI PHÁP TÍCH HỢP CÁC KIỂU KHÁC NHAU CỦA TRI THỨC ĐỂ CẢI TIẾN MƠ HÌNH MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉC-TƠ HỖ TRỢ - ã số: T2016-07-02 - Chủ nhi m: NG ỄN ĐỨC HI N - Thành viên tham gia: khơng có - Cơ quan chủ trì: RƯ NG C O ĐẲNG CƠNG NGHỆ HƠNG IN - hời gian thực hi n: 01/2016 – 12/2016 Mục tiêu: Nghiên cứu giải pháp tích hợp kiểu khác tri thức với mơ hình mờ K hướng li u (data-driven models) trích uất t máy học véc-tơ hỗ trợ cho toán dự báo hồi quy nhằm cải tiến hi u mô hình Tính sáng tạo: Đề uất thuật tốn tích hợp tri thức tiên nghi m q trình trích uất mơ hình mờ K t máy học éc-tơ hỗ trợ hồi quy; qua cải thi n hi u quả, cụ thể tính diễn dịch, mơ hình mờ trích uất Tóm tắt kết nghiên cứu: Đối với lý thuyết mơ hình mờ (fuzzy modelling) máy học Véc-tơ hỗ trợ, đề tài nghiên cứu lý thuyết toán học mơ hình mờ hình máy học K, mơ cho tốn phân lớp tốn tối ưu hóa hồi quy Đối với vai trị tri thức tiên nghi m, đề tài nghiên cứu vai trò tri thức tiên nghi m vi c học mơ hình mờ kịch tích hợp tri thức tiên nghi m vào q trình học mơ hình mờ để cải thi n hi u mơ hình Đối với pháp tích hợp tri thức tiên nghi m vào mơ hình mờ K trích uát t máy học véc-tơ hỗ trợ hồi quy, đề tài phân tích đề uất thuật tốn -IF Đề tài tiến hành thực nghi m thuật tốn đề uất số tốn ví dụ phân tích, đánh giá kết kết hợp so sánh với số mơ hình có trước khác vii Tên sản phẩm: ài báo khoa học đăng kỷ yếu Hội thảo nghiên cứu khoa học: CÔNG NGHỆ HÔNG IN À ỨNG ỰC - ẦN HỨ – CI NG CÔNG NGHỆ HÔNG IN RONG C C ĨNH ’20 Tên báo: Cải thiện mô hình mờ với tri thức tiên nghệm Thuật tốn trích uất luật mờ t máy học éc-tơ hỗ trợ ( -IF) số kết thực nghi m với mơ hình mờ trích uất ột báo cáo tổng kết đề tài nghiên cứu khoa học Hiệu quả, phương thức chuyển giao kết nghiên cứu khả áp dụng: Hi u mặt giáo dục - đào tạo: Kỹ thuật trích uất luật mờ t li u dựa máy học véc-tơ hỗ trợ với thuật toán CN -IF hướng để sinh viên ngành phát triển ứng dụng kha phá li u, h chuyên gia, Hi u mặt khoa học: đóng góp đề tài đề uất thuật tốn (SVM-IF) cho phép trích uất mơ hình mờ K t máy học véc-tơ hỗ trợ hồi qui có tích hợp tri thức tiên nghi m để cải thi n hi u mơ hình ề sản phẩm ứng dụng: huật toán đề uất sở để ây dựng mơ hình mờ dạng luật, ây dựng h thống hỗ trợ phân tích li u, h chuyên gia dự đốn, dự báo Hình ảnh, sơ đồ minh họa viii Hình Sự tương đương SVM Mơ hình mờ Begin Khởi tạo tham số SVMs Centers : 𝑐𝑖 , 𝑖 = 𝑚 Variances : 𝜎𝑖 , 𝑖 = 𝑚 Trích xuất luật mờ t SVMs IF x is Gaussmf(𝑐𝑖 , 𝜎𝑖 ) THEN y is B Tối ưu hóa 𝜎𝑖 𝑡 + = 𝜎𝑖 𝑡 + 𝛿𝜀1,𝑖 𝑐𝑖 𝑡 + = 𝑐𝑖 𝑡 + 𝛿𝜀1,𝑖 𝑥−𝑐 𝜎3 − 𝑥−𝑐 𝜎2 𝑒𝑥𝑝 − 𝑒𝑥𝑝 − End Hình đồ khối thuật toán f-SVM 𝑥−𝑐 2𝜎2 𝑥−𝑐 2𝜎2 ix Procedure ModelExtraction(ℋ, k, tol) Khởi tạo giá trị tham số: , , , while error>tol =∑ − , + ={ − − , InterpretabilityTest(SV, n, σ, k) Điều chỉnh ma trận kernel: 〈 = 10 11 12 13 ∑〈 − ℋ ‖2 ] = [‖ = + end while +1 = + +1 = return + = ∑ ) ∑ ( − , , ( )〉 − − − , ( )〉 − − ( , }} = − 1, 1, { , − − − 2 − 2 , ) 14 end procedure 15 Procedure InterpretabilityTest(SV, n, σ, k) 16 repeat 17 Tính độ tương tự cặp tập mờ: ( , 2 )= − 18 Lựa chọn môt cặp tập mờ cho ( , )= ( , )} , { 19 if ( , ) then 20 Gộp cặp tập mờ thành tập mờ 21 end if 22 until khơng cịn căp tập mờ có độ đo tương tự ( , 23 end procedure Hình huật tốn -IF ) 2 25 Procedure ModelExtraction(ℋ, k, tol) Khởi tạo giá trị tham số: , , , while error>tol =∑ − , + ={ − − , InterpretabilityTest(SV, n, σ, k) Điều chỉnh ma trận kernel: 〈 = 10 11 12 13 ∑〈 − ℋ ‖2 ] = [‖ = + end while +1 = + +1 = return + = ∑ − − − ) ( − , , ( )〉 ( − − , ( )〉 − − ∑ , }} = − 1, 1, { , − 2 − 2 , ) 14 end procedure 15 Procedure InterpretabilityTest(SV, n, σ, k) 16 repeat 17 Tính độ tương tự cặp tập mờ: ( , ) = √( − ) +( − ) 18 Lựa chọn môt cặp tập mờ cho ( , )= ( , )} , { 19 if ( , ) then 20 Gộp cặp tập mờ thành tập mờ 21 end if 22 until khơng cịn căp tập mờ có độ đo tương tự ( , 23 end procedure Hình huật tốn -IF ) Đầu vào thuật toán tập li u ℋ, số đo tương tự k, số đo độ sai bi t cho phép, tol, giá trị mơ hình thu li u đầu vào Ba tham số liên quan đến thuật toán học máy học Support-vector cần ác định trước C, , hủ tục odelE traction chia thành hai phần Phần đầu t dòng đến dòng 0, sử dụng vòng lặp While để lặp lại vi c sản sinh upport- 26 vectơ thỏa mãn điều ki n “sai l ch giá trị đầu mơ hình li u vào nhỏ giá trị sai l ch cho phép, tol, cho trước” Phần hai t dòng 11 đến dòng 3, sử dụng hàm Kernel, cụ thể hàm Gaussian, để sinh tập mờ, đồng thời tối ưu hóa tham số hàm thành viên ương tụ thuật toán f-SVM, tham số hàm thành viên tối ưu hóa cập nhật giá trị theo hàm thích nghi (21), (22) hủ tục odelE traction có sử dụng đến thủ tục Interpretability est để kiểm tra độ đo độ tương tự, ( , ), hai tập mờ gộp chúng lại ( , ) Dòng 17 18 cho phép tính tốn độ đo độ tương tự ác định hai tập mờ có độ tương tự lớn Dòng 19 đến dòng 21 cho phép kiểm tra để gộp tập mờ có độ tương tự lớn lơn giá trị cho trước, đồng thời cập nhật lại tập mờ i c kiểm tra gộp tập mờ thực hi n lặp lại, lần gộp cặp độ đo tương tự tất tập mờ không lớn giá trị cho trước 27 Chương MỘT SỐ KẾT QUẢ THỰC NGHỆM Để đánh giá thuật tốn -IF đề uất, chúng tơi ây dựng h thống thử nghi m dựa công cụ I atlab huật toán học thư vi n phát triển nhóm Chih-Chung Chang [5], sử dụng để sản uất s, làm sở để trích uất luật mờ thuật tốn au cùng, sử dụng hàm FI thư vi n công cụ -IF atlab Fuzzy ogic để suy luận dựa luật mờ trích uất 4.1 Ví dụ hồi quy phi tuyến tính Để chứng tỏ hi u mơ hình mờ dựa vi c phát hi n tri thức tiên nghi m cấu trúc mơ hình, cụ thể số lượng s số lượng luật mờ Chúng tơi tiến hành thực nghi m giải toán hồi quy phi tuyến sau: ={ = Tập li u huấn luy n ác định phạm vi t − Trong trình ác định cấu trúc chỉnh số lượng đến + , sử dụng tham số s Chúng cố định tham số C = Khi giá trị để điều = , có 50 s nhận t mơ hình, đồng nghĩa với vi c nhận 50 luật mờ (Chú ý rằng, trường hợp tất các mẫu li u huấn luy n chọn làm s đầu ra) au chúng tơi tăng giá trị tham số s nhận tương ứng với luật mờ thể hi n ảng lên Khi = 1, có Hình thể hi n kết mơ hình thực nghi m Như điều chỉnh giá trị tham số , tức điều chỉnh số lượng s để tối ưu hóa vị trí phân bố số lượng luật mờ s, đồng nghĩa với vi c tối ưu hóa 28 Bảng ập luật trích uất t mơ hình tối ưu hóa – 4.1 Hình Kết mơ hình tối ưu hóa (RMSE = 0.0183) Bảng o sánh kết mơ hình qua thông số R ố luật mờ E – 4.1 ô hình áp dụng ANFIS RBF SVM hình đề uất SVM-IF 50