Trích xuất tập luật mờ TSK (Takagi-Sugeno-Kang) từ máy học véctơ hỗ trợ là một trong những hướng tiếp cận để xây dựng mô hình mờ cho các bài toán dự đoán, dự báo. Nghiên cứu đề xuất và thực nghiệm một số giải pháp nhằm rút gọn, tối ưu tập luật mờ TSK trích xuất được nhưng vẫn đảm bảo hiệu quả dự đoán, dự báo của mô hình.
Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XI Nghiên cứu ứng dụng Công nghệ thông tin (FAIR); Hà Nội, ngày 09-10/8/2018 DOI: 10.15625/vap.2018.00045 MỘT SỐ GIẢI PHÁP TỐI ƯU TẬP LUẬT MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉCTƠ HỖ TRỢ HỒI QUY Nguyễn Đức Hiển, Lê Mạnh Thạnh Khoa Công nghệ thông tin, Trường Đại học Khoa học, Đại học Huế hiencit@gmail.com, lmthanh@hueuni.edu.vn TĨM TẮT: Trích xuất tập luật mờ TSK (Takagi-Sugeno-Kang) từ máy học véctơ hỗ trợ hướng tiếp cận để xây đựng mơ hình mờ cho toán dự đoán, dự báo Những nghiên cứu trước theo hướng tiếp cận cho thấy mơ hình mờ huấn luyện tự động dựa tập liệu đầu vào, dẫn đến hạn chế chủ yếu kích thước tập luật lớn, thiếu tính đặc trưng, thiếu tính bao phủ Trong báo này, nhóm tác giả nghiên cứu đế xuất thực nghiệm số giải pháp nhằm rút gọn, tối ưu tập luật mờ TSK trích xuất đảm bảo hiệu dự đốn, dự báo mơ Từ khóa: Mơ hình mờ TSK, Máy học véctơ hỗ trợ, Mơ hình mờ hướng liệu, Mơ hình dự báo hồi quy I ĐẶT VẤN ĐỀ Mơ hình mờ biết đến mơ hình hiệu việc xử lý thông tin mơ hồ không chắn; đồng thời thể lợi rõ ràng việc biểu diễn xử lý tri thức Hoạt động mơ hình mờ phụ thuộc nhiều vào hệ thống luật mờ trình suy diễn tập luật mờ Đã có nhiều tác giả nghiên cứu đề xuất phương thức để xây dựng mơ hình mờ hướng liệu [3, 4, 5, 6, 7, 8, 9, 10] Vấn đề trích xuất mơ hình mờ từ máy học véctơ hỗ trợ (SVM - Support Vector Machine) nhóm tác giả J H Chiang P Y Hao nghiên cứu công bố lần [3] Một vấn đề máy học véctơ hỗ trợ tính xác mơ hình thu tỷ lệ thuận với số lượng support-vector (Sv) sinh ra; điều đồng nghĩa với việc số lượng luật mờ mơ hình mờ trích xuất tăng lên Nói cách khác tăng hiệu suất mơ hình đồng nghĩa với việc làm giảm tính “sáng sủa” (tính “có thể diến dịch được”) mơ hình Như vậy, vấn đề đặt làm trích xuất hệ thống mờ đảm bảo độ tin cậy kết dự đoán, đồng thời hạn chế số lượng luật mờ mơ hình Trong báo này, đề xuất kết hợp số giải pháp để rút gọn tập luật mờ trích xuất được, đồng thời đảm bảo độ tin cậy kết dự đốn dựa vào mơ hình trích xuất Các phần báo bao gồm: phần II trình bày sơ lược tương đương mơ hình mờ TSK máy học véctơ hỗ trợ làm sở cho việc xây dựng thuật tốn trích xuất mơ hình mờ Phần III giới thiệu thuật tốn fmSVM* cho phép trích xuất tập luật mờ rút gọn từ SVM, có tích hợp thuật toán phân cụm k-Means số giải pháp tối lựa chọn tham số tối ưu Phần IV giới thiệu mơ hình thực nghiệm dự báo hồi quy, có kết hợp so sánh với số kết mơ hình đề xuất trước Cuối cùng, phần V nêu lên số kết luận định hướng nghiên cứu II TRÍCH XUẤT MƠ HÌNH MỜ TSK TỪ MÁY HỌC VÉCTƠ HỖ TRỢ Hệ thống mờ TSK bao gồm tập luật mờ “IF - THEN”, với phần kết luận luật hàm (không mờ) ánh xạ từ tham số đầu vào tới tham số đầu mơ hình [3, 4, 5, 6, 10] Giả sử có hệ thống mờ TSK với m luật mờ biểu diễn sau: R : IF x is A and x is A and … and x is A THEN z = g (x , x , … , x ) , với j = 1, 2, … , m (1) Trong x (i = 1, 2, … n) biến điều kiện; z biến định hệ thống mờ xác định hàm g ( ); A thuật ngữ ngôn ngữ xác định hàm thành viên tương ứng μ (x) Lưu ý, μ (x) hàm thành viên mờ xác định véctơ nhiều chiều Đầu hệ thống mờ tính tốn sau: ∑ f(x) = z μ ∑ μ (x) (x) (2) với μ (x) = μ (x ) (3) Nguyễn Đức Hiển, Lê Mạnh Thạnh 337 Trong đó, z giá trị đầu hàm g ( ) Bên cạnh đó, với vai trị giải vấn đề tối ưu hóa hồi quy, lý thuyết SVM vắn tắt sau [2, 3, 6, 8]: Cho tập liệu huấn luyện (x , y ), … , (x , y ) ⊂ × ℝ, ε-Support Vector Regression, tốn tối ưu hóa ràng buộc cần giải là: ∗ w w + C , , , xác định miền liệu đầu vào Với (ξ + ξ∗ ) (4) Sao cho: (w Φ(x ) + b) − y ≤ ε + ξ , y − (w Φ(x ) + b) ≤ ε + ξ∗ , với ξ , ξ∗ ≥ 0, i = 1, 2, … , l Trong đó, C tham số chuẩn tắc, ε sai số cho phép, ξ , ξ∗ biến lỏng, Φ(x) hàm ánh xạ phi tuyến tính để tiền xử lý liệu phí tuyến tính đầu vào cách ánh xạ khơng gian thuộc tính nhiều chiều ℱ Và từ đưa đến việc giải tốn Quadratic Programming: − max ∗ α − α∗ )(α − α∗ (Φ(x ) Φ x ) , (5) , − ε ∗ (α + α ) − ∗ y (α + α ) Sao cho: (α − α∗ ) = 0, and C ≥ α , α∗ ≥ 0, i = 1, 2, … , l Trong đó, α , α∗ nhân tử Lagrange Véctơ w có dạng: w = (α − α∗ ) x (6) Và hàm định là: f(x) = Gọi K x , x = Φ(x ) Φ x (α − α∗ ) (Φ(x ) Φ x ) + b (7) hàm nhân không gian đầu vào; hàm định (7) viết lại sau: f(x) = (α − α∗ )K(x , x) + b (8) Những điểm đầu vào x với (α − α∗ ) ≠ gọi véctơ hỗ trợ (SVs) Xét hàm đầu mơ hình mờ TSK (2) hàm định mơ hình máy học véctơ hồi quy (8) Để (2) (8) đồng với nhau, trước tiên phải đồng hàm nhân (8) hàm thành viên (2) Ở đây, để thỏa mãn điều kiện Mercer [1] hàm thành viên Gauss chọn làm hàm nhân; đồng thời giá trị b (8) phải Khi hàm Gauss chọn làm hàm thành viên hàm nhân, đồng thời số luật mờ với số véctơ hỗ trợ (m = l) hàm định (8) trở thành: f(x) = hàm kết đầu suy luận mờ (2) trở thành: (α − α∗ )exp − x −x σ (9) 338 MỘT SỐ GIẢI PHÁP TỐ ỐI ƯU TẬP LUẬ ẬT MỜ TSK TR RÍCH XUẤT TỪ Ừ MÁY HỌC V VÉCTƠ HỖ TRỢ Ợ HỒI QUY ∑ z exp p − f(x)) = (10) ∑ exp p − Như cáách biến đổi troong [8], hàm ssuy luận mờ (10) viết lại sau: f(x)) = z exp − x −x σ (11) Và V chhọn: z = (α − α∗ ) (12) Như vậậy, sở tthỏa mãn điều kiện để đồng hàm m đầu S SVMs hệ tthống mờ TSK K, có c thể trích xuuất mơ hìình mờ TSK từ máy học Vééctơ hỗ trợ III I THUẬT TỐN T TRÍCH H XUẤT MƠ Ơ HÌNH MỜ TSK VỚI MỘT SỐ GIẢII PHÁP TỐI ƯU HÓA MƠ Ơ HÌNH 3.1 Tối ưu hóóa tham ssố hàm th hành viên Những tham số hhàm thành viêên đượ ợc tối ưu hóa dùng d thhuật toán graddient descent thuật toán di truyền (GAs) Trongg trường hợp này, để nhận tập mờ tối ưu, chúngg cập nhậtt giá trị th ham số hàm h thành viênn theo hàm m thích nghi ssau đây: σ (t + 1) = σ (t)δε , c (t + 1) = c (t)δε , (x − c) (x − c) exp − σ 2σ (13) (x − c) −(x − c) exp − 2σ σ (14) 3.2 Lựa chọn n tham số Một troong đặcc điểm mơơ hình mờ “tính “ diễn dịch được”” (intepretabillity) [14] Tuy nhiên, v mơ hình máy m học véctơ hỗ trợ tăăng tính h xác mơ hình h số lượợng véctơ hỗ trợ (SVs) cũn ng tăng lên, đồng đ nghĩa vớ ới số lượng luuật mờ tăăng lên Điều làm cho tính phức tạpp hệ thốngg tăng lên đặc biệt “tính “ diễn dịch được”” hệ thốngg mờ giảm Thực nghiệm mơ hìnnh máy học vééctơ hồi quy t hàm hồi qui q phi tuyến Sinc(x) cho công thức (15), với v tập liệuu huấn luyện đđược xác định đoạn [-3π π, 3π], cho thấấy: sin ( ) ( )= ≠0 =0 (15) Trong q trình xác đđịnh cấu trúc SVM, sử dụng th ham số ε để điiều chỉnh số lư ượng SVs Th heo kết th hể hìnhh tthấy: giá ttrị tham số s ε giảm th hì số lượng SV Vs tăng lên, đồng thờ ời độ xác x kết quuả dự đốn cũũng tăng lên ((đường đậm nét n đường dự d đoán hồi qquy, đường đáánh dấu + đường đ biểu diễn d giá trị liệu đúng) Hình Mốối quan hệ giữaa số lượng SVs vvà tham số ε (giá trị ε tươn ng ứng theo thứứ tự hình vẽ 0,5; 0,2; 0,1 0,01) Nguyễn N Đức Hiển, Lê Mạnh Thhạnh 339 (a) (b) Hìn nh Phân bố c 50 hàm m thành viên mờờ Bằng cách giữ cố địnnh giá trị tham m số C = 10 Khi giá trị ε = 0,0, có 50 SVs nhậnn từ mơ hình, đồng nghĩa n với việc nhậận 50 luậật mờ (chú ý rằng, trư ường hợp ttất các mẫu liệu huấn h luyện đ chọn làm m SVs đầu ra) Hình 2a thể hhiện phân bố 50 hàm th hành viên mờ tương ứng troong trường hợ ợp Khi tăng giá trị thaam số ε = 0,1 1, có SV Vs nhận tương ứng vớ ới luật mờ Hình 3b thể hhiện phân bố hàm th hành viên mờ tương ứng 3.3 Rút gọn tập t luật cách tích hợp ợp thuật tốn gom cụm k-M Means Tập luậật mờ trích xuấất từ động từ m máy học véctơ hỗ trợ không g tránh khỏi ự nhập nhằng luật mờ Chính ngẫu n nhiên củaa liệu đầu vvào làm cho ccác luật mờ họ ọc có phân bố khơnng đều, có nhiiều luật mờ có ó hàm phân bố b tương tự nhhau (Hình 2b) Thuật tốn t gom cụm m k-Means giải pháp p đề xuất để gom g cụm cácc luật mờ có pphân bố hàm viên tư ương tự, từ đóó rút gọọn tập luậtt mờ, giảm tính nhập nhằng tập luật trrích xuất đượcc 3.4 Thuật tốán đề xuất Begin Innput: Training data set Initiaalize parameters of o SVMs Cen nters : Varriances : , = , = Tối ưu hóa tham số σ , c Clusteer ( , ) using k-Means extraact fuzzy rules from SVM IF x is Gaussmf( , ) THEN y is B Lựa chọọn tham số ε số ố phân cụm k tối ưu Ouutput: TSK fuzzy y model End Hình h Sơ đồ thuật tốn trích xuất tập luật mờ TS SK Từ nhữ ững phân tích trên, chúng tơơi đề xuất thuật t tốn fm SVM* (sơ đồồ thuật tốn Hình 3) cho phép trích xuất x mơ hình mờ m TSK từ mááy học véctơ hhỗ trợ gồm bước saau: 340 MỘT SỐ GIẢI PHÁP TỐI ƯU TẬP LUẬT MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉCTƠ HỖ TRỢ HỒI QUY Bước 1: huấn luyện SVMs với tập liệu huấn luyện (Training) để trích xuất véctơ hỗ trợ tương ứng với , phương sai , ( − ∗ ) = giá trị = Bước 2: tối ưu hóa tham số , , ε Bước 3: dùng thuật toán k-Means để phân cụm ( , ) thành k cụm Bước 4: lựa chọn tham số ε số phân cụm k tối ưu thực nghiệm tập liệu Validation Bước 5: chọn ( , ) là trung tâm cụm để thiết lập hàm thành viên Gauss cho luật mờ trung tâm hàm thành viên biên độ mờ Tập luật mờ TSK trích xuất có TSK; ( , ) dạng: IV MƠ HÌNH THỰC NGHIỆM DỰ BÁO HỒI QUY 4.1 Mơ hình thực nghiệm Trong phần này, chúng tơi đề xuất mơ hình trích xuất luật mờ dự đốn giá cổ phiếu cách sử dụng thuật toán fm-SVM* đề xuất Sơ đồ khối mơ hình thể hình Hình Mơ hình mờ dự đốn giá cổ phiếu 4.1.1 Lựa chọn liệu đầu vào Để có so sánh với kết L J Cao Francis E H Tay [12, 13], lựa chọn liệu đầu vào số giá cổ phiếu hàng ngày Các thuộc tính liệu đầu vào cụ thể bảng Bảng Các thuộc tính liệu vào Ký hiệu Thuộc tính EMA100 RDP-5 RDP-10 RDP-15 RDP-20 RDP+5 Cơng thức tính () − ( ) − ( − 5) / ( − 5) ∗ 100 ( ) − ( − 10) / ( − 10) ∗ 100 ( ) − ( − 15) / ( − 15) ∗ 100 ( ) − ( − 20) / ( − 20) ∗ 100 ( ( + 5) − ( ))/ ( ) ∗ 100 ()= () Trong đó, P(i) là số giá đóng phiên ngày thứ i, RPD-m tỷ lệ khác biệt trung bình m ngày (m-day relative difference in percentage of price - RDP) EMA (i) m-day exponential moving average giá đóng phiên ngày thứ i 4.1.2 Tiền xử lý liệu vào Trong nghiên cứu này, chúng tơi sử dụng tht tốn phân cụm SOM (Self-Organizing Map) để phân liệu đầu vào thành cụm theo tương đương phân bố thống kê điểm liệu Kết phân cụm SOM giúp giải hai vấn đề [12]: 1) Kích thước liệu cụm nhỏ làm tăng tốc độ học mô hình 2) Dữ liệu cụm có tương đương phân bố thống kê, hạn chế trường hợp nhiễu Nguyễn Đức Hiển, Lê Mạnh Thạnh 341 4.1.3 Trích xuất mơ hình mờ fm-SVM* Mỗi cụm liệu vào phân tách SOM đưa vào huấn luyện cho máy fm-SVM* tương ứng để trích xuất luật mờ Các tập luật mờ trích xuất từ máy fm-SVM* tương ứng với cụm liệu huấn luyện sử dụng để suy luận dự đốn giá cổ phiếu Những luật mờ khai phá từ liệu phân thành cụm riêng biệt cải thiện tính “có thể diễn dịch được”, chuyên gia người diễn dịch thành luật ngơn ngữ từ hiểu đánh giá luật 4.2 Kết thực nghiệm Để đánh giá mơ hình đề xuất, xây dựng hệ thống thử nghiệm dựa cơng cụ Matlab Thuật tốn học SVM thư viện LIBSVM phát triển nhóm Chih-Wei Hsu [11], sử dụng để sản sinh SVs từ liệu huấn luyện, làm sở để xây dựng thuật tốn trích xuất luật mờ fm-SVM* Việc phân cụm liệu đầu vào thực dựa công cụ SOM phát triển Juha Vesanto đồng [15] Sau cùng, sử dụng hàm AVALFIS thư viện công cụ Matlab Fuzzy Logic để suy luận dự báo giá cổ phiểu dựa vào luật mờ sản xuất 4.2.1 Nguồn liệu Nguồn liệu thực nghiệm chọn từ bốn mã cố phiếu tập đoàn tổ chức tài lớn Mỹ bao gồm: IBM Corporation stock (IBM), the Apple inc stock (APPL), the the Standard & Poor’s stock index (S&P500), and the Down Jones Industrial Average index (DJI) (Bảng 2) Tất liệu lấy từ nguồn sàn chứng khoán Yahoo Finance (http://finance.yahoo.com/) Bảng Nguồn liệu thực nghiệm Stocks IBM Corporation stock (IBM) Apple inc stock (APPL) Standard & Poor’s stock index (S&P500) Down Jones Industrial Average index (DJI) Time 03/01/2000 - 30/06/2010 03/01/2000 - 30/06/2010 03/01/2000 - 23/12/2008 02/01/1991 - 28/03/2002 Training 2209 2209 2016 2152 Validation 200 200 200 200 Testing 200 200 200 200 4.2.2 Các kết thực nghiệm Các tập liệu Training sử dụng để huấn luyện cho mơ hình để tạo tập luật mờ tương ứng với mã cổ phiếu Các tập liệu Validation sử dụng để suy luận thử với tập luật mờ tương ứng với mã cổ phiểu Từ đó, tham số ε k (số phân cụm k-Means) xác định cách tùy chỉnh để có giá trị thông số đánh giá tốt nhất, gồm NMSE (Nomalized Mean Squared Error), MAE (Mean Absolute Error), DS (Directional Symmetry) Trong NMSE MAE đo lường độ lệch giá trị thực tế giá trị dự đoán, DS đo lường tỷ lệ dự đoán xu hướng giá trị RDP+5 Giá trị tương ứng NMSE MAE nhỏ DS lớn chứng tỏ mơ hình dự đốn tốt Mơ hình kết tối ưu hóa tham số cách tinh chỉnh tập liệu Validation sử dụng để dự đoán tập liệu Testing Bên cạnh đó, chúng tơi thử nghiệm dự đốn liệu Testing với mơ hình khác đề xuất trước đó, bao gồm SVM, mơ hình kết hợp SOM+SVM SOM+f-SVM Mơ hình SOM+SVM mơ hình dựa kết hợp SOM SVM, đề xuất để dự đoán xu hướng cổ phiếu [16] Mơ hình SOM+f-SVM mơ hình kết hợp SOM với f-SVM túy (chưa tối ưu tham số ε tích hợp kỹ thuật phân cụm k-Means) Kết thực nghiệm dự đoán 200 mẫu liệu testing thể bảng Bảng Kết dự đoán 200 mẫu liệu thử nghiệm SVM Mã cổ phiếu NMSE MAE IBM APPL SP500 DJI 0,9278 1,0725 1,2687 1,1015 0,0191 0,0110 0,0394 0,0576 SOM+SVM SOM+f-SVM DS NMSE MAE DS 38,31 34,33 38,90 38,31 1,1028 1,1100 1,1081 1,0676 0,0577 0,0445 0,1217 0,1186 44,22 52,76 52,76 50,25 Số luật 1355 1287 965 1025 NMSE MAE DS 1,0324 1,0467 1,0836 1,0459 0,0554 0,0435 0,1207 0,1181 50,75 53,27 53,27 51,76 SOM+ fm-SVM* Số NMSE MAE DS luật 15*6 1,0530 0,0504 50,05 5*55 1,0466 0,0610 53,00 15*6 1,0906 0,1117 52,86 5*35 1,0550 0,1101 51,35 So sánh giá trị thông số MNSE MAE bảng ta thấy, mã cổ phiếu, giá trị thơng số MNSE MAE mơ hình SOM+f-SVM SOM+fm-SVM* đề xuất nhỏ so với mơ hình SVM, điều chứng tỏ độ sai lệch giá trị dự đốn giá trị thực tế mơ hình đề xuất so với hai mơ hình Bên cạnh đó, ta thấy giá trị thơng số DS mơ hình đề xuất lớn so với mơ hình SVM, điều chứng tỏ tỷ lệ dự đốn xu hướng mơ hình đề xuất cao 342 MỘT SỐ GIẢI PHÁP TỐI ƯU TẬP LUẬT MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉCTƠ HỖ TRỢ HỒI QUY So sánh kết mô hình SOM+ fm-SVM* đề xuất với mơ hình SOM+SVM SOM+ f-SVM bảng 3, ta thấy giá trị thơng số hai mơ hình tương đương Điều dễ dàng lý giải được, thuật tốn f-SVM fm-SVM* rút trích tập luật mờ dùng cho mơ hình dự đốn từ máy SVMs, mơ hình dự đoán đề xuất kết hợp SOM với f-SVM fm-SVM* thừa hưởng hiệu mơ hình SOM+SVM điều tất yếu Tuy nhiên, so với mơ hình dự đốn SOM+SVM mơ hình mơ hình mờ TSK có ưu điểm sau: 1) Mơ hình dự đốn SOM+SVM mơ hình “hộp đen” người dùng cuối, mơ hình đề xuất cho phép trích xuất tập luật mờ q trình suy luận thực tập luật Đối với người dùng cuối mơ hình suy luận dựa tập luật mờ dễ hiểu sáng tỏ 2) Ngoài việc áp dụng SOM để phân cụm liệu đầu vào thành tập nhỏ riêng biệt, bên cạnh hiệu mang lại giảm kích thước liệu vào từ làm giảm thời gian thực thuật toán, tập luật sinh phân thành cụm riêng biệt tương ứng, điều góp phần giúp cho chuyên gia người dễ dàng đọc hiểu phân tích luật mờ học Điểm cải thiện mơ hình dựa fm-SVM* so với mơ hình dựa f-SVM thể thông qua số luật mờ trích xuất mơ hình Ví dụ, mã cổ phiếu IBM, tổng số luật mờ theo mơ hình SOM+f-SVM 1355, theo mơ hình SOM+fm-SVM 90 luật (15*6) Như vậy, số luật mờ mơ hình đề xuất giảm nhiều so với mơ hình SOM+f-SVM, tính xác kết dự đoán đảm bảo V KẾT LUẬN Nghiên cứu đề xuất số giải pháp để tối ưu hóa mơ hình mờ TSK trích xuất từ máy học véctơ hỗ trợ giải toán dự báo hồi quy Thuật toán fm-SVM* đề xuất cho phép điều chỉnh lựa chọn giá trị tham số ε k sở sử dụng tập liệu Validation Các kết thực nghiệm liệu Testing cho thấy mơ hình dự đốn đề xuất thật mang lại hiệu thể chỗ: độ xác kết dự đốn cao tương tương đương so với mơ hình khác, thể qua giá trị thông số NMSE, MAE DS, số lượng luật mờ mơ hình rút gọn đáng kể Như trình bày phần IV báo, hiệu mang lại việc rút gọn gom cụm luật mờ trích xuất giảm độ phức tạp trình suy luận, đồng thời giúp cho việc diễn dịch phân tích luật dễ dàng Trong định hướng nghiên cứu tiếp theo, nghiên cứu giải pháp để tích hợp luật chuyên gia với tập luật mờ hướng liệu nhằm nâng cao hiệu dự đoán VI.TÀI LIỆU THAM KHẢO [1] J Shawe-Taylor and N Cristianini “Kernel Methods for Pattern Analysis” Cambridge University Press, 2004 [2] Corinna Cortes and Vladimir Vapnik “Support-Vector Networks, Machine Learning” Machine Learning, 20, 273-297, 1995 [3] J H Chiang, P Y Hao “Support vector learning mechanism for fuzzy rule-based modeling: a new approach” IEEE Trans On Fuzzy Systems, vol 12, pp 1-12, 2004 [4] J L Castro, L D Flores-Hidalgo, C J Mantas, J M Puche “Extraction of fuzzy rules from support vector machines” Elsevier Fuzzy Sets and Systems, 158, 2057-2077, 2007 [5] J S R Jang “Anfis: adaptive-network-based fuzzy inference system” IEEE Transactions on Systems, Man and Cybernetics, vol 23, no 3, pp 665-685, 1993 [6] David Martens, Johan Huysmans, Rudy Setiono, Jan Vanthienen, Bart Baesens “Rule Extraction from Support Vector Machines - An Overview of issues and application in credit scoring” Studies in Computational Intelligence (SCI) 80: 33-63, 2008 [7] M Azeem, M Hanmandlu, N Ahmad “Generalization of adaptive neuro-fuzzy inference systems” IEEE Transactions on Neural Networks, vol 11, no [8] S Chen, J Wang, D Wang “Extraction of fuzzy rules by using support vector machines” IEEE, Computer society, pp 438-441, 2008 [9] Serge Guillaume, Luis Magdalena “Expert guided integration of induced knowledge into a fuzzy knowledge base” Soft Comput, Springer-Verlag 2006, 10:733-784, 2006 [10] Y Jin, B Sendhoff “Extracting interpretable fuzzy rules from RBF networks” Neural Processing Letters, vol 17, no 2, pp 149-164, 2003 [11] Chih-Wei Hsu, Chih-Chung Chang, Chih-Jen lin “A practical Guide to Support Vector Classification” http://www.csie.ntu.edu.tw/~cjlin/libsvm/, 2010 Nguyễn Đức Hiển, Lê Mạnh Thạnh 343 [12] Francis Eng Hock Tay and Li Yuan Cao “Improved financial time series forecasting by combining Support Vector Machines with self-organizing feature map” Intelligent Data Analysis 5, IOS press: 339-354, 2001 [13] L J Cao and Francis E H Tay “Support vector machine with adaptive parameters in Financial time series forecasting” IEEE trans on neural network,vol 14, no 6, 2003 [14] John Yen, Reza Langari “Fuzzy logic: Intelligence, Control, and Information” Prentice hall, Uper dadle river, New Jersey, 1999 [15] Juha Vesanto, Johan Himberg, Esa Alhoniemi, Jaha Parhankangas “SOM Toolbox for Matlab 5” http://www.cis.hut.fi/projects/som-toolbox/, 2000 [16] Duc Hien Nguyen, Manh Thanh Le “A two-stage architecture for stock price forecasting by combining SOM and fuzzy-SVM” International Journal of Computer Science and Infor-mation Security (IJCSIS), USA, ISSN: 19475500, Vol 12 No 8: 20-25, 2013 OPTIMAZING TSK FUZZY MODEL EXTRACTED FROM SUPPORT VECTOR MACHINES FOR REGRESSION Nguyen Duc Hien, Le Manh Thanh ABSTRACT: Extracting Takagi-Sugeno-Kang (TSK) fuzzy rule set from the vector-support learning machine is one of the approaches to construct a fuzzy model for predictive math Previous studies of this approach showed that fuzzy model is automatically trained based on input data sets, leading to major limitations such as large rule size, lack of specificity, coverage In this article, the authors have supposed and experimented some solutions to reduce and optimize the extracted TSK fuzzy rule set but still ensure the predictive performance of the model ... phép trích xuất x mơ hình mờ m TSK từ mááy học véctơ hhỗ trợ gồm bước saau: 340 MỘT SỐ GIẢI PHÁP TỐI ƯU TẬP LUẬT MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉCTƠ HỖ TRỢ HỒI QUY Bước 1: huấn luyện SVMs với tập. .. tthống mờ TSK K, có c thể trích xuuất mơ hìình mờ TSK từ máy học Vééctơ hỗ trợ III I THUẬT TỐN T TRÍCH H XUẤT MƠ Ơ HÌNH MỜ TSK VỚI MỘT SỐ GIẢII PHÁP TỐI ƯU HĨA MƠ Ơ HÌNH 3.1 Tối ưu hóóa tham ssố... cứu đề xuất số giải pháp để tối ưu hóa mơ hình mờ TSK trích xuất từ máy học véctơ hỗ trợ giải toán dự báo hồi quy Thuật toán fm-SVM* đề xuất cho phép điều chỉnh lựa chọn giá trị tham số ε k sở