Một số giải pháp tối ưu tập luật mờ TSK trích xuất từ máy học véc-tơ hỗ trợ hồi quy

Bài báo này tác giả nghiên cứu đế xuất và thực nghiệm một số giải pháp nhằm rút gọn, tối ưu tập luật mờ TSK trích xuất được nhưng vẫn đảm bảo hiệu quả dự đoán, dự báo của mô mình.

230 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC Một số giải pháp tối ưu tập luật mờ TSK trích xuất từ máy học véc-tơ hỗ trợ hồi quy Nguyễn Đức Hiển Trường cao đẳng Công nghệ thông tin – Đại học Đà Nẵng ndhien@cit.udn.vn Tóm tắt Trích xuất tập luật mờ TSK từ máy học véc-tơ hỗ trợ hướng tiếp cận để xây đựng mơ hình mờ cho toán dự đoán, dự báo Những nghiên cứu trước theo hướng tiếp cận cho thấy mơ hình mờ huấn luyện tự động dựa tập liệu đầu vào, dẫn đến hạn chế chủ yếu kích thước tập luật lớn, thiếu đặc trưng, thiếu tính bao phủ Trong báo này, nhóm tác giả nghiên cứu đế xuất thực nghiệm số giải pháp nhằm rút gọn, tối ưu tập luật mờ TSK trích xuất đảm bảo hiệu dự đốn, dự báo mơ Từ khóa: Mơ hình mờ TSK, Máy học Véc-tơ hỗ trợ, Mơ hình mờ hướng liệu, Mơ hình dự báo hồi quy Đặt vấn đề Mơ hình mờ biết đến mơ hình hiệu việc xử lý thông tin mơ hồ khơng chắn; đồng thời thể lợi rõ ràng việc biểu diễn xử lý tri thức Hoạt động mơ hình mờ phụ thuộc vào hệ thống luật mờ trình suy diễn tập luật mờ Đã có nhiều tác giả nghiên cứu đề xuất phương thức để xây dựng mơ hình mờ hướng liệu [3, 4, 5, 6, 7, 8, 9, 10] Vấn đề trích xuất mơ hình mờ từ máy học véc-tơ hỗ trợ (SVM – Support Vector Machine) nhóm tác giả J.-H Chiang P.-Y Hao nghiên cứu công bố lần vào năm 2004 [3] Một vấn đề máy học véc-tơ hỗ trợ tính xác mơ hình thu tỷ lệ thuận với số lượng support-vector (Sv) sinh ra; điều đồng nghĩa với việc tăng tính xác mơ hình số lượng luật mờ mơ hình mờ trích xuất tăng lên Nói cách khác tăng hiệu suất mơ hình đồng nghĩa với việc làm giảm tính “sáng sủa” (tính “có thể hiểu được”) mơ hình Như vấn đề đặt làm trích xuất hệ thống mờ đảm bảo độ tin cậy kết dự đoán, đồng thời hạn chế số lượng luật mờ mơ hình Trong báo này, chúng tơi đề xuất giải pháp tích hợp kỹ thuật phân cụm k-Means để rút gọn tập luật mờ trích xất được, đồng thời đưa giải pháp lựa chọn giá trị tối ưu tham số để đảm bảo độ tin cậy kết dự đốn dựa vào mơ hình trích xuất Các phần báo bao gồm: phần trình bày sơ lược tương đương mơ hình mờ TSK máy học véc-tơ hỗ trợ làm sở cho việc xây dựng thuật tốn trích xuất mơ hình mờ; phần giới thiệu thuật tốn fm-SVM* cho phép trích xuất tập luật mờ rút gọn từ SVM, có tích hợp kỹ thuật phân cụm k-Means; phần giới thiệu mơ hình thực nghiệm dự báo hồi quy, có kết hợp so sánh với số kết mơ hình đề xuất trước Cuối cùng, phần nêu lên số kết luận định hướng nghiên cứu Nguyễn Đức Hiển 231 Trích xuất mơ hình mờ TSK từ máy học vevcs-tơ hỗ trợ Hệ thống mờ TSK bao gồm tập luật mờ “IF – THEN”, với phần kết luận luật hàm (không mờ) ánh xạ từ tham số đầu vào tới tham số đầu mơ hình [3,4,5,6,10] Giả sử có hệ thống mờ TSK với m luật mờ biểu diễn sau: j j j R j : IF x1 is A1 and x2 is A2 and … and xn is An THEN z = g j (x1 , x2 , … , xn ) , với j = 1, 2, … , m (1) Trong xi (i = 1, 2, … n) biến điều kiện; z biến định hệ thống mờ j xác định hàm g j ( ); Ai thuật ngữ ngôn ngữ xác định hàm thành viên tương ứng μAj (x) Lưu ý, μAj (x) hàm thành viên mờ xác định véc-tơ nhiều chiều i i Đầu hệ thống mờ tính tốn sau: j ∑m j=1 z (μAj (x)) f(x) = ∑m j=1 μAj (x) (2) với n μAj (x) = ∏ i=1 μAj (xi ) (3) i j Trong đó, z giá trị đầu hàm g j ( ) Bên cạnh đó, với vai trị giải vấn đề tối ưu hóa hồi quy, lý thuyết SVM vắn tắt sau [2,3,6,8]: Cho tập liệu huấn luyện {(x1 , y1 ), … , (xl , yl )} ⊂ 𝒳 × ℝ, 𝒳 xác định miền liệu đầu vào Với ε-Support Vector Regression, tốn tối ưu hóa ràng buộc cần giải là: l ∗ w T w + C ∑(ξi + ξ∗i ) w,b,ξ,ξ (4) i=1 T Sao cho: (w Φ(xi ) + b) − yi ≤ ε + ξi , yi − (w T Φ(xi ) + b) ≤ ε + ξ∗i , với ξi , ξ∗i ≥ 0, i = 1, 2, … , l Trong đó, C tham số chuẩn tắc, ε sai số cho phép, ξi , ξ∗i biến lỏng, Φ(x) hàm ánh xạ phi tuyến tính để tiền xử lý liệu phí tuyến tính đầ vào cách ánh xạ khơng gian thuộc tính nhiều chiều ℱ Và từ đưa đến việc giải toán Quadratic Programming: 232 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC 𝑙 − ∑(αi − α∗i )(αj − α∗j )(Φ(xi )T Φ(xj )) 𝑖,𝑗 max ∗ l α,α (5) l − ε ∑(αi + α∗i ) − ∑ yi (αi + α∗i ) { i=1 i=1 Sao cho: l ∑(αi − α∗i ) = 0, and C ≥ αi , α∗i ≥ 0, i = 1, 2, … , l i=1 Trong đó, αi , α∗i nhân tử Lagrange Véc-tơ w có dạng: l w = ∑(αi − α∗i ) xi (6) i=1 Và hàm định là: l f(x) = ∑(αi − α∗i ) (Φ(xi )T Φ(xj )) + b (7) i=1 Gọi K(xi , xj ) = Φ(xi )T Φ(xj ) hàm nhân không gian đầu vào; hàm định (7) viết lại sau: l f(x) = ∑(αi − α∗i )K(xi , x) + b (8) i=1 Những điểm đầu vào xi với (αi − α∗i ) ≠ gọi véc-tơ hỗ trợ (Svi) Xét hàm đầu mô hình mờ TSK (2) hàm định mơ hình máy học Véc-tơ hồi quy (8) Để (2) (8) đồng với nhau, trước tiên phải đồng hàm nhân (8) hàm thành viên (2) Ở đây, để thỏa mãn điều kiện Mercer [1] hàm thành viên Gauss chọn làm hàm nhân; đồng thời giá trị b (8) phải Khi hàm Gauss chọn làm hàm thành viên hàm nhân, đồng thời số luật mờ với số véc-tơ hỗ trợ (m = l) hàm định (8) trở thành: l xi − x f(x) = ∑(αi − α∗i )exp (− ( ) ) σi i=1 hàm kết đầu suy luận mờ (2) trở thành: x −x ∑lj=1 zj exp (− ( j σj ) ) f(x) = xj − x ∑lj=1 exp (− ( σ ) ) (9) (10) j Như cách biến đổi [8], hàm suy luận mờ (10) viết lại sau: l xj − x f(x) = ∑ z exp (− ( ) ) σj j j=1 (11) Nguyễn Đức Hiển 233 j Và chọn: z = (αi − α∗i ) (12) Như vậy, sở thỏa mãn điều kiện để đồng hàm đầu SVMs hệ thống mờ TSK, trích xuất mơ hình mờ TSK từ máy học Véc-tơ hỗ trợ Thuật tốn trích xuất mơ hình mờ TSK có tích hợp số giải pháp tối ưu mơ hình 3.1 Tối ưu hóa tham số hàm thành viên Những tham số hàm thành viên tối ưu hóa dùng thuật tốn gradient descent thuật toán di truyền (GAs) Trong trường hợp này, để nhận tập mờ tối ưu, cập nhật gía trị tham số hàm thành viên theo hàm thích nghi sau đây: (x − c)2 (x − c)2 σi (t + 1) = σi (t)δε1,i [ exp (13) (− )] σ3 2σ2 (x − c)2 −(x − c) ci (t + 1) = ci (t)δε1,i [ exp (− (14) )] σ2 2σ2 3.2 Lựa chọn tham số 𝛆 Một đặc điểm mô hình mờ “tính diễn dịch được” (intepretability) [14] Tuy nhiên, mơ hình máy học véc-tơ hỗ trợ tăng tính xác mơ hình số lượng véc-tơ hỗ trợ (SVs) tăng lên, đồng nghĩa với số lượng luật mờ tăng lên Điều làm cho tính phức tạp hệ thống tăng lên đặc biệt “tính diễn dịch được” hệ thống mờ giảm Thực nghiệm mơ hình máy học véc-tơ hồi quy hàm hồi quy phi tuyến Sinc(x) cho công thức (15), với tập liệu huấn luyện xác định đoạn [-3π, 3π], cho thấy: sin(𝑥) 𝑖𝑓 𝑥 ≠ 𝑆𝑖𝑛𝑐(𝑥) = { 𝑥 (15) 𝑖𝑓 𝑥 = Trong q trình xác định cấu trúc SVM, chúng tơi sử dụng tham số ε để điều chỉnh số lượng SVs Theo kết thể hình thấy: giá trị tham số ε giảm số lượng SVs tăng lên, đồng thời độ xác kết dự đốn tăng lên (đường đậm nét đường dự đoán hồi quy, đường đánh dấu + đường biểu diễn giá trị liệu đúng) 234 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC Hình Mối quan hệ số lượng SVs tham số ε (giá trị ε tương ứng theo thứ tự hình vẽ 0.5, 0.2, 0.1 0.01) (a) b) Hình Phân bố 50 hàm thành viên mờ Bằng cách giữ cố định giá trị tham số C = 10 Khi giá trị ε = 0.0, có 50 SVs nhận từ mơ hình, đồng nghĩa với việc nhận 50 luật mờ (chú ý rằng, trường hợp tất các mẫu liệu huấn luyện chọn làm SVs đầu ra) Hình 2a thể phân bố 50 hàm thành viên mờ tương ứng trường hợp Khi tăng giá trị tham số ε = 0.1, có SVs nhận tương ứng với luật mờ Hình 2b thể phân bố hàm thành viên mờ tương ứng 3.3 Rút gọn tập luật cách tích hợp kỹ thuật phân cụm k-Means Tập luật mờ trích xuất từ động từ máy học véc-tơ hỗ trợ không tránh khỏi nhập nhằng luật mờ Chính ngẫu nhiên liệu đầu vào làm cho luật mờ học có phân bố khơng đều, có nhiều luật mờ có hàm phân bố tương tự (hình 2b) Kỹ thuật phân cụm k-Means giải pháp đề xuất để gom cụm luật mờ có phân bố hàm viên tương tự, từ rút gọn tập luật mờ, giảm tính nhập nhằng tập luật trích xuất Ở đây, giá trị 𝑥𝑖 = 𝑠𝑣𝑖 , phương sai 𝜎𝑖 center biên độ hàm thành viên mờ liệu đầu vào để thực phân cụm với thuật toán k-Means Số phân cụm k lựa chọn ngẫu nhiên, trường hợp thực nghiệm k chọn ½ số Support véc-tơ trích xuất từ máy học SVM Kết sau thực thuật toán phân cụm, lập luật phân cụm thay luật với hàm thành viên mờ xác định giá trị 𝑥𝑖 = 𝑠𝑣𝑖 , phương sai 𝜎𝑖 trung tâm cụm Như số luật trích xuất từ mơ hình xác k luật, tương ứng với k phân cụm 3.4 Đề xuất thuật tốn trích xuất tập luật mờ Từ phân tích trên, chúng tơi đề xuất thuật tốn fm-SVM* (sơ đồ thuật tốn hình 3) Nguyễn Đức Hiển 235 Begin Input: Training data set Initialize parameters of SVMs Centers : 𝑐𝑖 , 𝑖 = 𝑚 Variances : 𝜎𝑖 , 𝑖 = 𝑚 Tối ưu hóa tham số σi , ci Cluster (𝜎𝑖 , 𝑠𝑣𝑖 ) using k-Means extract fuzzy rules from SVM IF x is Gaussmf(𝜎𝑖 , 𝑠𝑣𝑖 ) THEN y is B Lựa chọn tham số ε số phân cụm k tối ưu Output: TSK fuzzy model End Hình Sơ đồ thuật tốn trích xuất tập luật mờ TSK Thuật tốn fm-SVM* cho phép trích xuất mơ hình mờ TSK từ máy học véc-tơ hỗ trợ gồm bước nhưu sau: Bước 1: huấn luyện SVMs với tập liệu huấn luyện để trích xuất véc-tơ hỗ trợ tương ứng với giá trị 𝑥𝑖 = 𝑠𝑣𝑖 , phương sai 𝜎𝑖 , (𝛼𝑖 − 𝛼𝑖∗ ) = 𝐵 Bước 2: tối ưu hóa tham số Tối ưu hóa tham số 𝜎𝑖 , 𝑐𝑖 , ε Bước 3: dùng thuật toán k-Means để phân cụm (𝜎𝑖 , 𝑠𝑣𝑖 ) thành k cụm Bước 4: chọn (𝜎𝑖 , 𝑠𝑣𝑖 ) trung tâm cụm để thiết lập hàm thành viên Gauss cho luật mờ TSK; 𝑠𝑣𝑖 trung tâm hàm thành viên 𝜎𝑖 biên độ mờ Tập luật mờ TSK trích xuất có dạng: 𝐼𝐹 𝑥𝑖 𝑖𝑠 𝐺𝑎𝑢𝑠𝑠𝑚𝑓(𝜎𝑖 , 𝑠𝑣𝑖 ) 𝑇𝐻𝐸𝑁 𝑦𝑖 𝑖𝑠 𝐵 Điểm mơ hình fm-SVM* đề xuất so với mơ hình trước mà nhóm tác giả nghiên cứu là: 236 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC 1) Sử dụng kỹ thuật phân cụm k-Means để phân cụm hàm thành viên mờ có phân bố tương tự, từ thay thể luật mờ phân cụm luật nhất, center phân cụm 2) Điều chỉnh để lựa chọn giá trị tối ưu cho tham số ε k cho mô hình thực tế cách thực nghiệm tập liệu Validation Mơ hình thực nghiệm dự báo giá cổ phiếu 4.1 Mơ hình thực nghiệm Trong phần này, chúng tơi đề xuất mơ hình trích xuất luật mờ dự đoán giá cổ phiếu cách sử dụng thuật toán fm-SVM* đề xuất Sơ đồ khối mơ hình thể hình Part Part Dữ liệu vào Lựa chọn thuộc tính liệu vào Phân cụm liệu SOM fm-SVM fm-SVM Mơ hình mờ Part n-1 Part n fm-SVM n-1 fm-SVM n Hình Mơ hình mờ dự đốn giá cổ phiếu Lựa chọn liệu đầu vào Để có so sánh với kết L.J Cao Francis E.H Tay [12,13], lựa chọn liệu đầu vào số giá cổ phiếu ngày Các thuộc tính liệu đầu vào cụ thể Bảng Bảng Các thuộc tính liệu vào Ký hiệu 𝑥1 𝑥2 𝑥3 𝑥4 𝑥5 𝑦 Thuộc tính EMA100 RDP-5 RDP-10 RDP-15 RDP-20 RDP+5 Cơng thức tính 𝑃𝑖 − ̅̅̅̅̅̅̅̅̅̅̅̅̅̅ 𝐸𝑀𝐴100 (𝑖) (𝑃(𝑖) − 𝑃(𝑖 − 5))/𝑃(𝑖 − 5) ∗ 100 (𝑃(𝑖) − 𝑃(𝑖 − 10))/𝑃(𝑖 − 10) ∗ 100 (𝑃(𝑖) − 𝑃(𝑖 − 15))/𝑃(𝑖 − 15) ∗ 100 (𝑃(𝑖) − 𝑃(𝑖 − 20))/𝑃(𝑖 − 20) ∗ 100 ̅̅̅̅̅̅̅̅̅̅̅ ̅̅̅̅̅̅ ∗ 100 (𝑃(𝑖 + 5) − ̅̅̅̅̅̅ 𝑃(𝑖))/𝑃(𝑖) ̅̅̅̅̅̅ ̅̅̅̅̅̅̅̅̅̅̅ 𝑃(𝑖) = 𝐸𝑀𝐴3 (𝑖) Trong đó, P(i) số giá đóng phiên ngày thứ i, RPD-m tỷ lệ khác biệt trung bình m ngày (m-day relative difference in percentage of price – RDP) EMAm (i) m-day exponential moving average giá đóng phiên ngày thứ i Tiền xử lý liệu vào Trong nghiên cứu này, chúng tơi sử dụng thuật tốn phân cụm SOM (Self-Organizing Map) để phân liệu đầu vào thành cụm theo tương đương phân bố thống kê điểm liệu Kết phân cụm SOM giúp giải hai vấn đề [12]: Nguyễn Đức Hiển 237 1) Kích thước liệu cụm nhỏ làm tăng tốc độ học mơ hình 2) Dữ liệu cụm có tương đương phân bố thống kê, hạn chế trường hợp nhiễu Trích xuất mơ hình mờ fm-SVM* Mỗi cụm liệu vào phân tách SOM đưa vào huấn luyện cho máy fm-SVM* tương ứng để trích xuất luật mờ Các tập luật mờ trích xuất từ máy fm-SVM* tương ứng với cụm liệu huấn luyện sử dụng để suy luận dự đoán giá cổ phiếu Những luật mờ khai phá từ liệu phân thành cụm riêng biệt cải thiện tính “có thể diễn dịch được”, chuyên gia người diễn dịch thành luật ngơn ngữ từ hiểu đánh giá luật 4.2 Kết thực nghiệm Để đánh giá mơ hình đề xuất, chúng tơi xây dựng hệ thống thử nghiệm dựa công cụ Matlab Thuật toán học SVM thư viện LIBSVM phát triển nhóm Chih-Wei Hsu [11], sử dụng để sản sinh SVs từ liệu huấn luyện, làm sở để xây dựng thuật tốn trích xuất luật mờ fm-SVM* Việc phân cụm liệu đầu vào thực dựa công cụ SOM phát triển Juha Vesanto đồng [15] Sau cùng, sử dụng hàm AVALFIS thư viện công cụ Matlab Fuzzy Logic để suy luận dự báo giá cổ phiểu dựa vào luật mờ sản xuất Nguồn liệu Nguồn liệu thực nghiệm chọn từ bốn mã cố phiếu tập đồn tổ chức tài lớn Mỹ bao gồm: IBM Corporation stock (IBM), the Apple inc stock (APPL), the the Standard & Poor’s stock index (S&P500), and the Down Jones Industrial Average index (DJI) (xem bảng 3) Tất liệu lấy từ nguồn sàn chứng khoán Yahoo Finance (http://finance.yahoo.com/) Bảng Nguồn liệu thực nghiệm Stocks IBM Corporation stock (IBM) Apple inc stock (APPL) Standard & Poor’s stock index (S&P500) Down Jones Industrial Average index (DJI) Time 03/01/2000 - 30/06/2010 03/01/2000 - 30/06/2010 Training 2409 2409 Validation Testing 200 200 200 200 03/01/2000 - 23/12/2008 2028 200 200 02/01/1991 - 28/03/2002 2352 200 200 Các kết thực nghiệm Các tập liệu Training sử dụng để huấn luyện cho mơ hình để tạo tập luật mờ tương ứng với mã cổ phiếu Các tập liệu Validation sử dụng để suy luận thử với tập luật mờ tương ứng với mã cổ phiểu Từ đó, tham số ε k (số phân cụm k-Means) xác định cách tùy chỉnh để có giá trị thơng số đánh giá tốt nhất, gồm NMSE (Nomalized Mean Squared Error), MAE (Mean Absolute Error), DS (Directional Symmetry) Trong NMSE MAE đo lường độ lệch giá trị thực tế giá trị dự đoán, DS đo lường tỷ lệ dự đoán xu hướng giá trị RDP+5 Giá trị tương ứng NMSE MAE nhỏ DS lớn chứng tỏ mơ hình dự đốn tốt Mơ hình kết tối ưu hóa tham số cách tinh chỉnh tập liệu Validation sử dụng để dự đoán tập liệu Testing Bên cạnh đó, chúng tơi thử nghiệm dự đoán liệu Testing với mơ hình khác đề xuất trước đó, bao gồm SVM, mơ hình kết hợp SOM+SVM SOM+f-SVM Mơ hình SOM+SVM mơ hình 238 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC dựa kết hợp SOM SVM, đề xuất để dự đoán xu hướng cổ phiếu [16] Mơ hình SOM+f-SVM mơ hình kết hợp SOM với f-SVM túy (chưa tối ưu tham số ε) Kết thực nghiệm dự đoán 200 mẫu liệu testing thể bảng Bảng Kết dự đoán 200 mẫu liệu thử nghiệm Mã cổ phiếu NMSE SVM MAE DS NMSE MAE DS IBM APPL SP500 DJI 0.0191 0.0110 0.0394 0.0576 38.31 34.33 38.90 38.31 1.1028 1.1100 1.1081 1.0676 0.0577 0.0445 0.1217 0.1186 44.22 52.76 52.76 50.25 0.9278 1.0725 1.2687 1.1015 SOM+SVM SOM+f-SVM Số luật 1355 1287 965 1025 NMSE MAE 1.1028 1.1100 1.1081 1.0676 0.0577 0.0445 0.1217 0.1186 SOM+ fm-SVM* DS 44.22 52.76 52.76 50.25 Số luật 15*6 5*55 15*6 5*35 NMSE MAE 1.0324 1.0467 1.0836 1.0459 0.0554 0.0435 0.1207 0.1181 DS 50.75 53.27 53.27 51.76 So sánh giá trị thông sô MNSE MAE Bảng ta thấy, mã cổ phiếu, giá trị thông số MNSE MAE mô hình SOM+fm-SVM đề xuất nhỏ so với mơ hình SVM, điều chứng tỏ độ sai lệch giá trị dự đoán giá trị thực tế mơ hình đề xuất so với hai mơ hình Bên cạnh đó, ta thấy giá trị thơng số DS mơ hình đề xuất lớn so với mơ hình SVM, điều chứng tỏ tỷ lệ dự đốn xu hướng mơ hình đề xuất cao So sánh kết mô hình SOM+ fm-SVM* đề xuất với mơ hình SOM+SVM SOM+ fm-SVM* Bảng 4, ta thấy giá trị thơng số hai mơ hình tương đương Điều dễ dàng lý giải được, thuật tốn f-SVM fm-SVM* rút trích tập luật mờ dùng cho mơ hình dự đốn từ máy SVMs, mơ hình dự đoán đề xuất kết hợp SOM với f-SVM fm-SVM* thừa hưởng hiệu mơ hình SOM+SVM điều tất yếu Tuy nhiên, so với mơ hình dự đốn SOM+SVM mơ hình mơ hình mờ TSK có ưu điểm sau: 1) Mơ hình dự đốn SOM+SVM mơ hình “hộp đen” người dùng cuối, mơ hình đề xuất cho phép trích xuất tập luật mờ q trình suy luận thực tập luật Đối với người dùng cuối mơ hình suy luận dựa tập luật mờ dễ hiểu sáng tỏ 2) Ngoài việc áp dụng SOM để phân cụm liệu đầu vào thành tập nhỏ riêng biệt, bên cạnh hiệu mang lại giảm kích thước liệu vào từ làm giảm độ phức tạp thuật toán, tập luật sinh phân thành cụm riêng biệt tương ứng, điều góp phần giúp cho chuyên gia người dễ dàng đọc hiểu phân tích luật mờ học Điểm cải thiện mơ hình dựa fm-SVM* so với mơ hình dựa f-SVM số luật mờ trích xuất mơ hình dự đốn Ví dụ, mã cổ phiếu IBM, tổng số luật mờ theo mô hình SOM+f-SVM 1355, với mơ hình SOM+fm-SVM* có 90 luật (15*6) Như vậy, số luật mờ mơ hình đề xuất giảm nhiều so với mơ hình SOM+f-SVM, tính xác kết dự đoán đảm bảo Kết luận Nghiên cứu đề xuất số giải pháp để tối ưu hóa mơ hình mờ TSK trích xuất từ máy học véc-tơ hỗ trợ giải toán dự báo hồi quy Thuật toán fm-SVM* đề xuất cho phép điều chỉnh lựa chọn giá trị tối ưu tham số ε k sở sử dụng tập liệu Validation Nguyễn Đức Hiển 239 Các kết thực nghiệm liệu Testing cho thấy mơ hình dự đốn đề xuất thật mạng lại hiệu thể chỗ: độ xác kết dự đoán cao tương tương đương so với mơ hình khác, thể qua giá trị thông số NMSE, MAE DS, số lượng luật mờ mơ hình rút gọn đáng kể Như trình bày phần báo, hiệu mang lại việc rút gọn gom cụm luật mờ trích xuất giảm độ phức tạp trình suy luận, đồng thời giúp cho việc diễn dịch phân tích luật dễ dàng Trong nghiên cứu tiếp theo, nghiên cứu giải pháp để tích hợp luật chuyên gia với tập luật mờ hướng liệu nhằm nâng cao hiệu dự đoán Tài liệu tham khảo J Shawe-Taylor and N Cristianini: “Kernel Methods for Pattern Analysis”, Cambridge University Press (2004) Corinna Cortes and Vladimir Vapnik: “Support-Vector Networks, Machine Learning”, Machine Learning, 20, 273-297 (1995) J.-H Chiang, P.-Y Hao: “Support vector learning mechanism for fuzzy rule-based modeling: a new approach”, IEEE Trans On Fuzzy Systems, vol 12, pp 1-12 (2004) J.L Castro, L.D Flores-Hidalgo, C.J Mantas, J.M Puche: “Extraction of fuzzy rules from support vector machines”, Elsevier Fuzzy Sets and Systems, 158, 2057–2077 (2007) J.-S R Jang: “Anfis: adaptive-network-based fuzzy inference system”, IEEE Transactions on Systems, Man and Cybernetics, vol 23, no 3, pp 665-685 (1993) David Martens, Johan Huysmans, Rudy Setiono, Jan Vanthienen, Bart Baesens: “Rule Extraction from Support Vector Machines - An Overview of issues and application in credit scoring”, Studies in Computational Intelligence (SCI) 80: 33–63 (2008) M Azeem, M Hanmandlu, N Ahmad: “Generalization of adaptive neuro-fuzzy inference systems”, IEEE Transactions on Neural Networks, vol 11, no S Chen, J Wang, D Wang: “Extraction of fuzzy rules by using support vector machines”, IEEE, Computer society, pp 438-441 (2008) Serge Guillaume, Luis Magdalena: “Expert guided integration of induced knowledge into a fuzzy knowledge base”, Soft Comput, Springer-Verlag 2006, 10:733-784 (2006) 10 Y Jin, B Sendhoff: “Extracting interpretable fuzzy rules from RBF networks”, Neural Processing Letters, vol 17, no 2, pp 149-164 (2003) 11 Chih-Wei Hsu, Chih-Chung Chang, Chih-Jen lin: “A practical Guide to Support Vector Classification”, http://www.csie.ntu.edu.tw/~cjlin/libsvm/ (2010) 12 Francis Eng Hock Tay and Li Yuan Cao: “Improved financial time series forecasting by combining Support Vector Machines with self-organizing feature map”, Intelligent Data Analysis 5, IOS press: 339-354 (2001) 13 L.J.Cao and Francis E.H.Tay: “Support vector machine with adaptive parameters in Financial time series forecasting”, IEEE trans on neural network,vol 14, no (2003) 14 John Yen, Reza Langari, “Fuzzy logic: Intelligence, Control, and Information”, Prentice hall, Uper dadle river, New Jersey (1999) 15 Juha Vesanto, Johan Himberg, Esa Alhoniemi, Jaha Parhankangas, “SOM Toolbox for Matlab 5”, http://www.cis.hut.fi/projects/som-toolbox/ (2000) 16 Duc-Hien Nguyen, Manh-Thanh Le: “A two-stage architecture for stock price forecasting by combining SOM and fuzzy-SVM”, International Journal of Computer Science and Infor-mation Security (IJCSIS), USA, ISSN: 1947-5500, Vol 12 No 8: 20-25 (2013)  ... trích xuất mơ hình mờ TSK từ máy học Véc-tơ hỗ trợ Thuật toán trích xuất mơ hình mờ TSK có tích hợp số giải pháp tối ưu mơ hình 3.1 Tối ưu hóa tham số hàm thành viên Những tham số hàm thành viên tối. .. đề xuất số giải pháp để tối ưu hóa mơ hình mờ TSK trích xuất từ máy học véc-tơ hỗ trợ giải toán dự báo hồi quy Thuật toán fm-SVM* đề xuất cho phép điều chỉnh lựa chọn giá trị tối ưu tham số ε... tốn trích xuất tập luật mờ TSK Thuật tốn fm-SVM* cho phép trích xuất mơ hình mờ TSK từ máy học véc-tơ hỗ trợ gồm bước nhưu sau: Bước 1: huấn luyện SVMs với tập liệu huấn luyện để trích xuất véc-tơ