Luận án tiến hành thử nghiệm theo quy trình thực nghiệm trình bày trong mục 2.1.2.2 để đối sánh với kết quả thực nghiệm của các thuật toán PAESKB trong [13] và HA-PAES-MG-Kmax trong [62]. PAESKB tiếp cận dựa trên lý tuyết tập mờ, các tập mờ được biểu diễn bằng bộ 2 (two-tuples), các luật mờ được sinh ra bằng tổ hợp ngẫu nhiên các từ ngôn ngữ sử dụng trên mỗi biến, quá trình tối ưu hóa tham số tập mờ và hệ luật cũng bằng thuật toán (2+2)M-PAES trong [22]. HA-PAES-MG-Kmax tiếp cận
dựa trên lý thuyết ĐSGT, các tham số tập mờ được xác định dựa trên tham số mờ của ĐSGT, luật mờ được sinh ra dựa trên mẫu dữ liệu, quá trình tối ưu hóa tham số
tập mờ và hệ luật cũng bằng thuật toán (2+2)M-PAES trong [22]. Nghiên cứu chọn
2 thuật toán này để so sánh do nó cùng sử dụng thuật toán tiến hóa (2+2)M-PAES và nhằm chứng tỏ độ chính xác của phương pháp sinh luật dựa trên cây quyết định.
Để công bằng trong đối sánh độ chính xác của các phương pháp, nghiên cứu sử dụng dạng phân hoạch mờ và các tham số thử nghiệm tương tự như các phương pháp được so sánh. Phân hoạch mờ được sử dụng có dạng đa thể hạt, các tập mờ có
dạng tam giác, độ dài tối đa của các hạng từ được sinh ra bằng ĐSGT là k = 3 cho
tất cả các biến đầu vào và đầu ra.
Mỗi lần thử nghiệm tiến hành thực hiện pha thứ nhất bằng cách chạy thuật toán
OptHAParams để tìm bộ tham số mờ của ĐSGT cho tất cả các biến, bộ tham số tìm
được là đầu vào của thuật toán HA-De-PAES. Để giảm thời gian xây dựng cây quyết định ở pha 1, luận án giới hạn chiều cao tối đa của cây được sinh ramax = 2, và giới hạn chiều dài của luật được sinh ra trong pha 2 luận án thiết lậpmax = min{#NoA,5}.
Thực hiện đối sánh kết quả thu được của thuật toán đề xuất với các thuật toán
HA-PAES-MG-Kmax và PAESKB tại điểm FIRST của mặt Pareto. Nhắc lại điểm
FIRST là điểm tương ứng với hệ luật có nhỏ nhất. Ký hiệuMSETr ¸MSETs lần lượt
là giá trị MSE trung bình, trên tập dữ liệu huấn luyện (Tr) và tập dữ liệu kiểm tra (Ts),
là trung bình phương sai trên tập kiểm tra,
phức tạp và trung bình số luật của hệ luật.
Bảng 2.10. Các tham số thử nghiệm pha 1, tìm tham số tối ưu
min = 0,3
max = 0,7
Lchrom = 8 Pcross= 0,7
Pmu = 0,1
Bảng 2.11. Các tham số thử nghiệm pha 2 tìm kiếm hệ luật tối ưu
MaxArchive = 64 max = 5 Mmin = 5 PcRB = 0,3 PmRB = 0,1 PAdd = 0,75 MSETr
Bảng 2.12. So sánh kết quả thử nghiệm thuật toán HA-De-PAES (HADe) với các thuật
toán HA-PAES-MG-Kmax (HATg), PAESKB tại điểm FIRST.
Tập dữ # liệu PAESKB ELE1 27,0 ELE2 30,0 WA 28,0 WI 25,0 TR 11,0 AB 29,0 MTG 12,0 CA 10,0 PT 14,0
Luận án tiến hành phân tích theo phương pháp thống kê phi tham số wilcoxon
theo 2 mục tiêu là độ phức tạp Comp và độ chính xác MSE với mức ý nghĩa =0,1.
Kết quả thống kê trong Bảng 2.13, 2.14 và 2.15. Từ Bảng 2.13 ta thấy giá trị Exact
P-value > = 0,1, do đó giả thiết (H0) là “độ phức tạp của các hệ luật được tạo ra bởi
hai thuật toán là như nhau” được chấp nhận. Như vậy, độ phức tạp của hệ luậtđược
xây dựng bởi thuật toán đề xuất trong nghiên cứu này không có sự khác biệt với các thuật toán được so sánh.
Bảng 2.13. So sánh độ phức tạp của hệ luật sử dụng wilcoxon-test với mức =0,1
So sánh với PAES-KB HA-Tg
Bảng 2.14. So sánh sai số MSE trên tập huấn luyện sử dụng wilcoxon-test với mức =0,1
So sánh với PAES-KB HA-Tg
Bảng 2.15. So sánh sai số MSE trên tập kiểm tra sử dụng wilcoxon-test với mức =0,1
So sánh với PAES-KB HA-Tg
Từ kết quả phân tích Bảng 2.13 cho thấy giá trị Exact P-value < = 0,1, do đó giả
nhau” bị loại bỏ. Như vậy có sự khác biệt giữa giá trị MSE của các hệ luật được
sinh ra từ thuật toán được đề xuất trong nghiên cứu với giá trị MSE của các hệ luật
được sinh ra từ các thuật toán đối sánh. Từ Bảng 2.12 ta thấy giá trị MSE của các hệ luật được sinh ra từ thuật toán HA-De-PAES tốt hơn trên hầu hết các tập dữ liệu trừ tập dữ liệu AB. Kết phân tích trong bảng 2.15 cho thấy giá trị Exact P-value > = 0,1, do đó giả thiết (H0) là “độ chính xác của các hệ luật trên tập kiểm tra của thuật toán là như nhau” được chấp nhận. Mặc dù không có sự khác biệt giữa độ chính xác trên tập kiểm tra của các hệ luật được sinh ra bởi thuật toán đề xuất trong luận án này nhưng từ Bảng 2.12 cho thấy độ chính xác của thuật toán đề xuất chỉ kém các thuật toán được đối sánh trên một tập dữ liệu, tốt hơn trên 8 tập dữ liệu nên có thể kết luận rằng thuật toán đề xuất tốt hơn các thuật toán đối sánh trên mục tiêu độ chính xác.