Để so sánh tính hiệu quả của thuật tốn tối ưu MOPSO so với thuật tốn di truyền lai GSA trong thiết kế tự động FLRBC với ngữ nghĩa tính tốn của các từ ngơn ngữ được xác định dựa trên ĐSGT AX, các thực nghiệm của các hệ phân lớp được tiến hành đối với 17 tập dữ liệu được lựa chọn trong [57]. Các kết quả thực nghiệm và so sánh được thể hiện trong Bảng 3.1.
Theo cảm nhận trực giác về các kết quả thực nghiệm trong Bảng 3.1, phương pháp tối ưu MOPSO cho độ chính xác trên tập kiểm tra cao hơn so với phương pháp
kết quả trung bình của độ chính xác trên tập kiểm tra và độ phức tạp của hệ luật đối với 17 tập dữ liệu được thực nghiệm ta thấy, phương pháp tối ưu MOPSO cho hiệu quả phân lớp trung bình trên tập kiểm tra cao hơn (80,83% so với 80,50%) và cĩ độ phức tạp trung bình của các hệ luật thấp hơn (141,64 so với 177,49) đáng kể so với phương pháp tối ưu GSA. Tuy nhiên, để biết sự khác biệt của kết quả thực nghiệm trong Bảng 3.1 thực sự cĩ ý nghĩa hay khơng ta phải dựa vào kết quả kiểm định giả thuyết thống kê.
Bảng 3.1. Các kết quả thực nghiệm của hệ phân lớp dựa trên ĐSGT truyền thống AX
sử dụng thuật tốn MOPSO so với sử dụng GSA đối với 17 tập dữ liệu mẫu.
STT Tập dữ liệu MOPSO GSA ≠Pte ≠R×C #R #C Ptr Pte #R #C Ptr Pte 1 Aus 4,10 36,20 88,06 86,38 5,00 43,00 87,83 86,18 0,2 -6,80 2 Ban 6,00 52,20 76,17 72,80 6,00 83,40 75,57 70,63 2,7 -31,20 3 Bup 8,83 187,20 78,13 68,09 8,97 196,37 77,40 67,71 0,38 -9,17 4 Cle 15,93 657,43 72,44 62,19 18,97 966,04 77,08 61,20 0,99 -308,61 5 Der 10,90 198,05 98,03 96,07 10,93 194,61 98,82 95,52 0,55 3,44 6 Gla 13,20 343,60 80,45 72,09 14,87 468,80 80,90 73,95 -1,86 -125,20 7 Hab 3,00 10,20 76,91 75,76 3,00 11,30 76,78 75,11 0,65 -1,10 8 Hea 7,67 122,2 89,63 84,44 8,00 134,13 89,12 84,94 -0,50 -11,41 9 Ion 8,97 90,33 95,35 90,22 8,00 91,73 94,60 90,21 0,01 -1,40 10 Mam 6,90 92,25 86,05 82,20 6,87 81,71 85,72 84,33 -0,13 10,54 11 Pim 5,97 60,90 78,28 76,18 5,00 51,17 79,03 75,70 0,48 9,73 12 Sah 6,30 86,75 76,35 69,33 7,00 107,57 74,91 68,99 0,34 -20,82 13 Son 6,80 79,76 88,39 76,80 7,00 84,00 88,59 76,73 0,07 -4,24 14 Veh 11,60 242,79 70,30 67,62 11,93 324,98 70,59 67,46 0,16 -82,20 15 Wdb 4,87 37,35 97,62 96,96 4,97 45,86 96,51 94,90 2,06 -8,51 16 Win 5,57 35,82 99,88 98,30 5,73 65,17 99,79 98,30 0 -29,35 17 Wis 6,93 74,36 97,81 96,74 5,97 67,42 98,38 96,72 0,02 6,94 Trung bình 141,64 85,26 80,83 177,49 85,39 80,50
Để thực hiện kiểm định giả thuyết thống kê, ta giả sử độ chính xác và độ phức tạp của hệ phân lớp sử dụng hai phương pháp tối ưu MOPSO và GSA là tương đương nhau (null-hypothesis). Thực hiện phương pháp kiểm tra Wilcoxon Signed Rank sử dụng dữ liệu trong Bảng 3.1 để so sánh độ chính xác và độ phức tạp tương ứng của hai hệ phân lớp sử dụng hai phương pháp tối ưu MOPSO và GSA. Các kết quả kiểm tra về độ chính xác và độ phức tạp giữa hai hệ phân lớp lần lượt được thể hiện trong Bảng 3.2 và Bảng 3.3.
Bảng 3.2. So sánh độ chính xác của hệ phân lớp dựa trên ĐSGT AX sử dụng thuật tốn MOPSO so với GSA bằng kiểm định Wilcoxon Signed Rank với α = 0,05.
So sánh (α = 0,05) R+ R- Exact p-value
Asymp.
p-value Hypothesis MOPSO vs GSA 108,0 28,0 0,03864 0,036242 Rejected
Bảng 3.3. So sánh độ phức tạp của hệ phân lớp dựa trên ĐSGT AX sử dụng thuật tốn MOPSO so với GSA bằng kiểm định Wilcoxon Signed Rank với α = 0,05.
So sánh (α = 0,05) R+ R- Exact p-value
Asymp.
p-value Hypothesis MOPSO vs GSA 125,0 28,0 0,02016 0,020364 Rejected
Theo các kết quả kiểm định giả thuyết thống kê trong Bảng 3.2 và Bảng 3.3, tất cả các giá trị Exact p-value đều nhỏ hơn0,05 nên cả hai giả thuyết tương đương về độ chính xác và độ phức tạp giữa hệ phân lớp dựa trên ĐSGT AX sử dụng thuật tốn tối ưu MOPSO và sử dụng thuật tốn tối ưu GSA đều bị bác bỏ. Do đĩ, ta cĩ thể kết luận rằng tiếp cận thiết kế hệ phân lớp dựa trên phương pháp luận ĐSGT AX sử dụng thuật tốn tối ưu MOPSO cho kết quả tốt hơn so với sử dụng thuật tốn tối ưu GSA được sử dụng trong [6, 56] đối với cả hai tiêu chí về độ chính xác và độ phức tạp của hệ phân lớp.