Tiểu mục này trình bày các phân tích kết quả thực nghiệm của hệ phân lớp được đề xuất, trong đó thuật toán đồng tối ưu PSO được áp dụng để tối ưu đồng thời các tham số ngữ nghĩa và lựa chọn hệ luật tối ưu.
2.3.2.1. Cài đặt thực nghiệm
Cũng giống như quy trình đã nêu trong 2.1.3.1 các thực nghiệm được cài đặt bằng ngôn ngữ lập trình C#, các tập dữ liệu thực nghiệm trong Bảng PL1.2 được trình bày trong phần Phụ lục và phương pháp kiểm tra chéo 10-folds được áp dụng. Các tham số tính mờ của ĐSGT và các tham số của PSO được thể hiện trong Bảng 2.3, chỉ có điểm khác là số thế hệ của thuật toán PSO đa mục tiêu tối ưu hệ luật là
500 và số luật khởi tạo là no_attrs × no_labels × 10, trong đó no_attrs là số biến và
no_labels là số nhãn lớp.
2.3.2.2. Kết quả và thảo luận
Với phương pháp thiết kế hai giai đoạn [59], [61], hai quá trình tối ưu là tách biệt và có thể bỏ sót phương án tối ưu. Chúng ta có thể kiểm chứng bằng cách phân tích dữ liệu theo từng thế hệ của thuật toán đồng tối ưu. Với tập dữ liệu Wine, số liệu thống kê trong lần chạy thứ hai với số thế hệ của vòng tối ưu bên ngoài (tối ưu giá trị của các tham số ngữ nghĩa) là 500. Bảng 2.16 thể hiện thuật toán đồng tối ưu cho kết quả tốt nhất trên tập kiểm tra (thu được sau khi chạy vòng trong tối ưu hệ luật) tại thế hệ của vòng tối ưu tham số thể hiện trên cột “Tốt nhất tại thế hệ” và ứng với độ chính xác trên tập huấn luyện được thể hiện trên cột “Độ chính xác trên tập huấn luyện tại thế hệ tốt nhất” và kết quả tốt nhất này được thể hiện ở cột “Độ chính xác trên tập kiểm tra” (cột 4). Cột “Độ chính xác trên tập huấn luyện tại vòng lặp cuối cùng” thể hiện rằng, tuy độ chính xác trên tập huấn luyện thu được tại thế hệ cuối cùng của vòng tối ưu tham số có thể tốt hơn tại thế hệ “Độ chính xác trên tập huấn luyện tại thế hệ tốt nhất” nhưng cho độ chính xác phân lớp trên tập kiểm tra thu được sau khi
tối ưu hệ luật (cột 6) có thể không tốt hơn. Ta có thể thấy kết quả này tại các nhóm (folder) 2, 5 và 11. Điều này minh chứng rằng các giá trị của các tham số ngữ nghĩa tương ứng với độ chính xác cao nhất trên tập huấn luyện thu được (ở thế hệ cuối cùng) sau khi thực hiện tối ưu các tham số ngữ nghĩa không luôn cho hệ luật phân lớp tối ưu sau khi tối ưu hệ luật. Ví dụ, quan sát trong Bảng 2.16 cho thấy rằng nhóm
2 đạt độ chính xác trên tập huấn luyện là 98,88% tại thế hệ thứ 23, kém hơn độ
chính xác tốt nhất trên tập huấn luyện tại thế hệ cuối cùng (của vòng tối ưu tham số ngữ nghĩa) là 99,44% nhưng bộ giá trị tham số ngữ nghĩa thu được tại thế hệ thứ 23 lại cho độ chính xác trên tập kiểm tra sau khi tối ưu hệ luật tốt hơn so với bộ tham số ngữ nghĩa thu được tại thế hệ cuối cùng (tương ứng là 100% và 94,44%).
Để thuận tiện cho việc trình bày, ký hiệu phương pháp phân lớp theo tiếp cận
ĐSGT theo hai giai đoạn là HATF [61] và theo đồng tối ưu được đề xuất là HACO.
Bảng 2.16. Dữ liệu thống kê trong lần chạy thứ hai đối với tập dữ liệu Wine.
Folder 1 2 3 4 5 6 7 8 9 10
Các kết quả thực nghiệm và so sánh giữa hai hệ phân lớp trên tập dữ liệu kiểm tra và độ phức tạp của hệ phân lớp được thể hiện trong Bảng 2.17. Bảng 2.17 cho thấy hệ phân lớp HACO có độ chính xác phân lớp trên tập kiểm tra tốt hơn so với hệ phân lớp HATF đối với 20 trên 23 tập dữ liệu được thực nghiệm. Xét trên độ chính xác phân lớp trung bình trên tập kiểm tra, hệ phân lớp HACO có độ chính xác
phân lớp trung bình cao hơn và có độ phức tạp của hệ phân lớp thấp hơn so với hệ phân lớp HATF (82,95% và 112,73 tương ứng so với 82,67% và 114,78).
Để đảm bảo ý nghĩa so sánh giữa các kết quả thực nghiệm của hai phương pháp thiết kế hệ phân lớp, phương pháp kiểm định thống kê Wilcoxon với = 0,05 được sử dụng để kiểm tra giả thuyết tương đương. Kết quả kiểm định giá thuyết thống kê đối với độ chính xác phân lớp được thể hiện trong Bảng 2.17 chỉ ra rằng hệ phân lớp
HACO tốt hơn hệ phân lớp HATF vì giá trị p-value = 0,0011184 nhỏ hơn = 0,05, do
đó giả thuyết tương đương giữa hai hệ phân lớp bị bác bỏ và giá trị trung bình của độ chính xác phân lớp của HACO cao hơn HATF. Kết quả kiểm định giả thuyết thống kê đối với độ phức tạp của hệ phân lớp được thể hiện trong Bảng 2.18 chỉ ra rằng hai hệ phân lớp HACO và HATF có độ phức tạp tương đương nhau do giá trị
p-value lớn hơn = 0,05, do đó giả thuyết tương đương về độ phức tạp giữa hai hệ
phân lớp không bị bác bỏ. Dựa trên kết quả kiểm định này, chúng ta có thể kết luận rằng hệ phân lớp HACO tốt hơn hệ phân lớp HATF.
Bảng 2.17. Các kết quả thực nghiệm và so sánh giữa hai hệ phân lớp HACO và
HATF.
No, Dataset name
1 Appendicitis 2 Australian 3 Bands 4 Bupa 5 Cleveland 6 Dermatology 7 Glass 8 Haberman 9 Hayes-roth 10 Heart 11 Hepatitis 12 Ionosphere 13 Iris 14 Mammogr, 15 Newthyroid 16 Pima 17 Saheart
18 Sonar 19 Tae 20 Vehicle 21 Wdbc 22 Wine 23 Wisconsin Mean download by : skknchat@gmail.com
Bảng 2.18. Kiểm định giả thuyết tương đương đối với độ chính xác phân lớp giữa hai hệ phân lớp HACO và HATF.
VS
HACO vs HATF
Bảng 2.19. Kiểm định giả thuyết tương đương đối với độ phức tạp của hai hệ phân lớp HACO và HATF.
VS
HACO vs HATF