Bảng sau biểu diễn giá trị sai số thử nghiệm của các thuật toán trên 25 tập dữ liệu. Thuật toán VIGO là thuật toán dựa trên Bayes do tác giả và đồng nghiệp đề xuất năm 2016. Ngoài ra, thuật toán RP Hoeffding là thuật toán dựa trên cây Hoeffding và ma trận ngẫu nhiên.
Tập dữ liệu Online Hoeffding Online Bagging PA SCW AROW VIGO RP Hoeffding Trung bình Phương sai Trung bình Phương sai Trung bình Phương sai Trung bình Phương sai Trung bình Phương sai Trung bình Phương sai Trung bình Phương sai banana 3.70E-01 3.42E-04 3.53E-01 1.30E-04 4.83E-01 5.85E-05 4.51E-01 1.57E-03 4.49E-01 3.31E-04 3.93E-01 7.88E-05 3.13E-01 7.23E-05 breast-cancer 4.39E-02 6.86E-06 4.79E-02 1.95E-05 2.04E-01 8.17E-05 1.66E-01 9.92E-05 1.45E-01 5.77E-05 6.38E-02 2.84E-05 3.94E-02 6.20E-06 haberman 2.66E-01 1.14E-04 2.64E-01 9.14E-05 3.86E-01 5.04E-04 2.87E-01 2.05E-04 2.64E-01 7.84E-05 2.62E-01 1.86E-04 2.69E-01 7.27E-05 hepatitis 2.01E-01 1.39E-04 1.34E-01 3.20E-04 2.66E-01 1.24E-03 2.47E-01 8.25E-04 1.93E-01 9.13E-04 1.58E-01 3.35E-04 1.93E-01 6.88E-05 ionosphere 1.35E-01 1.92E-04 1.81E-01 4.44E-04 2.28E-01 2.76E-04 1.93E-01 1.84E-04 1.76E-01 1.16E-04 9.58E-02 9.46E-05 1.75E-01 2.19E-04 ring1 2.71E-02 1.65E-06 2.33E-02 6.88E-07 3.14E-01 1.11E-05 2.83E-01 6.90E-06 2.65E-01 3.54E-06 3.43E-03 1.90E-06 2.31E-02 6.71E-07 sonar 3.20E-01 3.39E-04 3.38E-01 5.32E-04 4.32E-01 5.58E-07 2.91E-01 5.82E-08 2.75E-01 3.09E-07 2.51E-01 4.54E-09 3.06E-01 1.44E-04 spambase 2.08E-01 2.21E-05 1.83E-01 2.47E-05 3.32E-01 2.61E-05 1.13E-01 1.01E-05 9.71E-02 2.71E-05 1.67E-01 2.08E-05 3.24E-01 3.04E-05 tic-tac-toe 3.11E-01 9.20E-05 3.24E-01 1.20E-04 4.37E-01 2.40E-04 3.57E-01 7.22E-05 3.39E-01 7.52E-05 2.77E-01 9.09E-05 3.47E-01 2.40E-05 titanic 2.33E-01 7.78E-05 2.27E-01 7.07E-06 3.48E-01 6.47E-05 2.31E-01 6.34E-06 2.36E-01 7.82E-05 2.30E-01 1.23E-05 2.31E-01 3.19E-06 two norm 3.14E-02 2.22E-06 2.53E-02 8.45E-07 3.60E-02 2.06E-06 2.80E-02 1.11E-06 2.45E-02 7.63E-07 2.94E-02 1.15E-06 2.40E-02 4.76E-07 wdbc 7.29E-02 2.05E-05 7.42E-02 3.84E-05 6.27E-01 1.77E-30 6.27E-01 1.77E-30 6.28E-01 1.83E-06 6.84E-02 3.60E-05 8.79E-02 2.16E-05 balance 1.37E-01 6.63E-05 1.35E-01 5.26E-05 2.09E-01 9.15E-05 1.36E-01 5.21E-05 1.34E-01 4.30E-05 1.45E-01 1.30E-04 1.29E-01 2.17E-05 conn bench vowel 4.11E-01 5.99E-05 4.06E-01 2.60E-04 7.66E-01 3.06E-04 6.10E-01 4.22E-04 6.20E-01 4.52E-04 2.71E-01 1.40E-04 3.68E-01 2.16E-04 dermatology 9.40E-02 1.20E-04 1.47E-01 1.12E-04 5.30E-01 4.05E-04 1.17E-01 7.37E-05 8.73E-02 1.87E-04 7.91E-02 5.59E-05 2.75E-01 5.59E-04 iris 9.40E-02 1.20E-04 1.04E-01 1.87E-04 3.97E-01 1.13E-03 1.47E-01 1.76E-04 1.13E-01 8.45E-04 6.51E-02 8.16E-05 8.27E-02 6.40E-05 letter 3.68E-01 4.87E-06 3.65E-01 9.34E-06 5.33E-01 8.76E-06 4.85E-01 5.15E-04 4.62E-01 5.95E-04 1.45E-01 3.86E-06 3.66E-01 3.69E-05 libras 4.74E-01 1.42E-04 4.76E-01 3.25E-04 8.46E-01 2.67E-04 5.12E-01 3.99E-04 4.73E-01 6.55E-04 3.05E-01 1.64E-04 4.06E-01 2.84E-04 newthyroid 6.00E-02 4.95E-05 6.94E-02 8.40E-05 4.46E-01 4.73E-04 1.38E-01 1.49E-04 9.63E-02 6.22E-04 6.85E-02 5.76E-05 1.15E-01 2.50E-04 nursery 1.22E-01 1.65E-04 9.34E-02 2.17E-06 3.83E-01 1.12E-05 3.24E-01 1.22E-05 2.46E-01 5.23E-06 8.38E-02 7.38E-06 1.34E-01 4.43E-05 penbased 1.30E-01 2.87E-05 1.24E-01 1.98E-05 1.77E-01 5.75E-06 1.41E-01 2.98E-04 1.90E-01 9.66E-04 3.44E-02 2.03E-06 1.25E-01 2.70E-06 segment 2.15E-01 3.85E-05 2.11E-01 8.27E-05 4.49E-01 5.17E-05 1.59E-01 6.24E-04 2.44E-01 3.82E-03 1.17E-01 6.24E-05 2.51E-01 1.23E-05 vehicle 5.37E-01 3.12E-04 5.33E-01 2.18E-04 6.94E-01 2.64E-04 3.26E-01 4.73E-04 3.28E-01 9.43E-04 2.26E-01 8.77E-05 5.82E-01 1.44E-04 waveform_wo_noise 1.93E-01 1.33E-06 1.92E-01 4.66E-06 2.06E-01 1.83E-05 1.65E-01 1.25E-05 1.59E-01 3.30E-05 1.68E-01 1.05E-05 1.81E-01 2.40E-05 wine 8.26E-02 1.20E-04 8.86E-02 1.62E-04 6.53E-01 1.09E-03 2.46E-01 4.37E-04 1.17E-01 5.68E-04 1.08E-01 1.40E-04 2.99E-01 2.26E-04
*Giá trị in đậm minh họa cho thuật toán có độ sai số thấp nhất
Bảng 5.2: Trung bình và phương sai theo sai số của thuật toán đề xuất và các thuật toán so sánh
Từ bảng kết quả trên ta dễ thấy rằng, thuật toán VIGO đạt mức độ hiệu quả vượt trội hơn các thuật toán học máy trực tuyến nổi bật như AROW, Online Bagging và phân lớp đơn Hoeffding. Cụ thể hơn, giải thuật VIGO đạt độ sai số thấp nhất trên 16 tập dữ liệu trong khi các thuật toán so sánh chỉ tốt nhất trên 1-3 tập dữ liệu (ví dụ AROW tốt nhất trên 3 tập dữ liệubreast-cancer, spambasevàwaveform_wo_noise). Đồng thời ta cũng thấy rằng thuật toán VIGO thậm chí còn vượt trội hoàn toàn thuật toán PA và SCW khi hai thuật toán đó không đạt được sai số tốt nhất trên bất kỳ tập dữ liệu thử nghiệm nào. Bên cạnh đó, thuật toán dựa trên cây Hoeffding và ma trận ngẫu nhiên cũng cho kết quả khá tốt. Giải thuật này đạt độ sai số thấp nhất trên 4 tập dữ liệu và sai số trên các tập còn lại cũng tương đương với thuật toán VIGO. Từ đó, ta có thể khẳng định rằng mô hình đề xuất có hiệu năng cao hơn các thuật toán (benchmarks) được so sánh. Hình5.2mô tả thống kê về thuật toán có độ sai số thấp nhất trên 25 tập dữ liệu thử nghiệm.
VIGO RP Hoeffding AROW Online Bagging Hoeffding Tree 0
2 4 6 8 10 12 14
16 16
3 3
1
2
Thuật toán
Sốtậpdữliệucóđộsaisốtốtnhất
Hình 5.2: Thống kê độ hiệu quả của các thuật toán trên 25 tập dữ liệu
Ngược lại với giá trị độ sai số, thì giá trị F1 thể hiện mức độ phân loại hiệu quả của thuật toán. Đối với độ đo này, thuật toán nào đạt giá trị càng cao thì càng tốt hơn. Tác giả luận văn cũng tiến hành so sánh kết quả của các thuật toán dựa trên độ đo F1 vì giá trị độ sai số không phản ánh chính xác việc phân loại đúng nếu tập dữ liệu mất cân bằng. Bảng5.3mô tả chi tiết các giá trị F1 của các thuật toán trong thử nghiệm.
Từ bảng5.3ta quan sát được rằng, thuật toán VIGO đạt giá trị F1 cao nhất trên 12 tập dữ liệu, thuật toán AROW và thuật toán dựa trên cây Hoeffding và ma trận ngẫu nhiên có kết quả tốt nhất trên 4 tập dữ liệu. Các thuật toán khác như Online Bagging, Hoeffding Tree, SCW chỉ đạt được giá trị F1 tốt nhất trên 2 tập dữ liệu.
Tác giả luận văn tiến hành làm kiểm định thống kê để đảm bảo rằng các kết quả thử nghiệm sai số và F1 của các thuật toán là hoàn toàn khác biệt nhau. Hình sau mô tả kết quả kiểm định sai số của các thuật toán trong thử nghiệm. Ta dễ dàng thấy rằng thuật toán VIGO thắng các thuật toán so sánh (benchmarks) như PA, SCW, AROW trên 23 tập dữ liệu, chỉ thua trên 2 tập dữ liệu (thua trên tậpspambasevàwaveform_wo_noiseđối với thuật toán AROW). Ngoài ra, nếu chỉ xét thuật toán dựa trên cây Hoeffding và ma trận ngẫu nhiên cùng các thuật toán PA, SCW, AROW, Online Bagging và Online Hoeffding Tree thì thuật toán mà tác giả đề xuất chiến thắng trên toàn bộ tập dữ liệu thử nghiệm đối với thuật toán PA, thắng 16 thua 6 đối với thuật toán SCW. Hình sau mô tả kết quả kiểm định sai số của thuật toán dựa trên cây Hoeffding và ma trận ngẫu nhiên.
Tập dữ liệu Online Hoeffding Online Bagging PA SCW AROW VIGO RP Hoeffding Trung bình Phương sai Trung bình Phương sai Trung bình Phương sai Trung bình Phương sai Trung bình Phương sai Trung bình Phương sai Trung bình Phương sai banana 5.93E-01 7.74E-04 6.10E-01 2.72E-04 5.15E-01 5.11E-05 5.57E-01 1.31E-03 5.56E-01 1.75E-04 6.05E-01 6.12E-05 6.44E-01 1.51E-04 breast-cancer 9.52E-01 7.36E-06 9.48E-01 2.15E-05 7.56E-01 8.15E-05 8.20E-01 8.37E-05 8.37E-01 5.71E-05 9.23E-01 3.77E-05 9.57E-01 7.02E-06 haberman 5.11E-01 3.09E-03 5.28E-01 1.93E-03 4.99E-01 2.88E-04 5.51E-01 7.80E-04 5.18E-01 6.57E-04 5.77E-01 7.13E-04 4.79E-01 2.55E-03 hepatitis 5.62E-01 5.10E-03 6.78E-01 1.72E-03 5.15E-01 2.20E-03 5.64E-01 1.54E-03 6.62E-01 3.31E-03 6.12E-01 1.97E-03 5.03E-01 2.73E-03 ionosphere 8.53E-01 1.89E-04 8.09E-01 4.14E-04 7.42E-01 1.40E-04 7.82E-01 1.55E-04 7.89E-01 1.19E-04 8.87E-01 1.28E-04 8.11E-01 2.14E-04 ring1 9.73E-01 1.66E-06 9.77E-01 6.87E-07 6.74E-01 1.38E-05 7.02E-01 1.21E-05 7.19E-01 8.14E-06 9.60E-01 1.72E-06 9.77E-01 6.72E-07 sonar 6.78E-01 4.08E-04 6.61E-01 5.37E-04 5.68E-01 3.03E-04 7.07E-01 6.60E-04 7.27E-01 4.68E-04 7.30E-01 3.90E-04 6.88E-01 1.57E-04 spambase 7.91E-01 2.17E-05 8.16E-01 2.33E-05 6.42E-01 2.51E-05 8.84E-01 3.87E-06 9.00E-01 2.31E-05 8.24E-01 2.09E-05 6.00E-01 1.39E-04 tic-tac-toe 5.49E-01 1.09E-03 4.95E-01 1.28E-03 5.15E-01 3.03E-04 5.12E-01 5.65E-04 5.43E-01 2.08E-04 6.93E-01 7.16E-05 4.09E-01 2.31E-04 twonorm1 9.69E-01 2.22E-06 9.75E-01 8.45E-07 9.64E-01 1.03E-06 9.72E-01 6.53E-07 9.75E-01 5.70E-07 9.63E-01 1.74E-06 9.76E-01 4.76E-07 wdbc 9.22E-01 2.30E-05 9.20E-01 4.19E-05 6.34E-01 1.35E-04 8.99E-01 6.63E-05 9.36E-01 1.84E-05 9.04E-01 6.29E-05 9.04E-01 2.31E-05 balance 6.04E-01 1.40E-04 5.91E-01 1.17E-04 5.99E-01 1.91E-04 7.74E-01 3.75E-04 6.37E-01 1.19E-03 7.31E-01 2.78E-04 6.09E-01 5.25E-05 conn-bench-vowel 5.91E-01 6.55E-05 2.29E-01 2.99E-04 2.34E-01 1.93E-04 3.92E-01 3.86E-04 3.70E-01 3.47E-04 7.24E-01 1.44E-04 6.31E-01 2.51E-04 dermatology 8.36E-01 2.44E-04 5.43E-01 5.18E-04 4.45E-01 6.23E-04 9.04E-01 3.97E-05 9.09E-01 1.61E-04 8.89E-01 1.13E-04 6.87E-01 5.85E-04 iris 9.06E-01 1.17E-04 8.68E-01 3.63E-04 6.01E-01 1.43E-03 8.76E-01 3.27E-04 8.75E-01 8.31E-04 9.32E-01 1.10E-04 9.17E-01 6.07E-05 letter 6.28E-01 5.91E-06 1.36E-01 6.25E-06 4.64E-01 1.94E-06 5.06E-01 8.33E-04 5.19E-01 5.15E-04 8.53E-01 3.18E-06 6.21E-01 4.93E-05 libras 5.35E-01 1.23E-04 1.49E-01 1.95E-04 1.61E-01 1.77E-04 5.15E-01 5.31E-04 5.15E-01 1.08E-03 6.79E-01 1.86E-04 5.98E-01 2.16E-04 newthyroid 9.14E-01 9.10E-05 7.96E-01 5.91E-04 3.68E-01 1.05E-03 8.45E-01 2.03E-04 8.88E-01 4.53E-04 8.85E-01 1.88E-04 8.30E-01 4.78E-04 nursery 5.89E-01 7.71E-05 5.35E-01 4.09E-05 3.93E-01 1.25E-05 4.60E-01 1.24E-04 4.53E-01 3.80E-06 7.17E-01 6.66E-04 5.50E-01 6.88E-05 penbased 8.70E-01 3.07E-05 5.60E-01 9.61E-05 8.21E-01 6.68E-06 8.58E-01 4.47E-04 8.14E-01 1.29E-03 9.63E-01 1.88E-06 8.74E-01 3.32E-06 segment 7.71E-01 6.26E-05 5.95E-01 1.74E-04 5.49E-01 4.12E-05 8.41E-01 3.61E-04 7.71E-01 1.70E-03 8.94E-01 4.12E-05 7.30E-01 3.06E-05 vehicle 4.42E-01 5.18E-04 2.85E-01 1.93E-04 3.07E-01 9.83E-05 6.69E-01 2.53E-03 6.69E-01 1.12E-03 7.50E-01 7.90E-05 3.69E-01 2.64E-04 waveform_wo_noise 7.95E-01 1.35E-06 7.18E-01 1.02E-05 7.94E-01 1.83E-05 8.39E-01 1.49E-05 8.39E-01 2.88E-05 8.24E-01 1.32E-05 8.09E-01 3.33E-05 wine 9.19E-01 1.33E-04 8.59E-01 3.91E-04 3.42E-01 8.30E-04 7.76E-01 5.46E-04 8.84E-01 5.15E-04 8.57E-01 1.84E-04 6.95E-01 2.09E-04
*Giá trị in đậm minh họa cho thuật toán có giá trị F1 cao nhất
Bảng 5.3: Trung bình và phương sai theo F1 của thuật toán đề xuất và các thuật toán so sánh
Hoeffding Tree AROW SCW PA Online Bagging
0 5 10 15 20 25
12
15
17
25
9
2
0
3
0
4
11 10
8
0
12
Thuật toán
Tậpdữliệu
Thắng Hòa Thua
Hình 5.3: Kết quả kiểm định thống kê sai số của thuật toán RP Hoeffding với các thuật toán khác trên 25 tập dữ liệu
Tương tự với kiểm định giá trị F1, các kết quả được mô tả trực quan trong hình5.4
Hoeffding Tree AROW SCW PA Online Bagging
0 5 10 15 20
11
13 13
21
5
2 2
0 1
9 10 10
4
7
Thuật toán
Tậpdữliệu
Thắng Hòa Thua
Hình 5.4: Kết quả kiểm định thống kê F1 của thuật toán RP Hoeffding và các thuật toán khác trên 25 tập dữ liệu
Bên cạnh các độ đo hiệu quả như độ sai số và F1 thì thời gian thực hiện các thuật toán cũng là một khía cạnh khi phát triển bất kỳ một thuật toán nào ta cũng cần phải quan tâm. Đối với thuật toán VIGO thì độ phức tạp của thuật toán nằm ở bước tối ưu các xấp xỉ phân phối xác suất. Thủ tục này có độ phức tạp làO(n×p) trong đó là số bước lặp để tìm giá trị tối ưu và là số chiều của không gian dữ liệu. Tương tự, sau khi phânn p tích thuật toán RP Hoeffding ta thấy rằng độ phức tạp tính toán của giải thuật này làO(K× ×p N)vớiK là số cây trong hệ học kết hợp, là số quan sát. Do đó, ta thấy rằng thuật toán RP Hoeffding có độ phức tạp caoN hơn thuật toán VIGO. Ta xét kết quả thử nghiệm của tập dữ liệu Letter (20000 quan sát) làm ví dụ, thời gian thực hiện thuật toán VIGO trung bình trên 100 tập hoán vị là 37s trong khi thời gian thực hiện của thuật toán RP Hoeffding là 434s, cao hơn rất nhiều so với thuật toán VIGO. Tuy nhiên, thuật toán RP Hoeffding lại có ưu điểm là dễ dàng song song hóa, chính vì thế nếu cài đặt song song thì thuật toán RP Hoeffding có thể đạt được thời gian tốt hơn thuật toán VIGO.