Chương 6: Kết quả thực nghiệm
6.1.2. Kết quả thực nghiệm với bộ dữ liệu Madelon
Áp dụng kỹ thuật N-fold cross validation trên tập dữ liệu huấn luyện với N=2, tiến hành chạy giải thuật 50 lần với số lượng cây trong RF lần lượt là 100, 150, 200 và 250 chúng ta được các kết quả dưới đây.
Số cây trong RF=100
Trung bình Độ lệch chuẩn Giá trị nhỏ nhất Giá trị lớn nhất
RF_Training 0.67084 0.012062 0.642 0.691
RF_Validate 0.712367 0.017894 0.665 0.765
RF_CT_Training 0.85237 0.005109 0.8375 0.8615
RF_CT_Validate 0.872867 0.005594 0.86 0.886667
Bảng 6. 2:Kết quả thực nghiệm giữa RF và RF_CT trên dữ liệu học và trên dữ liệu kiêm chứng qua 50lần chạy thử với số cây trong RF=100
Hình 6. 1: So sánh kết quả thực nghiệm giữa RF và RF_CT trên dữ liệu học (trái) và trên dữ liệu kiểm chứng ( phải) qua 50lần chạy thử với số cây trong RF=100
Trung bình Độ lệch chuẩn Giá trị nhỏ nhất Giá trị lớn nhất
Thời gian (phút) 0.51 0.13 0.41 1.03
Bảng 6. 3: Mức tiêu tốn thời gian nhiều hơn để thực hiện thuật toán của RF_CT so với RF trên dữ liệu Madelon qua 50 lần chạy thử với số cây trong RF=100
Số cây trong RF=150
Trung bình Độ lệch chuẩn Giá trị nhỏ nhất Giá trị lớn nhất
RF_Training 0.68614 0.011303 0.663 0.709
RF_Validate 0.722567 0.012933 0.696667 0.758333
RF_CT_Training 0.85831 0.004418 0.8495 0.8675
RF_CT_Validate 0.874733 0.00501 0.863333 0.883333
Bảng 6. 4:Kết quả thực nghiệm giữa RF và RF_CT trên dữ liệu học và trên dữ liệu kiêm chứng qua 50lần chạy thử với số cây trong RF=150
Hình 6. 2: So sánh kết quả thực nghiệm giữa RF và RF_CT trên dữ liệu học (trái) và trên dữ liệu kiểm chứng ( phải) qua 50lần chạy thử với số cây trong RF=150
Trung bình Độ lệch chuẩn Giá trị nhỏ nhất Giá trị lớn nhất
Thời gian (phút) 0.70 0.30 0.53 2.44
Bảng 6. 5: Mức tiêu tốn thời gian nhiều hơn để thực hiện thuật toán của RF_CT so với RF trên dữ liệu Madelon qua 50 lần chạy thử với số cây trong RF=150
Số cây trong RF=200
Trung bình Độ lệch chuẩn Giá trị nhỏ nhất Giá trị lớn nhất
RF_Training 0.693 0.008517 0.676 0.7135
RF_Validate 0.724967 0.013229 0.686667 0.748333
RF_CT_Training 0.86082 0.004473 0.8465 0.8685
RF_CT_Validate 0.877 0.006154 0.861667 0.89
Bảng 6. 6:Kết quả thực nghiệm giữa RF và RF_CT trên dữ liệu học và trên dữ liệu kiêm chứng qua 50lần chạy thử với số cây trong RF=200
Hình 6. 3: So sánh kết quả thực nghiệm giữa RF và RF_CT trên dữ liệu học (trái) và trên dữ liệu kiểm chứng ( phải) qua 50lần chạy thử với số cây trong RF=200
Trung bình Độ lệch chuẩn Giá trị nhỏ nhất Giá trị lớn nhất Thời gian (phút) 6.595563 0.867319 6.162167 10.52317
Bảng 6. 7: Mức tiêu tốn thời gian nhiều hơn để thực hiện thuật toán của RF_CT so với RF trên dữ liệu Madelon qua 50 lần chạy thử với số cây trong RF=200
Số cây trong RF=250
Trung bình Độ lệch chuẩn Giá trị nhỏ nhất Giá trị lớn nhất
RF_Training 0.69666 0.008241 0.6775 0.713
RF_Validate 0.731067 0.012785 0.703333 0.758333
RF_CT_Training 0.86286 0.00361 0.8535 0.87
RF_CT_Validate 0.875533 0.006084 0.86 0.888333
Bảng 6. 8: Kết quả thực nghiệm giữa RF và RF_CT trên dữ liệu học và trên dữ liệu kiêm chứng qua 50lần chạy thử với số cây trong RF=250
Hình 6. 4: So sánh kết quả thực nghiệm giữa RF và RF_CT trên dữ liệu học (trái) và trên dữ liệu kiểm chứng ( phải) qua 50 lần chạy thử với số cây trong RF=250
Trung bình Độ lệch chuẩn Giá trị nhỏ nhất Giá trị lớn nhất
Thời gian (phút) 1.20 0.93 0.80 6.19
Bảng 6. 9: Mức tiêu tốn thời gian nhiều hơn để thực hiện thuật toán của RF_CT so với RF trên dữ liệu Madelon qua 50 lần chạy thử với số cây trong RF=250
6.1.3. Nhận xét
Từ các kết quả thực nghiệm trên đối với bộ dữ liệu Madelone chúng ta có nhận xét rằng phương pháp học máy được đề xuất ở trên cho kết quả tương đối ấn tượng.
Phương pháp cho kết quả tỷ lệ dự đoán chính xác cao hơn hẳn so với phương pháp RF ban đầu, trên cả dữ liệu học và dữ liệu kiểm chứng. Đối với bộ dữ liệu Madelon ở trên, trung bình sau 50 lần thử nghiệm tỷ lệ dự đoán chính xác trung bình của phương pháp RF_CT cao hơn độ chính xác của RF sấp sỉ khoảng 13% (trên cả dữ liệu học và dữ liệu kiểm chứng). Với số lượng cây trong RF đủ lớn phương pháp cũng thể hiện tính ổn định tốt hơn RF, độ lệch chuẩn giảm sấp sỉ 3% so với RF điều này có nghĩa là biên độ dao động của phương pháp đề xuất nhỏ hơn RF cũng có nghĩa là tính ổn định của phương pháp tốt hơn RF. So sánh kết quả dự đoán của RF_CT với một số phương pháp phân lớp khác cũng cho kết quả khá tốt. Dưới đây, bảng 6.10, thể hiện so sánh kết quả dự đoán của CT_RF so với một số phương pháp khác [16].
Phương pháp Tỷ lệ dự đoán chính xác Độ lệch chuẩn
Nạve Bayes 58,3 1,5
C45 69,8 4,7
GOV 71,2 2,9
DOG 71,4 2,6
RF_CT 87,70 0,6
Bảng 6. 10: So sánh một số kết quả dự đoán sử dụng bộ số liệu Madelone
Về chi phí thời gian của RF_CT so với RF trong thực nghiệm trên bộ dữ liệu Madelone. Ta thấy rằng chi phí thời gian cũng không phải là vấn đề đáng lưu tâm trong trường hợp này, trong thực nghiệm trên trong trường hợp xấu nhất gặp phải, ta cũng chỉ phải trả thêm khoảng 10,5 phút (trường hợp NT=200). Trung bình thời gian phải trả thêm khi thực hiện RF_CT so với RF trong thực nghiệm trên, trong trường hợp xấu nhập gặp phải cũng chỉ nhiều hơn khoảng 6,6 phút. Theo tôi, đây là một kết quả tương đối khả quan.
6.2. Bộ dữ liệu Colon Turmo
6.2.1. Mô tả bộ dữ liệu Colon Turmo
Colon Turmo là bộ dữ liệu được sử dụng tương đối phổ biến trong các thực nghiệm liên quan đến trích chọn thuộc tính. Bộ dữ liệu gồm 2000 genes được chọn lựa từ 6500 genes, thu thập từ 62 bệnh nhân ung thư (2000 x 62). Trong số 62 mẫu của bộ dữ liệu Colon Turmo có 40 mẫu được lấy từ những khối u của bệnh nhân ung thư, 22 mẫu được lấy từ những phần “khỏe mạnh” khác của bệnh nhân. Giá trị của các thuộc tính (genes) trong dữ liệu đều được thể hiện dưới dạng số thực.
Tương tự như đối với bộ dữ liệu Madelon, bộ dữ liệu Colon Turmo cũng được chia thành hai tập: (1) tập huấn luyện và (2) tập kiểm chứng, sau đó áp dụng phương pháp học máy trên tập dữ liệu học, sau đó kiểm chứng hiệu quả của phương pháp học máy đề xuất trên tập dữ liệu kiểm chứng.