CHƯƠNG 3: KẾT QUẢ THỰC NGHIỆM
3.2 Kết quả thực nghiệm
Dữ liệu sau khi tiền xử lí sẽ được chia thành 10 nhóm dữ liệu để thực hiện
kiểm định chéo (10-fold cross validation). Theo như đã trình bày ở trên, mô hình ELM xác định bộ trọng số đầu vào và hệ số chặn một cách ngẫu nhiên, do đó nếu
chỉ đánh giá hiệu năng trên một lần chạy duy nhất sẽ đưa ra kết quả đánh giá thiếu khách quan. Do đó, trong mỗi lần kiểm định thực hiện phương pháp kiểm định chéo, bộ dữ liệu sẽ được huấn luyện và đánh giá với mô hình ELM 20 lần, trung bình của kết quả các lần chạy được sử dụng để thực hiện phân tích so sánh.
Ngoài việc thực hiện kiểm định mô hình ELM với các hàm kích hoạt khác nhau, số lượng các node ẩn cũng sẽ sẽ được lấy ngẫu nhiên tăng dần 20, 50, 80, 100, 150, 200, 250, 300, 350 và 400, để đánh giá được sự tác động của số lượng node trong lớp ẩn đến hiệu năng của mô hình.
69
Hình 3-4 So sánh kết quả chạy mô hình ELM với các hàm kích hoạt và số node ẩn khác nhau
70
3.2.2 So sánh kết quả với mô hình mạng nơ-ron nhân tạo
Thiết lập cài đặt cho mô hình ELM tương tự mục 3.2.1. Đối với mô hình mạng nơ-ron nhân tạo, sử dụng lớp mô hình với cài đặt mặc định trong thư viện scikit- learn với cấu trúc 01 lớp ẩn và số node ở lớp ẩn tương tự với cài đặt cho mô hình ELM. Cả hai mô hình đều sử dụng hàm kích hoạt là hàm ReLU.
71
Hình 3-5 So sánh mô hình học máy cực trị và mô hình mạng nơ-ron nhân tạo sử dụng thuật toán
học dựa trên đạo hàm
Có thể thấy rằng, khi số lượng node tăng lên hiệu năng của hai mô hình tiến đến tiệm cận nhau. Đối với các độ đo như độ nhạy và độ đo G, mô hình học máy cực trị để vượt qua mô hình mạng nơ-ron nhân tạo truyền thống. Tuy nhiên, chênh lệch dễ thấy nhất chính là thời gian huấn luyện, thời gian huấn luyện mô hình học máy cực trị thay đổi không đáng kể khi mô hình mạng nơ-ron nhân tạo tăng tuyến tính với số lượng node trong lớp ẩn.
72
3.2.3 So sánh kết quả khi sử dụng cách tiếp cận tiến hóa
Giữ nguyên cách thức kiểm định, cài đặt mô hình và số lượng nốt ẩn như với mô hình ELM. Trong mỗi bước huấn luyện mô hình, tập dữ liệu huấn luyện được chia thành 02 tập dữ liệu con: tập tiền huấn luyện và tập kiểm định theo tỉ lệ 6:4 và sử dụng thuật toán bầy dơi để tìm kiếm bộ tham số đầu vào và hệ số chặn tối ưu.
Thuật toán bầy dơi được sử dụng với cấu hình 100 cá thể dơi với số vòng lặp
tối đa là 100 lần để tìm ra vị trí của cá thể dơi tối ưu mã hóa bộ tham số đầu vào tối ưu cho mô hình. Thuật toán có thể dừng lại trước khi đạt số vòng lặp tối đa nếu sau 5 vòng lặp liên tiếp, vị trí tối ưu không được cập nhật.
Có thể dễ dàng thấy được, hiệu năng của mô hình trở nên tốt và ổn định hơn ngay với số lượng ít các node trong lớp ẩn. Do đó, cách tiếp cận tiến hóa bằng thuật
toán bầy dơi có thể tốn chi phí thời gian và tài nguyên tính toán cho việc tối ưu ban đầu, nhưng bù lại, hiệu năng của mô hình có thể tốt hơn với một cấu trúc mô hình ít phức tạp hơn. Điều này sẽ tạo thuận lợi trong việc triển khai cài đặt mô hình lên hệ thống sau khi huấn luyện.
73
74
Hình 3-6 So sánh kết quả chạy mô hình EELM với các hàm kích hoạt và số node ẩn khác nhau
Xét hàm kích hoạt ReLu cho hiệu năng tương đối tốt so với các hàm kích hoạt khác trên số lượng các node trong thực nghiệm, có thể thấy được mô hình học máy cực trị tiến hóa đều cho kết quả tốt hơn trên các độ đo luận văn đang xét.
Thuật toán Độ chính xác Độ nhạy Độ đặc hiệu Độ đo G AUC
ELM-ReLU 80.81% 76.92% 81.17% 78.98% 73.73%
EELM-ReLU 81.83% 76.93% 81.22% 79.01% 73.77%
Bảng 3-3 So sánh hiệu năng mô hình học máy cực trị tiến hoá và mô hình học máy cực trị với
hàm kích hoạt ReLU
3.2.4 So sánh kết quả với một số thuật toán hiện đang được sử dụng phổ biến trong bài toán chấm điểm tín dụng
Mục này sẽ so sánh kết quả của mô hình học máy cực trị tiến hóa với các mô hình thường được sử dụng trong bài toán chấm điểm tín dụng. Việc huấn luyện và kiểm định hiệu năng mô hình sẽ trên cùng tập dữ liệu sử dụng nghiên cứu trong bài.
Phương pháp kiểm định chéo
Phương thức kiểm định là kiểm định chéo trên tập dữ liệu được chia thành 10 phần (10-fold cross validation). Mô hình học máy cực trị tiến hóa sử dụng để so sánh sử dụng hàm kích hoạt là hàm ReLU với số lượng các node ẩn là 200. Mô hình mạng
75
nơ-ron nhân tạo cũng được cài đặt với cấu trúc tương tự, các tham số còn lại sử dụng cài đặt mặc định trong thư viện scikit-learn. Kết quả được đem ra so sánh sẽ là giá trung bình của các mô hình với số node ẩn lần lượt như trên. Đối với mô hình hồi quy Logistic, mô hình rừng ngẫu nhiên và mô hình Gradient Boosting, các lớp mô hình với cài đặt mặc định trong thư viện scikit-learn được sử dụng.
Độ chính xác AUC
EELM-ReLU 81.56% 74.87%
Hồi quy Logistic 78.53% 71.13%
Rừng ngẫu nhiên 83.55% 77.61%
Gradient Boosting 83.94% 79.32%
MLP 82.66% 76.89%
Bảng 3-4 So sánh hiệu năng giữa các mô hình bằng phương pháp kiểm định chéo
Phương pháp kiểm định mẫu giữ lại ngoài thời gian huấn luyện
Đối với mô hình học máy cực trị, mô hình học máy cực trị tiến hóa và mô hình mạng nơ-ron nhân tạo, hàm kích hoạt sử dụng là hàm ReLU và số nơ-ron trong lớp ẩn được chọn là 200, tương ứng với số lượng node ẩn khiến mô hình EELM ở kiểm định chéo ở trên cho hiệu năng tốt nhất theo các độ đo đang xét. Đối với mô hình hồi quy Logistic, mô hình rừng ngẫu nhiên và mô hình Gradient Boosting, các
lớp mô hình với cài đặt mặc định trong thư viện scikit-learn được sử dụng. Các mô hình được huấn luyện trên toàn bộ tập huấn luyện sử dụng cho kiểm định chéo ở trên, sau đó, hiệu năng của từng mô hình sẽ được đo trên một tập mẫu giữ lại nằm trong khoảng thời gian ngoài khoảng thời gian tập huấn luyện được lấy và gần về hiện tại hơn.
76
Độ chính xác AUC
EELM-ReLU 83.97% 77.36%
Hồi quy Logistic 79.80% 71.65%
Rừng ngẫu nhiên 85.73% 77.61%
Gradient Boosting 85.87% 80.89%
MLP 84.56% 77.95%
Bảng 3-5 So sánh hiệu năng giữa các mô hình khi kiểm định với mẫu ngoài thời gian huấn luyện