theo số nơ-ron của từng lớp ẩn. Thực nghiệm cho thấy, với một lớp ẩn và số nơ-ron bằng 16 thì AUC bằng 0,977 đạt kết quả tốt nhất. Trong khi đĩ, nếu sử dụng hai hoặc ba lớp ẩn thì AUC đạt hiệu suất cao nhất với 32 nơ-ron trên mỗi lớp ẩn (AUC bằng 0,974 đối với hai lớp ẩn và bằng 0,975 đối với ba lớp ẩn). Một vấn đề đáng chú ý là hiệu suất giảm khi tăng dần lớp ẩn do tình trạng quá khớp (overfitting).
Hình 3.3: Tìm kiếm số lượng nơ-ron trên nhiều lớp ẩn
Tương tự, các tập dữ liệu cịn lại cũng cho thấy các kiến trúc MLP cĩ một lớp ẩn cho hiệu suất cao hơn các kiến trúc cĩ nhiều lớp ẩn. Tuy nhiên, với số lượng lớn nơ-ron thì hiệu suất của nhiều lớp ẩn khác nhau là gần như nhau. Số lượng lớp ẩn và số lượng nơ-ron được thực hiện từ các thử nghiệm trong quá trình điều chỉnh siêu tham số (xem Bảng 3.2). Kết quả thực nghiệm cho thấy rằng kiến trúc MLP gồm một lớp ẩn, với 16 nơ-ron đạt hiệu suất tốt nhất trên cả 5 tập dữ liệu.
Bảng 3.2: Tìm kiếm siêu tham số trên tập dữ liệu mẫu Scientific_ArticlesSố nơ-ron Số nơ-ron 2 4 8 16 32 64 128 1 hidden layer 0,864 0,950 0,971 0,977 0,974 0,969 0,963 AUC 2 hidden layers 0,823 0,900 0,965 0,971 0,974 0,973 0,964 3 hidden layers 0,502 0,897 0,958 0,961 0,975 0,964 0,961 Để giảm thiểu các vấn đề về quá khớp (overfitting), kỹ thuật early stopping được xem xét sử dụng. Kỹ thuật này sẽ dừng việc học nếu trong quá trình học khơng cải thiện
được kết quả trong 5 epochs liên tục. Ngược lại, quá trình học sẽ tiếp tục với 10 epochs. Mạng được triển khai với hàm tối ưu Adam, sử dụng batch size là 100 và tốc độ học (learning rate) mặc định là 0,001.
Hiệu quả phân loại tài nguyên học tập giữa kỹ thuật MLP với các giải thuật học máy khác như SVM và cây quyết định cũng được so sánh. Các tham số của hai giải thuật này chủ yếu được sử dụng mặc định. Cụ thể, giải thuật SVM sử dụng hàm nhân đa thức (polynomial kernel) dùng phân tách các lớp bằng cách sử dụng một đường cong; tham số độ phức tạp (complexity parameter) C bằng 1, là tham số kiểm sốt mức độ linh hoạt của quá trình vẽ đường phân tách các lớp,… Trong khi đĩ, giải thuật cây quyết định sử dụng tham số độ sâu tối đa cho một cây quyết định (maxDepth) là khơng giới hạn (mặc định bằng -1); tham số xác định số phần tử tối thiểu cho mỗi lá (minNum) bằng 2; phương pháp giảm thiểu sai số cắt tỉa (reducing error pruning) với số fold bằng 3…
Trong nghiên cứu này, server 72 core (2.2GHz) với 320 GB RAM được cài đặt hệ điều hành Ubuntu 20.4 được sử dụng để thực nghiệm phân loại tài nguyên học tập. Phần mềm sử dụng phân loại là Weka 3.8 chứa các cơng cụ trực quan và các thuật tốn dùng để phân tích dữ liệu và mơ hình dự đốn.
3.5. Kết quả thực nghiệm
Nghiên cứu ở cơng trình trước đĩ, với hai tập dữ liệu Scientific_Articles và VnExpress_Newsletters, cho thấy giải thuật SVM phân loại văn bản tốt hơn nhiều so với hai giải thuật phân loại khác là Naive Bayes và kNN (Dien et al., 2019). Vì vậy, trong nghiên cứu này, giải thuật SVM, cùng với giải thuật cây quyết định được chọn làm cơ sở so sánh với mạng nơ-ron truyền thẳng đa tầng MLP trong việc phân loại tài nguyên học tập. Độ đo diện tích dưới đường ROC (Area under the ROC Curve) AUC được sử dụng trên 5 tập dữ liệu khác nhau để đánh giá mơ hình phân loại. Sở dĩ độ đo AUC được lựa chọn vì một số tập dữ liệu thực nghiệm khá mất cân bằng.
Kết quả ở Bảng 3.3 cho thấy MLP đạt hiệu suất phân loại khá tốt so với SVM và Decision Tree. Ở cả 5 tập dữ liệu, kỹ thuật MLP cĩ độ đo AUC đều cao hơn hai kỹ thuật cịn lại. Ngồi ra, độ đo AUC của mạng MLP cũng khá tốt, đều trên 0,960, trong đĩ cĩ ba tập dữ liệu cĩ AUC đạt từ 0,990 trở lên.