MLP thường được nhắc đến là loại mạng nơ-ron cơ bản nhất (vanilla). Mạng MLP được cấu tạo từ các lớp mạng kết nối toàn phần (fully connected). Trong các bộ công cụ học sâu, lớp kết nối toàn phần được nhắc đến với cái tên dense layer (lớp dày đặc). Mỗi nơ-ron của một lớp dày đặc kết nối với tất cả các nơ-ron của lớp trước đó. Mỗi nơ-ron của lớp dày đặc cũng sử dụng một hàm kích hoạt không tuyến tính. Thông thường, các nơ-ron của cùng một lớp dày đặc sử dụng chung một hàm kích hoạt.
Hình 2.2: Minh họa cấu trúc mạng MLP với các lớp dày đặc và các kết nối mang trọng số giữa các nơ-ron.
Trong phương pháp này, học viên sử dụng mạng MLP với 4 lớp ẩn. Lớp đầu vào có kích thước 3000 nơ-ron. Lớp ẩn thứ nhất là lớp dày đặc có 128 nơ-ron, sử dụng hàm kích hoạt ReLU. Lớp ẩn thứ hai là lớp dày đặc có 32 nơ-ron, sử dụng hàm kích hoạt
ReLU. Lớp ẩn thứ ba là lớp Dropout với tỷ lệ 0.5. Lớp đầu ra có 1 nơ-ron, sử dụng hàm kích hoạt sigmoid.
Dữ liệu đầu vào được biểu diễn ở dạng one-hot encoding, lấy 3000 từ xuất hiện nhiều nhất trong bảng từ vựng, sau khi đã tiền xử lý dữ liệu. Chi tiết về quá trình tiền xử lý dữ liệu được đề cập ở Chương 3.
Hai thuật toán tối ưu được sử dụng là thuật toán SGD có áp dụng momentum với tham số learning_rate = 0.03 và momentum = 0.6 và thuật toán Adam với các tham số mặc định. Hàm chi phí là hàm Mean Squared Error (MSE). Ba độ đo để đánh giá hiệu quả của mô hình là Accuracy, Recall và Precision.