Với bước thực nghiệm này, tập dữ dữ liệu đầu vào sẽ được chia thành 2 tập con là tập dữ liệu huấn luyện và tập dữ liệu kiểm tra. Tỉ lệ phân bố giữa 2 tập này sẽ được điều chỉnh trong quá trình thực nghiệm. Đối với tập dữ liệu huấn luyện, tổng số hình ảnh sẽ được chia thành 2 phần với tỉ lệ 1:1, một phần để tiến hành huấn luyện và một phần dùng để kiểm tra, cập nhật trọng số của mô hình.
Trong bước này ta sẽ tiến hành thực nghiệm với bộ dữ liệu ảnh gốc ban đầu chưa qua biến đổi tăng thêm ảnh với 4 thư mục ảnh: CNTT_517, GDTH_641, GDMN_476, GDDB_383 (con số phía sau diễn tả số lượng ảnh có trong thư mục). Kích thước ảnh đầu vào được sử dụng thử nghiệm với tỉ lệ thấp nhất là 75x50 pixel để tiết kiệm thời gian xử lý. Số lần huấn luyện thử nghiệm là 400 epoch giúp mô hình học sâu hơn và xem thử kết quả phân lớp khả quan đến mức nào.
Với ảnh đầu vào là 75x50, mô hình sẽ sử dụng 4 bộ lọc tích chập để tiến hành rút trích đặc trưng của ảnh, kết quả quá trình này sẽ không làm thay đổi kích thước
ảnh, chỉ tăng số chiều thành 4. Tầng Max-Pooling sau đó sẽ thu nhỏ kích thước ảnh còn 37x25 và vẫn giữ nguyên 4 chiều. Cứ thế tiếp tục 3 tầng CONV – POOL ta sẽ có lần lượt kích thước ảnh và số liệu là (18x12,8); (9x6,12); (4,3x16), lưu ý mỗi tầng này đều có sử dụng Dropout. Tầng FC ban đầu sẽ trải biểu đồ đặc trưng thành vector có độ dài 192 (4x3x16) sau đó tạo liên kết với vector có độ dài 256 và vector cuối cùng có độ dài là 4 (tương ứng với 4 phân lớp đồng phục của 4 khoa)
Trong quá trình thực nghiệm tỉ lệ phân bố tập dữ liệu huấn luyện và tập dữ liệu kiểm tra. Tỉ lệ của tập dữ liệu kiểm tra sẽ được tăng dần từ 10% đến 90%. Kết quả sẽ được thể hiện qua 3 thông số đánh giá là model accuracy (độ chính xác của quá trình huấn luyện mô hình với tập dữ liệu huấn luyện), model loss (độ lỗi dữ liệu trong quá trình huấn luyện) và test accuracy (độ chính xác của mô hình trên tập dữ liệu kiểm tra).
Hình 4.4. Kết quả thực nghiệm khi chia bộ dữ liệu theo tỉ lệ 10-90
Giá trị hàm lỗi thấp nhất của mô hình là 0.20254 tại lần huấn luyện (epoch) thứ 358/400. Theo biểu đồ ta có thể quan sát trong những lần huấn luyện đầu tiên, độ chính xác và độ lỗi của mô hình biến thiên nhanh và có biên độ thay đổi rộng. Ta có thể dễ hiểu sự biến đổi này diễn ra liên tục và mạnh do thời gian đầu mô hình chỉ mới rút trích và liên kết các biểu đồ đặc trưng ban đầu, với kết quả phân lớp còn thấp, mô hình tiến hành thay đổi các trọng số của đặc trưng để tiến hành huấn luyện lại với mục tiêu kết quả phân lớp được cao nhất có thể. Giai đoạn từ lần huấn luyện thứ 200 trở về sau thì độ biến thiên này chậm dần và bắt đầu có xu hướng bão hòa. Lần huấn luyện thứ 358 có độ lỗi dữ liệu thấp nhất, các lần huấn luyện tiếp theo đến 400 không thể cập nhật trọng số nào tốt hơn. Điều này cho thấy việc cập nhật trọng số đã bắt đầu có hiệu quả, độ chính xác của mô hình tăng cao nhưng vẫn chỉ có thể đạt đến một mức độ giới hạn.
Hình 4.5. Kết quả thực nghiệm khi chia bộ dữ liệu theo tỉ lệ 20-80
Ở tỉ lệ này ta thấy được tốc độ biến thiên của mô hình tương đối giống như chia với tỉ lệ 10 - 90, đến lần huấn luyện khoảng 200 thì độ lỗi của mô hình mới giảm đáng kể và có xu hướng giảm chậm dần, có khả năng bão hòa. Giá trị hàm lỗi thấp nhất của mô hình là 0.17033 tại lần huấn luyện thứ 379/400. Khoảng cách từ lần thứ 379 đến 400 ngắn, vì thế nếu huấn luyện tiếp có khả năng giá trị này sẽ còn được cải thiện tiếp. Tổng quan ta có thể thấy tỉ lệ này có vẻ là tốt hơn tỉ lệ đầu tiên mà ta thử nghiệm là 10 – 90.
Tỉ lê tập kiểm tra 30%:
Hình 4.6. Kết quả thực nghiệm khi chia bộ dữ liệu theo tỉ lệ 30-70
Tỉ lệ 30 – 70 gần như tương đương với tỉ lệ 2/3 mà ta đã nhắc khi bình luận về phương pháp Hold-Out, 1/3 cho tập dữ liệu kiểm tra và 2/3 cho tập dữ liệu huấn luyện. Nhìn chung, qua 3 lần thử nghiệm đầu tiên ta thấy được 3 tỉ lệ này cho ra kết
quả về độ chính xác và độ lỗi của mô hình tương đối giống nhau nhiều. Giá trị hàm lỗi thấp nhất của mô hình là 0.20737 nhưng kết quả có được từ lần huấn luyện thứ 364/400. Nếu tỉ lệ này cho ra giá trị tốt mà thời điểm bão hòa nhanh hơn, tức là thời gian và số lần huấn luyện cần thiết giảm bớt, ta có thể xem xét đến việc lựa chọn tỉ lệ này. Tác giả tiến hành thực nghiệm thêm với tỉ lệ phân bố nhiều hơn cho tập kiểm tra để xem thử tỉ lệ 30 - 70 này có còn được cải thiện hơn nữa không.
Tỉ lê tập kiểm tra 50%:
Hình 4.7. Kết quả thực nghiệm khi chia bộ dữ liệu theo tỉ lệ 50-50
Với tỉ lệ phân chia 40 – 60 thì độ biến thiên của biểu đồ đã có sự thay đổi và độ lỗi của mô hình đang có chiều hướng tăng lên. Tác giả không miêu tả tỉ lệ này mà đi đến tỉ lệ 50 – 50 ta để thấy rõ hơn sự thay đổi này. Độ biến thiên các giá trị độ chính xác và độ lỗi của mô hình đã bắt đầu tăng, giảm đều. Ta có thể thấy giá trị của độ lỗi cũng có dấu hiệu bão hòa nhưng vẫn còn ở mức độ rất cao. Cụ thể ở lần huấn
luyện thứ 384/400 giá trị này đã đạt mốc thấp nhất là 0.34659. Con số này cao gấp rưỡi so với 3 tỉ lệ đầu mà ta phân bổ. Có thể nhận thấy nếu càng gia tăng số lượng hình ảnh của tập kiểm tra thì chất lượng của mô hình sẽ giảm. Điều này là tất nhiên bởi số lượng hình ảnh trong tập huấn luyện đã giảm đi nhiều, mô hình không được huấn luyện nhiều thì không thể nào cho kết quả tốt được.
Tác giả đã tiến hành thực nghiệm từ tỉ lệ 10 – 90 đến tỉ lệ 90 – 10 và lập biểu đồ một số giá trị của mô hình trong quá trình thực nghiệm. Ngoài các giá trị đã phân tích ở trên, độ chính xác của mô hình khi dùng hình ảnh từ tập dữ liệu kiểm tra và tốc độ xử lý cũng được lưu lại để đối chiếu.
Bảng 4.3. Thống kê kết quả thực nghiệm thay đổi tỉ lệ phân bố tập dữ liệu
Tỉ lệ tập kiểm tra Model_Loss Thời điểm Test_Accuracy
10 % 0.20254 358/400 92.0792 9 20 % 0.17033 379/400 93.3168 30 % 0.20737 364/400 93.8944 40 % 0.23423 400/400 90.9542 50 % 0.34659 384/400 92.3687 60 % 0.4612 308/400 89.5128 70 % 0.29931 387/400 90.5099 80% 0.44836 291/400 85.1921 90% 1.10426 94/100 63.326
Hình 4.8. Kết quả thực nghiệm thay đổi tỉ lệ phân bố tập dữ liệu
Biểu đồ và hình ảnh trên đã phần nào thể hiện kết quả của bước thực nghiệm bằng cách thay đổi tỉ lệ phân chia tập dữ liệu huấn luyện và tập dữ liệu tập huấn. Rõ rang ta có thể thấy số lượng hình ảnh là một tiêu chí thiết yếu với việc sử dụng mô hình CNN để huấn luyện các đặc trưng của hình ảnh. Song dù số lượng hình ảnh nhiều hay ít thì tỉ lệ phân bố cho tập dữ liệu huấn luyện và kiểm tra phải hợp lý, tỉ lệ này nên được chọn từ 20 đến 30 phần trăm trong toàn tập dữ liệu. Với kết quả thực nghiệm này, tác sẽ sử dụng tỉ lệ 30 – 70 để tiếp tục thử nghiệm ở các bước sau.