3.2.5. Cài đặt và thử nghiệm bài tốn
Cơng cụ cài đặt
Các thử nghiệm đƣợc cài đặt và sử dụng ngơn ngữ python phiên bản 3.7 và số thƣ viện của Python đƣợc sử dụng để mơ hình hĩa các dữ liệu bằng biểu đồ gồm:
59
Bàng 3.4 : Các thư viện hỗ trợ
Việc tiến hành huấn luyện và kiểm thử, dự báo điểm của sinh viên đƣợc thực hiện sau khi cài đặt các thuật tốn sẽ dựa vào bộ dữ liệu của trƣờng Cao đẳng Cơ Khí Nơng Nghiệp. Luận văn tiến hành huấn luyện dữ liệu đầu vào dựa trên một số mơ hình : BPTT , LSTM . Với mỗi mơ hình mạng học sâu , ta xây dựng đƣợc lƣu đồ mơ hình mạng khi áp dụng vào bài tốn dự báo nhƣ hình 3.4 và hình 3.5
60
Hình 3.4: Lưu đồ mơ hình mạng BPTT
Áp dụng mơ hình mạng BPTT vào bài tốn dự báo, thuật tốn sẽ thực hiện lần lƣợt các bƣớc nhƣ trên lƣu đồ hình 3.6. Để cập nhật các tham số và giá trị sai khác, lƣu đồ trên cĩ bƣớc lan truyền ngƣợc là đặc trƣng của BPTT.
61
Hình 3.5 : Lưu đồ mơ hình mạng LSTM
Áp dụng mơ hình mạng LSTM vào bài tốn dự báo, thuật tốn sẽ thực hiện lần lƣợt các bƣớc nhƣ trên lƣu đồ hình 3.7.
3.3. Kết quả thử nghiệm.
Với mỗi mơ hình mạng học sâu BPTT và LSTM ta đều sử dụng chung một cấu trúc chƣơng trình trên 2 học phần là, Quản trị mạng với Linux, Bảo trì hệ thống .
62
3.3.1. Kết quả thử nghiệm
Qua thời gian tiến hành huấn luyện dữ liệu đầu vào và dựa trên một số mơ hình BPTT và LSTM để so sánh mơ hình mạng học sâu và các mơ hình khác
Ta cĩ bảng thời gian huấn luyện các mơ hình dƣới đây:
Bảng 3.5 Thời gian huấn luyện các mơ hình mạng
Bộ dữ liệu BPTT LSTM
u.quantrimanglinux 476 408
u.baotrihethongmang 589 425
Từ bảng 3.5 ta cĩ thể thấy tốc độ huấn luyện của các mơ hình mạng học sâu cĩ sự chênh lệnh đáng kể so với các mơ hình khác. Tuy nhiên trên thực tế việc đánh giá các mơ hình cịn phải phụ thuộc vào nhiều yếu tố và thơng số khác nhau.
Bảng 3.6: Bảng kết quả huấn luyện học phần Quản trị mạng với Linux
Mơ hình RMSE MSE R2
Accuracy
(%)
BPTT 1.511 2.284 0.551 22.15
LSTM 0.272 0.073 0.946 89.58
Bảng 3.7: Bảng kết quả huấn luyện học phần Bảo trì hệ thống mạng
Mơ hình RMSE MSE R2
Accuracy
(%)
BPTT 1.258 1.581 0.459 21.1
LSTM 0.535 0.286 0.958 85.7
Nhìn chung, sau khi thực hiện việc so sánh giữa kết quả dự đốn và kết quả thực tế để đƣa ra giá trị các tiêu chí đánh giá, cĩ thể dễ dàng thấy các tiêu chí đánh giá giữa 2 mơ hình BPTT và LSTM cĩ sự chênh lệch thơng số rõ rệt.
63
Với chỉ số của RMSE và MSE càng thấp thì tính ổn định của mơ hình càng cao. Ngƣợc lại, khi R2 và Accuracy càng cao thì tính chính xác của mơ hình càng cao. Vì vậy, dựa vào bảng 3.6 và 3.7, kết quả huấn luyện chỉ ra sự chƣa ổn định, tính chính xác thấp của mơ hình BPTT vì vậy mơ hình này chƣa thực sự phù hợp với bài tốn cần giải quyết. Thay vào đĩ, mơ hình LSTM thể hiện sự ổn định và tính chính xác cao, phù hợp để áp dụng vào bài tốn.
Áp dụng 2 mơ hình học sâu vào dự đốn điểm của bộ dữ liệu kiểm thử, sau đĩ đƣợc đƣa ra các biểu đồ để so sánh các phƣơng pháp sau khi thực nghiệm.
3.3.2. Đánh giá hiệu suất các mơ hình
Để áp dụng thành cơng các kỹ thuật học sâu, ngƣời thực hiện cần nhiều kỹ năng hơn là chỉ đơn thuần hiểu về thuật tốn và nguyên tắc hoạt động của chúng. Đối với học máy, một ngƣời thực hành giỏi cần biết cách lựa chọn thuật tốn phù hợp với mỗi ứng dụng cụ thể, đồng thời biết cách giám sát và điều chỉnh dựa trên kết quả thực nghiệm thu đƣợc để cải thiện hệ thống học máy.
Trong quá trình phát triển hệ thống học máy ta cần quyết định khi nào cần: thu thập thêm dữ liệu, tăng hay giảm dung lƣợng mơ hình, thêm hay bớt các đặc trƣng kiểm sốt, cải thiện thuật tốn tối ƣu mơ hình, cải thiện thuật tốn suy luận xấp xỉ mơ hình, hay sửa lỗi khi triển khai cài đặt phần mềm cho mơ hình. Tất cả những thao tác này ít nhất cũng cần tốn thời gian để thử.
Sau khi cài đặt các thuật tốn tơi tiến hành huấn luyện và kiểm thử dự báo điểm của sinh viên dựa trên bộ dữ liệu của Cao Đẳng Cơ Khí Nơng Nghiệp. Dữ liệu đƣợc đánh giá trên bộ dữ liệu test và sau đĩ đƣợc đƣa ra các biểu đồ để so sánh các phƣơng pháp sau khi thực nghiệm.
64
Hình 3.6: Biểu đồ dự báo điểm học phần Quản trị mạng với Linux sử dụng các mơ hình dự báo LSTM
Hình 3.7: Biểu đồ dự báo điểm học phần Quản trị mạng với Linux sử dụng các mơ hình dự báo BPTT
65
Hình 3.8: Biểu đồ dự báo điểm học phần Bảo trì hệ thống mạng sử dụng các mơ hình dự báo LSTM
Hình 3.9: Biểu đồ dự báo điểm học phần Bảo trì hệ thống mạng sử dụng các mơ hình dự báo BPTT
66
Từ các Bảng 3.6 đến 3.9 ta thấy các thơng số đánh giá khơng cĩ sự chênh lệch lớn. Lý do là vì bộ dữ liệu chƣa đƣợc đủ lớn (Dữ liệu sử dụng kết quả đánh giá của sinh viên Khĩa 57 (2017-2019) đến nay) để thấy đƣợc sự khác biệt giữa các thơng số đánh giá.
Từ các Hình từ 3.6 đến 3.17 và các Bảng từ 3.8 đến 3.11 ta cĩ thể thấy mơ hình mạng học sâu cho ra kết quả dự báo rất tốt. Tốt nhất là mơ hình LSTM cho ra kết quả tốt hơn
Tuy nhiên trong luận văn khi thử nghiệm giảm số lớp ẩn trên mơ hình mạng cho học phần: Quản trị mạng với Linux và học phần Bảo trì hệ thống mạng cũng
kết quả cho ra cũng rất tốt nên cĩ thể khẳng định rằng mơ hình cĩ thể giảm số lớp ẩn đi mà vẫn cho ra kết quả tƣơng tự.
Tuy nhiên trên thực tế cĩ một số trƣờng hợp sinh viên khơng tham gia dự thi hoặc bị các yếu tố bên ngồi tác động dẫn đến sinh viên đạt điểm 0 dẫn đến dự báo sai lầm.
Nguyên nhân dẫn đến sự chênh lệch các thơng số của các tiêu chí đánh giá cĩ thể do cài đặt thuật tốn chƣa đƣợc tối ƣu, do bộ dữ liệu chƣa đủ lớn để đánh giá đƣợc chính xác. Ngồi ra, một số yếu tố bên ngồi dẫn đến trƣờng hợp sinh viên bị điểm thấp hoặc việc thay đổi mơ hình đào tạo cũng cĩ thể làm ảnh hƣởng tới kết quả dự báo. Trong trƣờng hợp thử nghiệm với số lớp ẩn nhỏ hơn 03 lớp ẩn mà luận văn đã thử nghiệm, trên 02 mơ hình mạng của các học phần: “ Bảo trì hệ thống mạng” và “Quản trị mạng với Linux”, kết quả cho ra gần nhƣ khơng cĩ sự chênh lệch nên cĩ thể khẳng định rằng mơ hình cĩ thể giảm số lớp ẩn đi mà vẫn cho ra kết quả tƣơng tự. Vì vậy, với bài tốn dự báo điểm học phần Cao Đẳng Cơ Khí Nơng Nghiệp ta cĩ thể áp dụng mơ hình mạng LSTM để đƣa ra dự báo với một kết quả tốt, độ chính xác dao động trong khoảng 85% đến 95%, đây là một con số cao với một bài tốn dự báo. Nhƣ vậy, với mơ hình mạng học sâu LSTM và BPTT, ta đã tìm ra đƣợc một số phƣơng pháp dự báo cĩ thời gian huấn luyện nhanh và cĩ kết quả dự báo tốt. Tuy chƣa đạt đƣợc kết quả nhƣ kỳ vọng nhƣng cũng cho thấy điểm vƣợt trội qua kết quả của mơ hình mạng học sâu so với các mơ hình khác.
67
Từ các dữ liệu huấn luyện trên ta cĩ thể tính tốn ra đƣợc tỉ lệ sinh viên tốt nghiệp đúng tiến độ đào tạo khá dễ dàng bằng cách dựa vào quy chế đào tạo và chƣơng trình khung của ngành học.
Kết luận chƣơng
Nhƣ vậy, chƣơng 3 đã mơ tả và xây dựng chƣơng trình giải quyết bài tốn Dự báo điểm của sinh viên trong trƣờng Cao Đẳng Cơ Khí Nơng Nghiệp. Luận văn đề xuất sử dụng và đánh giá hiệu quả của 2 mơ hình mạng học sâu là BPTT và LSTM trong bài tốn dự báo điểm. Từ đĩ, gĩp phần nâng cao cơng tác giáo dục và đào tạo của nhà trƣờng cũng nhƣ hỗ trợ sinh viên đƣa ra những lựa chọn thích hợp cho việc đăng ký học phần của học kỳ sắp tới.
68
KẾT LUẬN VÀ KHUYẾN NGHỊ
Qua quá trình nghiên cứu và thực tiễn đề tài: “Nghiên cứu một số mơ hình mạng học sâu và ứng dụng trong bài tốn dự báo điểm của sinh viên trong trƣờng đại học” đã đạt đƣợc các kết quả nhƣ sau:
1. Nghiên cứu tổng quan về mạng học sâu và các mơ hình mạng học sâu đƣợc sử dụng phổ biến hiện nay.
2. Ứng dụng một số mơ hình mạng học sâu, xây dựng chƣơng trình thử nghiệm dự báo điểm học phần của sinh viên dựa trên bộ dữ liệu của trƣờng Cao Đẳng Cơ Khí Nơng Nghiệp
Đề xuất hƣớng phát triển của nghiên cứu
- Tiếp tục nghiên cứu để tăng độ chính xác chất lƣợng mơ hình dự báo và cải tiến các mơ hình đã nghiên cứu nhằm nâng cao tỉ lệ dự báo chính xác.
- Tiếp tục tìm hiểu nhu cầu thực tế, tham khảo các ý kiến của chuyên gia để xây dựng, nghiên cứu các phƣơng pháp tiên tiến khác đƣợc đề xuất gần đây để so sánh đánh giá trên bài tốn dự báo điểm sinh viên, giúp cĩ cái nhìn sâu sắc hơn về phƣơng pháp học sâu.
- Tiếp tục phát triển và xây dựng thành một ứng dụng trên điện thoại để ngƣời dùng cĩ thể dễ dàng sử dụng ở bất kỳ đâu hay bất cứ thời điểm nào. Đồng thời thu hút và lan truyền rộng rãi trong ngành đào tạo, hỗ trợ sự phát triển của nền kinh tế nƣớc nhà nĩi chung và nền giáo dục nĩi riêng.
69
TÀI LIỆU THAM KHẢO
Tài liệu Tiếng Việt
[1]
Lê Hải Khơi & Trần Đức Minh. Về một phƣơng pháp dự báo dữ liệu sử dụng mạng neural. Tạp chí Tin học và Điều khiển học 20 , N2, 2004.
[2]
Huỳnh Phƣớc Hải, Nguyễn Văn Hồ, Đỗ Thanh Nghị. So sánh mơ hình học sâu với các phƣơng pháp học tự động khác trong phân lớp dữ liệu biểu hiện gen Microarray, Fair . Nghiên cứu cơ bản và ứng dụng cơng nghệ thơng tin, 2017.
[3]
Vũ Hữu Tiệp. “Machine learning cơ bản”, Nhà Xuất Bản Khoa học & kỹ thuật Việt Nam, 2018.
[4]
Lê Hữu Vinh, Nguyễn Đình Thuân. Dự báo giá bitcoin bằng kết hợp mơ hình arima và mạng nơron. Kỷ yếu hội nghị Khoa học Cơng nghệ Quốc Gia lần thứ XII Nghiên cứu cơ bản và ứng dụng cơng nghệ thơng tin, 2019.
[5]
Trần Nguyễn Minh Thƣ, Nguyễn Hồng, Hải Phạm Trƣờng An. Dự báo mực nƣớc sơng mekong sử dụng LSTM và dữ liệu quan trắc thƣợng nguồn, Kỷ yếu hội nghị Khoa học Cơng nghệ Quốc Gia lần thứ XII Nghiên cứu cơ bản và ứng dụng cơng nghệ thơng tin, 2019.
[6]
Trƣờng Cao đẳng Cơ Khí Nơng Nghiệp. Quyết định số 682/2017 QĐ- CĐNCKNN-ĐT ban hành ngày 19/5/2017 V/v tổ chức thực hiện chƣơng trình đào tạo trình độ trung cấp, trình độ cao đẳng theo phƣơng thức tích lũy mơ-đun/tín chỉ; Quy chế kiểm tra, thi, xét cơng nhận tốt nghiệp do Hiệu trƣởng Trƣờng Cao đẳng Cơ Khí Nơng Nghiệp ký duyệt,2017.
Tài liệu Tiếng Anh:
[7]
Haykin, Simon. “Neural Networks: A Comprehensive Foundation”. Volume 2, Prentice Hall. ISBN 0-13-273350-1,1998.
[8] Shepherd and Koch. “Neuropsychological Assessment”, 1990 [9]
Hochreiter, Sepp, Jrgen Schmidhuber. “Long short-term memory, Neural computation”, 1735-1780, 1997.
70 Huew Engineering, 2015.
[11]
LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey. “Deep learning”. Nature 521: pp 436-444, 2015.
[12]
Bengio, Yoshua. “Learning Deep Architectures for AI”. Foundations and Trends in Machine Learning: Vol. 2: No. 1, pp 1-127, 2009.
[13]
Rao, B.Valluru, Rao, V.Hayagriva. C++ Neural Networks and Fuzzy Logic, MIS Press, 1993.
Website tham khảo
[14]
https://en.wikipedia.org/wiki/Accuracy_and_precision truy cập ngày 10/5/2020
[15] https://en.wikipedia.org/wiki/Deep_learning truy cập ngày 20/5/2020 [16]
https://en.wikipedia.org/wiki/Mean_squared_error truy cập ngày 10/5/2020
[17]
http://trituevietvn.com/chi-tiet/su-dung-mang-lstm-long-short-term-
memory-de-du-doan-so-lieu-huong-thoi-gian-123 truy cập ngày 15/6/2020
[18]
https://nguyentruonglong.net/giai-thich-chi-tiet-ve-mang-long-short- term-memory-lstm.html truy cập ngày 27/6/2020
71
PHỤ LỤC
Luận văn thực hiện việc huấn luyện và kiểm thử cho các mơ hình dự báo dựa vào hệ thống các phần mềm và phần cứng do trƣờng Cao đẳng Cơ Khí Nơng Nghiệp cung cấp.
Bảng phụ lục 1: Danh sách hệ thống phần mềm
STT Tên Chức năng Nguồn
1 Windows 10 Enterprise Hệ điều hành Microsoft 2 Jupyter Notebook IDE lập trình Open - source
Bảng phụ lục 2 : Danh sách hệ thống phần cứng
STT Tên Cấu hình Ghi chú
1 Máy chủ Dell Vostro 5568 - Intel Ⓡ CoreT M
i7-7500U CPU @ 2.9GHz
- Bộ nhớ RAM 8GB
Máy chủ cài đặt hệ điều hanh và IDE lập trình
2 Nvidia Geforce 940MX - 4 GB GDDR5 Card đồ họa thực hiện việc kiểm huấn luyện và kiểm thử dữ liệu