Với dữ liệu kiểm tra và quan sát trên đồ thị thể hiện mức độ học của MLP, đầu ra của mạng cũng xấp xỉ đầu ra yêu cầu (tức là đầu ra thực của dữ liệu học). Chúng ta dễ dàng nhận thấy mạng nơron MLP học khá tốt. Tuy nhiên tại một số điểm vẫn còn lỗi nhỏ trong mơ hình.
+ Precision: trả lời cho câu hỏi trong các trường hợp được dự báo là tốt thì có bao nhiêu trường hợp là đúng. Và tất nhiên độ chính xác càng cao thì mơ hình của chúng ta càng tốt trong việc khuyến cáo. Precision sẽ cho chúng ta biết mức độ chuẩn xác của mơ hình đối với các mơ hình được dự báo là xấu. [17]
Precision = 𝑇𝑃
total predicted positive=
𝑇𝑃 𝑇𝑃 + 𝐹𝑃
+ Recall: đo lường tỷ lệ dự báo chính xác các trường hợp positive trên tồn bộ các mẫu thuộc nhóm positive. Để tính được recall thì chúng ta phải biết trước nhãn của dữ liệu. Do đó recall có thể được dùng để đánh giá trên tập train và validation vì chúng ta đã biết trước nhãn. Trên tập test khi dữ liệu được coi như mới hoàn toàn và chưa biết nhãn thì chúng ta sẽ sử dụng precision. [18]
Recall= 𝑇𝑃
total actual positive =
𝑇𝑃 𝑇𝑃 + 𝐹𝑁
+ F1 score: trung bình điều hịa giữa precision và recall. Do đó nó đại diện hơn trong việc đánh gía độ chính xác trên đồng thời precision và recall. Nó được sử dụng để đánh giá hiệu suất của mơ hình phân loại hoặc khuyến cáo
F1 = 2
precision−1+recall−1
Hình 3.4: Kết quả huấn luyện của mạng
Trong Hình 3.4 cho thấy các giá trị mức cảnh báo đối với học sinh, sinh viên được đưa ra là 96/583 và không cảnh báo là 487/583. Và các công cụ đo như
Accuracy, Precision, Recall, f1-Score đặt mức trong khoảng 85%-96%, đây là mức tương đối cao với bài toán dự báo.
3.5.3. Kiểm thử mạng nơron
Dữ liệu dùng để kiểm thử là thông tin học sinh, sinh viên của nhà trường được lấy từ năm 2018 đến năm 2019 với tổng số là của 411 học sinh, sinh viên khóa T19,T20 hệ trung cấp và CD9, CD10, của hệ cao đẳng thuộc các khoa Điện, Cơ khí, Công nghệ thông tin, May thời trang và chế biến thực phẩm, đã được chọn lựa.
Tập dữ liệu kiểm thử đã qua các bước trích xuất đặc trưng và tiền xử lý giống như dữ liệu của huấn luyện với 12 Nơron lớp vào và 02 Nơron lớp ra.
Đưa vào mơ hình xử lý với giá trị trung bình của các đặc trưng cơ bản bao gồm 411 hàng.
Sau khi Test trên tập với 2 đầu ra.
Sử dụng hàm mất mát Loss để kiểm thử tập dữ liệu với 411 dòng với 156us/sample mất 0.2060, mạng nơron chạy khá tốt với tỉ lệ lên tới 95.62 %
Hình 3.5: Kết quả kiểm thử của mạng
Kết quả kiểm thử của mạng Noron với tập dữ liệu là 411 mẫu đạt mức cảnh báo là 24/411 đạt 0.06% mức không cảnh báo là 387/411 đạt 0.94%. Độ chính xác trong mơ hình đạt mức 96% ngồi ra cịn các thơng số về hiệu xuất tính trung bình của mơ hình cũng tương đối cao điều đó cho thấy mơ hình hoạt động rất tốt.
3.6. Kết quả bài toán khuyến cáo.
Như vậy kết quả dự báo cho bài toán nghỉ học của học sinh, sinh viên nhà trường sử dụng công cụ là mạng nơron truyền thẳng với thuật toán lan truyền ngược sai số cho kết quả khuyến cáo chính xác lên tới 95,62% và sai số là chấp nhận được.
+ Qua các kết quả thực nghiệm thu được trong quá trình thử nghiệm trên cơng cụ khuyến cáo đã chỉ ra được những điều sau:
- Mạng nơron nhân tạo có tính ứng dụng rất đa dạng với thực tiễn, khá hiệu quả trong các bài toán khuyến cáo.
- Mức độ chính xác của mơ hình phụ thuộc vào rất nhiều thơng số, tuy nhiên lại chưa có một phương pháp nào để xác định được chính xác định tính cũng như định lượng của các thơng số. Ta phải thông qua phương pháp thực nghiệm để xác định giá trị thông số tối ưu.
- Số liệu của mỗi học sinh, sinh viên có đặc trưng riêng và thơng số tối ưu thay đổi theo mức độ đặc trưng của số liệu.
CHƯƠNG IV.
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
Luận văn nghiên cứu mạng nơron nhân tạo, mơ hình mạng nơron truyền thẳng được huấn luyện với giải thuật lan truyền ngược cho bài tốn xây dựng mơ hình khuyến cáo khả năng nghỉ học của sinh viên Trường cao đẳng kỹ thuật công nghệ tỉnh Bà rịa Vũng tàu
4.1. Các kết quả đạt được
- Luận văn đã nghiên cứu được tổng quan về mạng nơron nhân tạo, đi sâu vào nghiên cứu mạng hệ thống mạng nơron lan truyền thẳng huấn luyện bằng thuật toán lan truyền ngược sai số chấp nhận được nhằm đạt tới một kết quả tốt nhất cho bài toán tối ưu trọng số mạng nơron nhân tạo.
- Luận văn cũng đã xây dựng được phần mềm khuyến cáo khả năng nghỉ học của sinh viên Trường cao đẳng kỹ thuật công nghệ tỉnh Bà rịa Vũng tàu trong năm tiếp theo.
4.2. Hướng phát triển tiếp theo
Việc sử dụng MLP và Mạng Nơron nhân tạo trong việc phân tích dữ liệu và đưa ra dự báo kết quả học tập cho học sinh, sinh viên là một phương pháp hiệu quả, khách quan và khoa học nhằm nhằm hỗ trợ công tác tư vấn định hướng học tập và khuyến cáo đến các bạn học sinh, sinh viên kết quả học tập của mình từ đó chấn chỉnh lại ý thức học tập và có phương pháp học tập hợp lý để kết quả học tập ngày càng tốt hơn,
Những kết quả thực nghiệm khả quan dựa trên nghiên cứu về ứng dụng mạng nơron nhân tạo với thuật toán học là lan truyền ngược sai số trong bài toán khuyến cáo khả năng nghỉ học của sinh viên Trường cao đẳng kỹ thuật công nghệ tỉnh Bà rịa Vũng tàu trong năm tới cho thấy đây là một mơ hình hiệu quả.
Vì vậy, hướng phát triển tiếp theo của luận văn là cải tiến phương pháp dự báo kết hợp với việc sử dụng thuật tốn tối ưu để có kết quả chính xác.
Ngồi ra, có thể sử dụng kết hợp với một số lĩnh vực khác như: logic mờ và giải thuật di truyền để dự báo kết quả chính xác hơn.
TÀI LIỆU THAM KHẢO
[1] https://technicalvnplus.com/article/tri-tue-nhan-tao-ai [2] https://machineLearningcoban.com/2016/12/26/introduce/
[3] Nguyễn Xuân Khánh. Machine Learning book for Vietnamese, University of Maryland.
[4]https://vietnambiz.vn/hoc-sau-deep-Learning-la-gi-hoc-sau-va-hoc-may-2020041 0165603552.htm
[5] Phạm Thọ Hồn, Phạm Thị Anh Lê (2011), Giáo trình Trí tuệ nhân tạo Đại học sư phạm 1 hà nội.
[6] https://www.phamduytung.com/blog/2019-04-19-deep-Learning-view/#ixzz%2 06f%20%20Qeq16QR
[7] Nordic Coder, (2019). Phân nhóm thuật tốn Machine Learning những điều bạn cần phải biết.
[8] Nguyễn Quang Hoan (2005), Giáo trình mạng nơron nhân tạo, Học viện cơng nghệ bưu chính viễn thơng.
[9] Nguyễn Quang Hoan (2005), Giáo trình mạng nơron nhân tạo, Học viện công nghệ bưu chính viễn thơng.
[10] Fico Corporation (2009), Understanding Predictive Analytics
[11] https://missinglink.ai/guides/neural-network-concepts/7-types-neural-network- activa tion-functions-right/.
[12] vũ hữu tiệp, 2018. Machine Learning cơ bản, nhà xuất bản Khoa học và Kỹ thuật. [13] https://machineLearningcoban.com/2017/02/17/softmax/
[14] Robert J. Schallkoff (1997), Artificial Neural Networks, The McGraw – Hill Companies, Inc 1997.
[15] Đinh Mạnh Tường(2002), Trí tuệ nhân tạo, NXB Khoa học và Kỹ thuật
[16] Nguyễn Đình Thúc (2000), Mạng nơron nhân tạo – phương pháp và ứng dụng, nhà xuất bản giáo dục.
[17] https://phamdinhkhanh.github.io/2020/08/13/ModelMetric.html#5-recall [18] http://naebolo.com/gioi-thieu-ve-accuracy-precision-recall-va-f1/
[19] Fico Corporation (2009), Understanding Predictive Analytics.
[20] https://missinglink.ai/guides/neural-network-concepts/7-types-neural-network- activation-functions-right/. [21] https://aicurious.io/posts/2019-09-23-cac-ham-kich-hoat-activation-function- trong-neural-networks/#3-relu [22] https://machineLearningcoban.com/2017/02/17/softmax/ [23] http://www.rubylab.io/2015/03/18/simple-neural-network-implenentation-in- ruby/
PHỤ LỤC MỘT SỐ MÃ NGUỒN TRONG MƠ HÌNH
1. Huấn luyện mạng
model = Sequential()
model.add(Dense(18, input_dim=12, activation='relu')) model.add(Dense(12, activation='relu'))
model.add(Dense(2, activation='softmax')) model.summary()