CHƯƠNG 3 PHÂN TÍCH, THIẾT KẾ VÀ XÂY DỰNG MƠ HÌNH
3.7.5. Nhận xét chung
Thông qua tất cả phương thức đánh giá trên và hiệu suất của các phương pháp cơ sở và mơ hình đề xuất được trình bày ở các bảng. Mơ hình đề xuất của chúng tơi vượt trội hơn các phương pháp cơ sở và đạt được kết quả cao nhất. Một quan sát đáng chú ý là hiệu suất tổng thể của các phương pháp cơ sở tăng đáng kể khi được áp dụng cơ chế chú ý. Các mơ hình học sâu (LSTM, NEMO) được cải thiện hiệu suất khi có thêm lớp cơ chế chú ý.
Hình 3.20 thể hiện hàm mất mát sau 3000 kỷ ngun (epochs) đào tạo của mơ hình đề xuất. Bằng cách sử dụng cơ chế chú ý, hàm mất mát giảm nhanh hơn trong quá trình huấn luyện đồng thời đưa ra được các dự đốn chính xác hơn.
Hình 3.20: So sánh hàm mất mát của mơ hình trong q trình huấn luyện có sử dụng cơ chế chú ý và không sử dụng cơ chế chú ý
KẾT LUẬN Kết quả nhận được
Trong đề tài này, chúng tơi tiến hành nghiên cứ một mơ hình hồn tồn mới để khám phá con đường sự nghiệp của nhân viên ở cấp độ cá nhân với cơ chế chú ý. Đặc biệt, mục tiêu là dự đoán chức danh tiềm năng tiếp theo của cá nhân nhân viên và nhận được thời gian làm việc ở chức danh tiếp theo. Kết quả thử nghiệm trên dữ liệu thế giới thực cho thấy rằng, bằng cách áp dụng cơ chế chú ý, phương pháp của chúng tôi diễn giải thông tin nội tại trong mỗi kinh nghiệm làm việc và kết nối giữa các kinh nghiệm làm việc một cách hiệu quả. Như được hiển thị trong kết quả thử nghiệm của chúng tơi, mơ hình đề xuất cung cấp độ chính xác tốt hơn nhiều cho cả ba nhiệm vụ dự đoán và cho kết quả vượt trội so với các phương pháp hiện đại khác.
Nhược điểm
Vì thời gian và nguồn lực có hạn nên chúng tơi đã hồn thành dự án chỉ với tập dữ liệu của nhân viên trong lĩnh vực công nghệ thông tin ở Việt Nam. Chúng tôi tin rằng phương pháp của mình vẫn cịn nhiều tiềm năng phát triển trong việc hỗ trợ các doanh nghiệp ở các lĩnh vực khác.
Công việc trong tương lai
Chúng tôi sẽ tiếp tục nghiên cứu và phát triển hệ thống của mình với dữ liệu ở các lĩnh vực khác nhau để xây dựng một sản phẩm thật sự.
Cơng trình nghiên cứu
Các kết quả nghiên cứu trong luận văn đã được cơng nhận với bài báo có tiêu đề là “Improve Job Experiences Prediction with Attention Mechanism” và được đăng bởi tạp chí khoa học – Đại học Đà Nẵng, Tập 20, số 6, ngày 02/06/2022, trang 33.
Journal of Physical Sciences, 7 (29), 2012, 5127–5142.
[2] Corné de Ruijt et al, “Job Recommender Systems: A Review”, CoRR abs/2111.13576, 2021. https://arxiv.org/abs/2111.13576
[3] Piad, Keno, Dumlao, Menchita, Ballera, Melvin, Ambat, Shaneth, “Predicting IT employability using data mining techniques”, Third International Conference on Digital Information Processing, Data Mining, and Wireless Communications, 2016, 26-30.
[4] S. Rendle, C. Freudenthaler, and L. Schmidt-Thieme. “Factorizing personalized markov chains for next-basket recommendation”. Proceedings of the 19th International Conference
on World Wide Web, 2010, 811–820.
[5] Mạng thần kinh hồi quy, Wikipedia.
https://vi.wikipedia.org/wiki/Mạng_Thần_Kinh_Hồi_Quy
[6] S. Hochreiter and J. Schmidhuber, “Long short-term memory”, Neural Computation, 9 (8),
1997, 1735-1780.
[7] Bui Quang Minh, Word Embedding – Tìm hiểu khái niệm cơ bản trong NLP.
https://viblo.asia/p/word-embedding-tim-hieu-khai-niem-co-ban-trong-nlp-1Je5E93G5nL
[8] Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio, Neural Machine Translation by Jointly Learning to Align and Translate, CoRR, abs/1409.0473, 2014.
https://arxiv.org/abs/1409.0473
[9] Alonso Silva Allende, Concordance Index as an Evaluation Metric.
https://medium.com/analytics-vidhya/concordance-index-72298c11eac7
[10] A. Joulin, E. Grave, P. Bojanowski, M. Douze, H. Jégou, T. Mikolov, “FastText.zip: Compressing text classification models”, CoRR abs/1612.03651, 2016.
https://arxiv.org/abs/1612.03651
[11] Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, Efficient Estimation of Word Representations in Vector Space. CoRR abs/1301.3781, 2013. https://arxiv.org/pdf/1301.3781.pdf
[12] D. Zhang et al. “Job2vec: Job title benchmarking with collective multi-view representation learning”, Proceedings of the 28th ACM International Conference on Information and Knowledge Management, 2019, 2763–2771.
[13] Le Van-Duyet, Vo Minh Quan, Dang Quang An, “Skill2vec: Machine Learning Approach for Determining the Relevant Skills from Job Description”, Computing Research Repository, 2017, 1-3.
[14] L. Li et al., “Nemo: Next career move prediction with contextual embedding”, Proceedings of the 26th International Conference on World Wide Web Companion, 2017,505-513.