1. Trang chủ
  2. » Luận Văn - Báo Cáo

Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert

52 7 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 52
Dung lượng 2 MB

Nội dung

Ngày đăng: 12/05/2022, 11:07

Nguồn tham khảo

Tài liệu tham khảo Loại Chi tiết
[1] Bounfour , Digital Futures, Digital Transformation. Springer International Publishing. Cham, 2016. ISBN : 9780198520115 Sách, tạp chí
Tiêu đề: Digital"Futures,"Digital"Transformation
[2] J. Devlin et al. , “BERT: Pre-training of Deep Bidirectional Transformers for Language Un- derstanding , ” In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies vol. 1.10 (2019), pp. 4171–4186. DOI : http://dx.doi.org/10.18653/v1/N19-1423 Sách, tạp chí
Tiêu đề: et al.", “BERT: Pre-trainingof Deep Bidirectional Transformers for Language Un-derstanding,”In: "Proceedings"of"the 2019"Conference"of"the"North American"Chapter"of the"Association"for"Computational"Linguistics: Human"Language"Technologies
Tác giả: J. Devlin et al. , “BERT: Pre-training of Deep Bidirectional Transformers for Language Un- derstanding , ” In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies vol. 1.10
Năm: 2019
[3] S. Sanyal et al., “Resume Parser with Natural Language Processing”. In: International Journal of Engineering Science and Computing vol. 7, no. 2.2, pp. 4484–4489 , Feb. 2017 . DOI :http: //dx.doi.org/10.18653/v1/N19-1423 Sách, tạp chí
Tiêu đề: et"al.", “ResumeParserwithNaturalLanguageProcessing”.In:"International"Journal"of"Engineering"Science"and"Computing
[4] A. Bouziane et al. , “Question Answering Systems: Survey and Trends , ” In: International Con- ference on Advanced Wireless Information and Communication Technologies (AWICT 2015) vol. 73 , 2015, pp. 366–375. DOI : https://doi.org/10.1016/j.procs.2015.12.005 Sách, tạp chí
Tiêu đề: et"al.", “QuestionAnsweringSystems:SurveyandTrends,”In:"International"Con-"ference on Advanced"Wireless"Information"and"Communication Technologies"(AWICT"2015)
[5] B. Ojokoh1 and E. Adebisi , “LASSO: A Tool for Surfing the Answer Net , ” In: Journal of King Saud University - Computer and Information Sciences vol. 32, pp. 635–646 , July 2020 . DOI : https://doi.org/10.1016/j.jksuci.2018.08.005 Sách, tạp chí
Tiêu đề: LASSO:AToolforSurfingtheAnswerNet,”In:"Journal"of"King"Saud"University-Computer"and"Information"Sciences
[6] V. V. Nguyen, V. L. Pham, and N. S. Vu , “Study of Information Extraction in Resume , ” Technical Report, VNU University of Engineering and Technology, 2018 Sách, tạp chí
Tiêu đề: StudyofInformationExtraction inResume
[7] M. Pandey and S. S. Rautaray , “A CV Parser Model using Entity Extraction Process and Big Data Tools , ” In: I.J. Information Technology and Computer Science vol. 9, pp. 21–31 , 2018 .DOI : https://doi.org/10.5815/ijitcs.2018.09.03 Sách, tạp chí
Tiêu đề: ACVParserModelusingEntityExtractionProcessandBigDataTools,”In:"I.J."Information"Technology"and"Computer"Science
[8] Ayishathahira, Sreejith, and Raseek. “Combination of Neural Networks and Conditional Ran- dom Fields for Efficient Resume Parsing , ” In: 2018 International CET Conference on Control, Communication, and Computing (IC4) , J uly 2018. DOI : https : / / doi . org / 10 . 1109 / CETIC4.2018.8530883 Sách, tạp chí
Tiêu đề: Combination of Neural Networks and Conditional Ran-domFieldsforEfficientResumeParsing,”In:"2018"International"CET"Conference"on"Control,"Communication, and Computing (IC4)
[9] Sun M. Liu Z. Lin Y , Word Representation. Representation Learning for Natural Language Processing. Springer, Singapore., 2016. ISBN : 9780198520115. DOI : https://doi.org/10.1007/978-981-15-5573-2_2 Sách, tạp chí
Tiêu đề: Word Representation
[11] Z. S. Harris , “Distributional structure , ” In: WORD , vol. 39 , no. 2-3, pp. 146–162 , 1954 . [12] G. Salton and C. Buckley , “Term-weighting approaches in automatic text retrieval , ” Infor-mation Processing and Management, vol. 24. no. 5, pp. 513–523 , 1988 Sách, tạp chí
Tiêu đề: Distributionalstructure,”In:"WORD", vol.39, no. 2-3,pp.146–162, 1954.[12] G.SaltonandC.Buckley, “Term-weightingapproachesinautomatictextretrieval,”"Infor-"mation"Processing"and"Management
[13] Y. Bengio et al. , “A neural probabilistic language model , ” T he Journal of Machine Learning Research (JMLR), vol. 3, pp. 1137–1155 , 2003 Sách, tạp chí
Tiêu đề: et"al.", “Aneuralprobabilisticlanguagemodel,” T"he"Journal"of"Machine"Learning"Research (JMLR)
[14] T. Mikolov et al. , “Efficient estimation of word representations in vector space , ” In: 1st Inter- national Conference on Learning Representations, ICLR 2013 - Workshop Track Proceedings , 2013, pp. 1–12. DOI: https://doi.org/10.48550/arXiv.1301.3781 Sách, tạp chí
Tiêu đề: et"al.", “Efficientestimationofwordrepresentationsinvectorspace,”In:"1st"Inter-"national"Conference"on"Learning"Representations,"ICLR"2013-Workshop"Track"Proceedings
[15] J. Pennington, R. Socher, and C. Manning , “Glove: Global Vectors for Word Representation , ” In: Proceedings of the 2014 Conference on Empirical Methods in Natural LanguageProcess-ing (EMNLP) , Doha, Quatar, 2014, pp. 1532–1543 Sách, tạp chí
Tiêu đề: Glove:GlobalVectorsforWordRepresentation,”In:"Proceedings"of"the"2014"Conference"on"Empirical"Methods"in"Natural"Language"Process-ing"(EMNLP)
[16] A. Joulin et al ., “Fasttext.zip: Compressing text classification models , ” In ternet : arXiv - preprint arXiv:1612.03651 , 20 21 Sách, tạp chí
Tiêu đề: et al"., “Fasttext.zip: Compressing text classification models,” Internet: "arXiv"- preprint"arXiv:1612.03651
[17] M. E. Peters et al. , “Deep contextualized word representations . ” In: North American Chapter of the Association for Computational Linguistics (NAACL) , New Orleans, Louisiana, 2018 Sách, tạp chí
Tiêu đề: et"al.", “Deepcontextualizedwordrepresentations.”In: "North"American"Chapter"of"the"Association"for"Computational"Linguistics"(NAACL)
[19] T. T. Quan , “Modern Approaches in Natural Language Processing ," VNU Journal of Sci- ence: Comp. Science Com. Eng , vol. 37 , no. 1 , 2021 Sách, tạp chí
Tiêu đề: ModernApproachesinNaturalLanguageProcessing
[20] D. E. Rumelhart, G. E. Hinton, and R. J. Williams , “Learning representations by back-propagating errors , ” Nature , vol. 6088 , no. 2-3 , pp. 533–536 , 1986 Sách, tạp chí
Tiêu đề: Learningrepresentationsbyback-propagatingerrors,”"Nature
[21] A. Vaswani et al. , “Attention Is All You Need , ” In: Proceedings of the 31st International Con- ference on Neural Information Processing Systems , D ec. 2017, pp. 6000–6010. DOI :https: //arxiv.org/pdf/1706.03762.pdf Sách, tạp chí
Tiêu đề: et"al.", “AttentionIsAllYouNeed,”In:"Proceedings"of"the"31st"International"Con-"ference"on"Neural"Information"Processing"Systems
[22] A. Singh , "End-to-end Masked Language Modeling with BERT," Internet : https://keras.io/examples/nlp/masked_language_modeling/ , 2021 Sách, tạp chí
Tiêu đề: End-to-end Masked Language Modeling with BERT
[23] S. Schwager and J. Solitario , "Question and Answering on SQuAD 2.0: BERT Is All You Need . "Internet : https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/reports/default/15812785.pdf , 2021 Sách, tạp chí
Tiêu đề: Question and Answering on SQuAD 2.0: BERT Is All You Need

HÌNH ẢNH LIÊN QUAN

Hình 1: Việc sàn lọc resume thường gây khó khăn cho nhà tuyển dụng - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 1 Việc sàn lọc resume thường gây khó khăn cho nhà tuyển dụng (Trang 15)
Hình 2: Minh hoạ về cấu trúc trong resume - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 2 Minh hoạ về cấu trúc trong resume (Trang 16)
Hình 3: Minh hoạ sơ lược về quá trình trích xuất thông tin từ resume - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 3 Minh hoạ sơ lược về quá trình trích xuất thông tin từ resume (Trang 16)
Hình 5: Quá trình xử lí của một hệ thống hỏi đáp cổ điển - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 5 Quá trình xử lí của một hệ thống hỏi đáp cổ điển (Trang 18)
Hình 6: Mô hình pipeline để trích xuất thông tin từ resume sử dụng semantic-based [3] - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 6 Mô hình pipeline để trích xuất thông tin từ resume sử dụng semantic-based [3] (Trang 21)
Hình 7: Kiến trúc học sâu để trích xuất thông tin từ resume sử dụng semantic-based [8] - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 7 Kiến trúc học sâu để trích xuất thông tin từ resume sử dụng semantic-based [8] (Trang 22)
RNN để áp dụng trích xuất thông tin nhưng hiện tại có những mô hình đã ra đời để khắc phục những thiếu sót của những mô hình này và có những kết quả đáng ngạc nhiên - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
p dụng trích xuất thông tin nhưng hiện tại có những mô hình đã ra đời để khắc phục những thiếu sót của những mô hình này và có những kết quả đáng ngạc nhiên (Trang 22)
Hình 8: Mô hình trích xuất thông tin từ resume sử dụng rule-based [6] - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 8 Mô hình trích xuất thông tin từ resume sử dụng rule-based [6] (Trang 23)
Hình 9: Cấu trúc xây dựng mô hình Sentence to vector - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 9 Cấu trúc xây dựng mô hình Sentence to vector (Trang 27)
Hình 10: Biểu diễn về Recurrent Neural Network - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 10 Biểu diễn về Recurrent Neural Network (Trang 29)
Hình 11: Minh hoạ kiến trúc Transformer [21] - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 11 Minh hoạ kiến trúc Transformer [21] (Trang 30)
Hình 12: Minh hoạ về Scaled Dot-Product Attention [21] - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 12 Minh hoạ về Scaled Dot-Product Attention [21] (Trang 32)
Hình 13: Minh hoạ về Multi-Head Attention [21] - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 13 Minh hoạ về Multi-Head Attention [21] (Trang 33)
3.4 Mô hình Bidirectional Encoder Representation from Trans- Trans-former - BERT - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
3.4 Mô hình Bidirectional Encoder Representation from Trans- Trans-former - BERT (Trang 35)
Hình 15: Minh hoạ về quá trình huấn luyện NextSentence Prediction (NSP) - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 15 Minh hoạ về quá trình huấn luyện NextSentence Prediction (NSP) (Trang 36)
Hình 16: Minh hoạ về quá trình tinh chỉnh mô hình hỏi đáp dựa trên BERT - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 16 Minh hoạ về quá trình tinh chỉnh mô hình hỏi đáp dựa trên BERT (Trang 38)
Hình 17: Bộ dữ liệu resume từ website VietnamWorks - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 17 Bộ dữ liệu resume từ website VietnamWorks (Trang 39)
Hình 18: Quá trình tiền xử lí dữ liệu để lấy ra giá trị các start token và end token - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 18 Quá trình tiền xử lí dữ liệu để lấy ra giá trị các start token và end token (Trang 40)
Hình 19: Kiến trúc hệ thống đề xuất - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 19 Kiến trúc hệ thống đề xuất (Trang 41)
Hình 20: Segmentation Text - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 20 Segmentation Text (Trang 41)
Hình 21: Quá trình huấn luyện với BERT trên bộ dữ liệu Vietnamworks - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 21 Quá trình huấn luyện với BERT trên bộ dữ liệu Vietnamworks (Trang 43)
Hình 22: Ví dụ cụ thể quá trình huấn luyện với BERT trên bộ dữ liệu Vietnamworks - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 22 Ví dụ cụ thể quá trình huấn luyện với BERT trên bộ dữ liệu Vietnamworks (Trang 44)
Hình 23: Các khái niệm về Confusion matrix trong bài toán hỏi đáp - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 23 Các khái niệm về Confusion matrix trong bài toán hỏi đáp (Trang 45)
Hình 25: Biểu đồ exact match và F1-score trên tập test - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 25 Biểu đồ exact match và F1-score trên tập test (Trang 47)
Hình 24: Biểu đồ exact match và F1-score trong quá trình huấn luyện - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 24 Biểu đồ exact match và F1-score trong quá trình huấn luyện (Trang 47)
Hình 26: Kết quả demo hệ thống - Trích xuất dữ liệu từ resume dựa trên mô hình question answering kết hợp bert
Hình 26 Kết quả demo hệ thống (Trang 49)

TRÍCH ĐOẠN

Kiến trúc Transformer

Mô hình hỏi đáp dựa trên BERT

Xây dựng mô hình

Tiềm năng trong thực tế

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w