Ứng dụng học sâu vào bài toán chấm điểm tự động bài luận tiếng anh

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ——————– NGUYỄN GIA THỊNH ỨNG DỤNG HỌC SÂU VÀO BÀI TOÁN CHẤM ĐIỂM TỰ ĐỘNG BÀI LUẬN TIẾNG ANH Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 8480101 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2023 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG-HCM Cán hướng dẫn khoa học: PGS.TS Quản Thành Thơ Cán chấm nhận xét 1: PGS.TS Võ Thị Ngọc Châu Cán chấm nhận xét 2: PGS.TS Đỗ Văn Nhơn Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 11 tháng năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Chủ tịch: TS Nguyễn Đức Dũng Thư ký: TS Trương Thị Thái Minh Phản biện 1: PGS.TS Võ Thị Ngọc Châu Phản biện 2: PGS.TS Đỗ Văn Nhơn Ủy viên: TS Bùi Thanh Hùng Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH TS Nguyễn Đức Dũng ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: NGUYỄN GIA THỊNH MSHV: 2070431 Ngày, tháng, năm sinh: 19/09/1997 Nơi sinh: TP Hồ Chí Minh Chuyên ngành: Khoa học Máy tính Mã số : 8480101 I TÊN ĐỀ TÀI: ỨNG DỤNG HỌC SÂU VÀO BÀI TOÁN CHẤM ĐIỂM TỰ ĐỘNG BÀI LUẬN TIẾNG ANH (APPLICATION OF DEEP LEARNING IN AUTOMATED ESSAY SCORING) II NHIỆM VỤ VÀ NỘI DUNG: - Nghiên cứu toán chấm điểm tự động cho luận tiếng Anh sử dụng mơ hình học sâu Nghiên cứu đề xuất phương pháp nhằm cải thiện độ xác mơ hình tham khảo Thực nghiệm đánh giá kết phương pháp đề xuất III NGÀY GIAO NHIỆM VỤ : 06/02/2023 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 12/06/2023 V.CÁN BỘ HƯỚNG DẪN: PGS.TS Quản Thành Thơ Tp HCM, ngày 04 tháng 06 năm 2023 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) HỘI ĐỒNG NGÀNH (Họ tên chữ ký) PGS.TS Quản Thành Thơ TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên chữ ký) i LỜI CÁM ƠN Sau bốn tháng triển khai thực nghiên cứu, em hoàn thành nội dung luận văn tốt nghiệp thạc sĩ Đây không công sức thân tác giả mà cịn có giúp đỡ, hỗ trợ tích cực nhiều cá nhân tập thể Đầu tiên, em xin gửi lời cảm ơn chân thành sâu sắc đến PGS.TS Quản Thành Thơ, thầy người hướng dẫn trực tiếp trình thực luận văn, nhờ lắng nghe đóng góp ý kiến thầy giúp em tìm hồn thiện nhiều ý tưởng Bên cạnh đó, thầy người truyền cảm hứng cho em niềm đam mê với lĩnh trực trí tuệ nhân tạo nói chung xử lý ngơn ngữ tự nhiên nói riêng Em xin gửi lời cảm ơn đến anh, chị, em đồng nghiệp công ty tạo điều kiện, hỗ trợ cho em trình học tập thực luận văn tốt nghiệp thạc sĩ Cuối cùng, em xin gửi lời cảm ơn chân thành đến gia đình, bạn bè, anh, chị lớp cao học động viên, quan tâm giúp đỡ em trình học tập thực luận văn ii TÓM TẮT LUẬN VĂN Chấm điểm luận tự động tốn quan trọng lĩnh vực giáo dục nói chung việc đánh giá trình độ ngơn ngữ nói riêng Trong đó, tiếng Anh ngơn ngữ phổ biến nay, thúc đẩy cao nhu cầu việc đánh giá kĩ tiếng Anh cho nhiều mục đích khác Các phương pháp nghiên cứu trước tập trung vào việc chấm điểm cho luận tiếng Anh thuộc chủ đề Điều làm giảm tính linh động phương pháp thực tế có nhiều chủ đề khác cần đánh giá Bên cạnh đó, phương pháp đưa điểm số tổng thể cho luận, từ khơng cung cấp nhiều thơng tin q trình đánh giá hỗ trợ người viết Chính vây, nội dung luận văn này, học viên tập trung vào khai thác toán chấm điểm tự động luận tiếng Anh theo hướng tiếp cận chấm điểm chéo chủ đề đa thành phần (cross-prompt and multiple trait) Từ đó, học viên đưa hai đề xuất để cải thiện độ xác mơ hình so với mơ hình tham khảo hướng tiếp cận • Sử dụng mơ hình ngơn ngữ BERT vào việc chấm điểm: học viên kết hợp việc sử dụng mơ hình ngơn ngữ với thơng tin từ mơ hình tham khảo đặc trưng trích xuất thủ cơng (handcrafted features) thông tin gán nhãn phân loại từ loại (part-of-speech) Trong học viên kết hợp thơng tin trích xuất từ mơ hình ngơn ngữ mơ hình tham khảo để đưa điểm số thành phần khác • Sử dụng phương pháp tinh chỉnh prompt (Prompt tuning) kết hợp với mơ hình ngơn ngữ vào việc chấm điểm: học viên xây dựng mơ hình sử dụng kĩ thuật Prompt tuning để tinh chỉnh mơ hình ngơn ngữ BERT, tận dụng nhiều sức mạnh mơ hình ngơn ngữ, từ cải thiện hiệu việc chấm điểm chéo chủ đề iii ABSTRACT OF DISSERTATION Automated essay scoring is one of the important problems in the field of education in general and in assessing language proficiency in particular In which, English is currently the most widely used language, which greatly increases the demand for evaluating English skills for various purposes Previous methods and research have focused on scoring English essays on the same topic This reduces the flexibility of the approach because in reality, there are many different topics that need to be evaluated Additionally, these methods only provide an overall score for the entire essay, thereby not providing much information during the evaluation process and supporting the writer Therefore, in the content of this thesis, the student focuses on exploring the problem of automatic essay scoring in English from the perspective of cross-topic and multiple-trait scoring Based on that, the student proposes two approaches to improve the accuracy of the model compared to the reference model in the same approach • Using the BERT language model for automated essay scoring: the student combines the use of the language model with information from the reference model such as handcrafted features and part-of-speech tagging information In this case, the student combines information extracted from the language model and the reference model to generate different component scores • Using Prompt tuning technique combined with the language model for automated essay scoring: student builds a new model using the Prompt tuning technique to fine-tune the language model BERT in order to exploit the capability of language model, thereby improving the effectiveness of cross-topic scoring iv LỜI CAM ĐOAN Tôi xin cam đoan luận văn tốt nghiệp: “ỨNG DỤNG HỌC SÂU VÀO BÀI TOÁN CHẤM ĐIỂM TỰ ĐỘNG BÀI LUẬN TIẾNG ANH” cơng trình nghiên cứu thân Những phần sử dụng tài liệu tham khảo luận văn nêu rõ phần tài liệu tham khảo Các số liệu, kết trình bày luận văn hồn tồn trung thực, sai tơi xin chịu hồn tồn trách nhiệm chịu kỷ luật môn nhà trường đề Học viên Nguyễn Gia Thịnh v Mục lục Chương GIỚI THIỆU ĐỀ TÀI 1.1 Giới thiệu đề tài 1.2 Mơ tả tốn chấm điểm luận tiếng Anh tự động 1.3 Mục tiêu nhiệm vụ luận văn 1.4 Giới hạn đề tài 1.5 Đóng góp luận văn 1.6 Tóm tắt nội dung Chương CƠ SỞ KIẾN THỨC 2.1 Bộ nhúng từ (Word Embedding) 2.2 Cơ chế Attention mô hình Transformer 14 2.2.1 Cơ chế Attention 14 2.2.2 Mơ hình Transformer 16 2.2.3 Các mơ hình ngôn ngữ sử dụng Transformer 21 2.3 Kĩ thuật tinh chỉnh prompt (Prompt-tuning) 24 Chương CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN 33 3.1 Tổng quan hệ thống AES 33 3.2 Các hướng tiếp cận toán 36 3.3 Hướng tiếp cận prompt-specific 39 3.4 Hướng tiếp cận cross-prompt 43 3.5 Tóm tắt cơng trình nghiên cứu liên quan 48 Chương MƠ HÌNH ĐỀ XUẤT 51 4.1 Phương pháp đánh giá 51 4.2 Tập liệu đánh giá 53 vi 4.3 Đề xuất 1: Kết hợp mơ hình ngơn ngữ BERT mơ hình tham khảo 55 4.3.1 Động lực ý tưởng 55 4.3.2 Mơ tả mơ hình 55 4.3.3 Tham số cấu hình mơ hình 58 4.3.4 Kết thực nghiệm 58 4.4 Đề xuất 2: Xây dựng mơ hình sử dụng mơ hình ngơn ngữ BERT kĩ thuật Prompt-tuning 59 4.4.1 Động lực ý tưởng 59 4.4.2 Mơ tả mơ hình 60 4.4.3 Tham số cấu hình mơ hình 62 4.4.4 Kết thực nghiệm 62 Chương KẾT LUẬN 67 Tài liệu tham khảo 69 vii Danh sách hình vẽ 2.1 One-hot encoding 10 2.2 Countvectorizing 10 2.3 Bag-of-Words 10 2.4 Kiến trúc mơ hình CBOW mơ hình Skip-gram 12 2.5 Mối quan hệ nam nữ Glove [1] 13 2.6 Mối quan hệ so sánh so sánh Glove[1] 14 2.7 Mơ hình Seq2Seq tốn dịch máy 15 2.8 Mơ hình encoder-decoder với chế Additive Attention [2] 16 2.9 Mức độ tương quan ngơn ngữ đích nguồn qua chế Attention [2] 17 2.10 Q trình tính tốn Self-Attention 18 2.11 Ma trận điểm tương quan Self-Attention 19 2.12 Kiến trúc mơ hình Transformer [3] 20 2.13 Mơ hình BERT [4] 23 2.14 Đầu vào đầu mơ hình BERT [4] 23 2.15 Các hướng tiếp cận huấn luyện mơ hình [5] 25 2.16 Các kí hiệu prompting [5] 27 2.17 Các hướng tiếp cận học có ngữ cảnh [6] 28 2.18 Kiến trúc P-tuning [7] 30 2.19 Mô tả phương pháp Prefix Tuning [8] 32 3.1 Các hướng tiếp cận sử dụng mơ hình học sâu [9] 39 3.2 Mơ hình phân cấp với CNN [10] 40 3.3 Mơ hình sử dụng self-attention [11] 42 3.4 Mơ hình AES dựa BERT [12] 42 viii ngôn ngữ BERT theo hướng tiếp cận trước gặp số vấn đề Đầu tiên, theo hướng tiếp cận trước, ta cần thực tinh chỉnh tồn mơ hình ngôn ngữ BERT tập liệu cụ thể cho tác vụ, AES Việc thực tinh chỉnh tốn nhiều thời gian, tài nguyên tính tốn cho q trình huấn luyện Đối với q trình đánh giá, ln phải lưu trữ đầy đủ tồn mơ hình Bên cạnh đó, mơ hình tinh chỉnh có khả q khớp với tập liệu, khơng có khả tổng qt cho hướng tiếp cận cross-prompt Từ đó, học viên thực đề xuất hướng tiếp cận khác xây dựng mơ hình AES huấn luyện mơ hình sử dụng phương pháp thuộc nhóm Prompt Tuning, cụ thể P-tuning v2 [14] với mơ hình ngơn ngữ BERT làm mơ hình tảng phần kiến trúc đầu đa tác vụ (multi-task) với phần kiến trúc trait-attention giữ lại từ mơ hình tham khảo CTS 4.4.2 Mơ tả mơ hình Mơ hình đề xuất, gọi tắt CTS-Prompt, bao gồm phần kiến trúc tương tự mơ hình tham khảo CTS: phần kiến trúc chia sẻ chung phần kiến trúc riêng cho điểm thành phần Hình 4.3 mơ tả kiến trúc mơ hình CTS-Prompt Về phần kiến trúc chia sẻ chung, mơ hình ngơn ngữ BERT kết hợp với P-tuning v2 sử dụng làm mô hình tảng Các bước hoạt động mơ sau: − Văn đầu vào x = {w1 , w2 , , wn } sau qua tách từ có chuỗi xe = {[CLS], e1 , e2 , , en } với n số lượng từ [CLS] token đặc biệt h[CLS] vec-tơ ẩn biểu diễn cho toàn văn − Vec-tơ biểu diễn h[CLS] chép tương ứng với số lượng điểm thành phần điểm tổng, sau qua lớp tuyến tính 60 khác nhánh điểm thành phần, mục đích học biểu diễn văn ứng với loại điểm thành phần Tiếp theo, thông tin biểu diễn nhánh điểm thành phần kết hợp với đặc trưng trích xuất thủ cơng qua lớp trait-attention từ mơ hình tham khảo để có biểu diễn cuối loại điểm thành phần Sau đó, tiếp tục qua lớp tuyến tính với hàm kích hoạt khác cho nhánh điểm khác cơng thức 4.3 Lớp trait-attention đóng phần quan trọng việc cải thiện kết mô hình thơng qua việc kết hợp thơng tin từ điểm thành phần khác ybt = σ (Wt h[CLS] + bt ),t = 1, 2, , T (4.3) Wt , bt tham số huấn luyện tương ứng với lớp tuyến tính cuối điểm t, T số lượng loại điểm Về kiến trúc phương pháp P-tuning v2, phương pháp kết hợp phương pháp trước P-tuning [7] Prefix Tuning [8] nhóm tác giả P-tuning v2 sử dụng ý tưởng Prefix Tuning để thêm prompt liên tục (continuous prompt) dạng prefix token cho lớp Transformer mơ hình ngơn ngữ Một mặt, với thiết kế P-tuning v2 có thêm nhiều thông số để tinh chỉnh cho tác vụ cụ thể Mặt khác, prompt liên tục đặt vào lớp mơ hình ngơn ngữ có ảnh hưởng trực tiếp tới kết dự đoán mơ hình Hình 4.2 mơ tả kiến trúc phương pháp P-tuning v2 Một vài điểm lưu ý tối ưu sử dụng P-tuning v2 để đem lại kết tốt như: − Sử dụng mã hóa tái thiết lập thơng số (reparameterization encoder) Đây đơn giản mơ hình MLP (Multi Layered Perceptron) để biến đổi embedding huấn luyện 61 − Chiều dài prompt đóng vai trị quan trọng, ảnh hưởng trực tiếp tới việc dự đoán kết mơ hình − Việc học đa tác vụ (multi-task learning) góp phần đẩy cao kết dự đốn mơ hình Hình 4.2: Kiến trúc P-tuning v2 [14] 4.4.3 Tham số cấu hình mơ hình Bảng 4.6 mơ tả cấu hình tham số mơ hình Loại mơ hình ngơn ngữ bert-base-uncased với số chiều đầu 768, chiều dài tối đa 512 Mơ hình huấn luyện với batch size 10, learning rate 1e-3 cho tổng cộng 50 epoch Ngoài ra, phần P-tuning v2 cần thêm thông số chiều dài chuỗi prefix 40, số chiều ẩn prefix 512 Ngoài ra, kĩ thuật reparameterization trình bày P-tuning v2 sử dụng 4.4.4 Kết thực nghiệm 62 Prompt-independent features Linear Layer Linear Layer Trait Attention Trait Attention Concatenate Concatenate Linear Layer Linear Layer BERT P-tuning v2 Prompt encoder [CLS] Text input Hình 4.3: Mơ hình đề xuất CTS-Prompt 63 Bảng 4.6: Các tham số cho mơ hình CTS-Prompt Tham số batch size epochs learning rate bert maximum length bert model type bert embedding dim prefix sequence length prefix hidden size Giá trị 10 50 1e-3 512 bert-base-uncased 768 40 512 Bảng 4.7: Kết thực nghiệm mơ hình CTS-Prompt so với mơ hình tham khảo CTS CTS CTS-Prompt 0.623 0.655 0.540 0.567 0.592 0.605 0.623 0.658 0.613 0.642 0.548 0.590 0.384 0.403 0.504 0.448 Bảng 4.7 mô tả kết QWK prompt mơ hình đề xuất CTS-Prompt với mơ hình tham khảo CTS Mơ hình CTS-Prompt đạt kết tốt mơ hình tham khảo pormpt từ đến Kết QWK trung bình prompt đạt 0.571, cải thiện so với điểm QWK trung bình mơ hình tham khảo Có thể thấy rõ việc đặt mơ hình ngơn ngữ làm BERT làm mơ hình tảng có ảnh hưởng nhiều việc đưa kết chấm điểm Với phương P-tuning v2, mơ hình học soft prompt tối ưu cho toán AES giữ tri thức trước mơ hình ngơn ngữ Cũng trình bày phần 2.3, P-tuning v2 cho kết tốt so với fine-tuning trường hợp liệu ít, khả ngoại suy tốt, nên đạt kết tốt thực theo hướng tiếp cận cross-prompt Điều thể rõ cải thiện kết prompt đến 64 Kết so sánh tổng quát phương pháp đề xuất so với mơ hình tham khảo CTS thể bảng 4.8 Phương pháp đề xuất cải thiện so với phương pháp đề xuất tổng cộng prompt ngoại trừ prompt Bảng 4.8: Kết QWK trung bình phương pháp đề xuất so với mơ hình tham khảo CTS prompt CTS CTS-BERT CTS-Prompt 0.623 0.666 0.655 0.540 0.580 0.567 0.592 0.599 0.605 0.623 0.553 0.658 0.613 0.625 0.642 0.548 0.501 0.590 0.384 0.397 0.403 0.504 0.432 0.448 Avg 0.553 0.544 0.571 Bên cạnh kết tổng quát, kết QWK trung bình cho loại điểm thành phần thể qua bảng 4.9, đó: − Overall điểm tổng quát − Content số lượng phần văn có liên quan đến chủ đề − Org (Organisation) cách tổ chức luận − WC (Word choice) cách sử dụng từ − SF (Sentence fluency) tính trơi chảy câu − Conv (Convention) quy ước chung dấu câu, cú pháp − PA (Prompt adherence) mức độ bám sát luận câu hỏi chủ đề − Lang (Language) chất lượng văn phạm, đánh vấn − Nar (Narrativity) mức độ liên kết, mạch lạc ý luận 65 Đánh giá tổng quan kết điểm thành phần, phương pháp đề xuất cải thiện kết điểm thành phần so với mơ hình tham khảo CTS Điểm tổng qt hai phương pháp đề xuất thấp so với mô hình tham khảo phần ảnh hưởng từ kết không cao prompt Tuy cải thiện hầu hết loại điểm thành phần, phương pháp đề xuất cho kết thấp so với phương pháp khác điểm thành phần Conv Việc ảnh hưởng việc sử dụng trực tiếp mơ hình ngơn ngữ phần làm thông tin quan trọng cú pháp câu mà tập trung vào ngữ cảnh ngữ nghĩa Bảng 4.9: Kết QWK trung bình prompt cho loại điểm thành phần CTS CTS-BERT CTS-Prompt Overall 0.670 0.655 0.646 Content 0.555 0.532 0.572 Org 0.458 0.459 0.477 WC 0.557 0.598 0.597 66 SF 0.545 0.560 0.607 Conv 0.412 0.420 0.383 PA 0.565 0.537 0.579 Lang 0.536 0.519 0.614 Nar 0.608 0.586 0.632 Chương KẾT LUẬN Luận văn tập trung nghiên cứu vào toán chấm điểm luận tiếng Anh tự động sử dụng mơ hình học sâu Cụ thể hơn, luận văn cung cấp nhìn tổng quan toán chấm điểm tự động, giới thiệu sở lý thuyết liên quan, trình bày hướng tiếp cận tốn sử dụng mơ hình học sâu nghiên cứu liên quan Đồng thời, luận văn đề xuất phương pháp để cải thiện kết chấm điểm so với mơ hình tham khảo CTS tập liệu có sẵn ASAP-AES Phương pháp đề xuất tích hợp mơ hình ngơn ngữ BERT vào mơ hình tham khảo CTS để cải thiện độ xác Việc tích hợp thực cách kết hợp vec-tơ biểu diễn ẩn từ token đặc biệt [CLS] từ mơ hình ngơn ngữ BERT với vec-tơ đặc trưng trích xuất thủ cơng vec-tơ từ mơ hình CTS Đề xuất nhằm kết hợp hai nguồn thông tin ngữ nghĩa thông tin cấu trúc văn từ hai mơ hình để dự đoán điểm, giúp cải thiện prompt so với mơ hình tham khảo Đề xuất thứ thay đổi phần lớn kiến trúc mơ hình tham khảo việc sử dụng mơ hình ngơn ngữ BERT làm mơ hình tảng Phương pháp P-tuning v2 sử dụng nhằm giải vấn đề gặp phải trước đề xuất số vấn đề mà kĩ thuật tinh chỉnh gặp phải thời gian tài ngun tính tốn, thiếu khả tổng qt hóa khơng phù hợp cho tập liệu nhỏ Đề xuất nhằm mục tiêu tận dụng tối đa sức mạnh mơ hình ngơn ngữ BERT toán chấm điểm với nhiều đầu Kết phương pháp cải thiện prompt so với mơ hình tham khảo Tuy phương pháp đề xuất cải thiện kết so với mơ hình tham khảo, 67 cịn tồn đọng số vấn đề chưa giải số thử nghiệm chưa xem xét thực Vấn đề độ dài văn bản, độ dài tối đa cho phép mơ hình BERT 512, văn có số lượng từ lớn bị cắt bỏ phần Điều làm ảnh hưởng đến trình chấm điểm tương ứng số nội dung điểm mạch lạc, bố cục Điều thể rõ prompt với số điểm thấp so với mơ hình tham khảo, phần chiều dài trung bình prompt 650 Vấn đề khắc phục việc sử dụng mơ Longformer [29] với chiều dài đầu vào lớn Ngoài ra, luận văn thử nghiệm mơ hình ngơn ngữ BERT với kích thước tương đối nhỏ Các mơ hình ngơn ngữ khác với kích thước lớn nên cân nhắc thử nghiệm để đánh giá mức độ ảnh hưởng kích thước mơ hình ngơn ngữ lên toán AES theo hướng cross-prompt Bên cạnh đó, luận văn chưa sâu vào nghiên cứu mức độ ảnh hưởng đặc trưng không phụ thuộc prompt (prompt independent) vào kết mơ hình mà tập trung vào phần kiến trúc Các kĩ thuật bổ sung thêm liệu (data augmentation) chưa áp dụng vào trình đánh giá Trong tương lai, bên cạnh việc giải vấn đề tồn đọng đề xuất tại, học viên mở rộng phạm vi nghiên cứu, thử nghiệm cho toán chấm điểm tiếng Anh tự động theo hướng dựa phương pháp đánh giá nhiều tập liệu 68 Tài liệu tham khảo [1] J Pennington, R Socher, and C Manning, “GloVe: Global vectors for word representation,” in Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), (Doha, Qatar), pp 1532–1543, Association for Computational Linguistics, Oct 2014 [2] D Bahdanau, K Cho, and Y Bengio, “Neural machine translation by jointly learning to align and translate,” arXiv preprint arXiv:1409.0473, 2014 [3] A Vaswani, N Shazeer, N Parmar, J Uszkoreit, L Jones, A N Gomez, L Kaiser, and I Polosukhin, “Attention is all you need,” CoRR, vol abs/1706.03762, 2017 [4] J Devlin, M.-W Chang, K Lee, and K Toutanova, “BERT: Pretraining of deep bidirectional transformers for language understanding,” in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume (Long and Short Papers), (Minneapolis, Minnesota), pp 4171–4186, Association for Computational Linguistics, June 2019 [5] P Liu, W Yuan, J Fu, Z Jiang, H Hayashi, and G Neubig, “Pretrain, prompt, and predict: A systematic survey of prompting methods in natural language processing,” CoRR, vol abs/2107.13586, 2021 [6] T B Brown, B Mann, N Ryder, M Subbiah, J Kaplan, P Dhariwal, A Neelakantan, P Shyam, G Sastry, A Askell, S Agarwal, 69 A Herbert-Voss, G Krueger, T Henighan, R Child, A Ramesh, D M Ziegler, J Wu, C Winter, C Hesse, M Chen, E Sigler, M Litwin, S Gray, B Chess, J Clark, C Berner, S McCandlish, A Radford, I Sutskever, and D Amodei, “Language models are few-shot learners,” CoRR, vol abs/2005.14165, 2020 [7] X Liu, Y Zheng, Z Du, M Ding, Y Qian, Z Yang, and J Tang, “GPT understands, too,” CoRR, vol abs/2103.10385, 2021 [8] X L Li and P Liang, “Prefix-tuning: Optimizing continuous prompts for generation,” in Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), (Online), pp 4582–4597, Association for Computational Linguistics, Aug 2021 [9] R Ridley, L He, X.-y Dai, S Huang, and J Chen, “Automated crossprompt scoring of essay traits,” Proceedings of the AAAI Conference on Artificial Intelligence, vol 35, pp 13745–13753, May 2021 [10] F Dong, Y Zhang, and J Yang, “Attention-based recurrent convolutional neural network for automatic essay scoring,” in Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017), (Vancouver, Canada), pp 153–162, Association for Computational Linguistics, Aug 2017 [11] X Li, M Chen, J Nie, Z Liu, Z Feng, and Y Cai, “Coherence-based automated essay scoring using self-attention,” in Chinese Computational Linguistics and Natural Language Processing Based on Naturally Annotated Big Data (M Sun, T Liu, X Wang, Z Liu, and Y Liu, eds.), (Cham), pp 386–397, Springer International Publishing, 2018 70 [12] R Yang, J Cao, Z Wen, Y Wu, and X He, “Enhancing automated essay scoring performance via fine-tuning pre-trained language models with combination of regression and ranking,” in Findings of the Association for Computational Linguistics: EMNLP 2020, (Online), pp 1560–1569, Association for Computational Linguistics, Nov 2020 [13] Y Cao, H Jin, X Wan, and Z Yu, “Domain-adaptive neural automated essay scoring,” in Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, Association for Computing Machinery, 2020 [14] X Liu, K Ji, Y Fu, W Tam, Z Du, Z Yang, and J Tang, “P-tuning: Prompt tuning can be comparable to fine-tuning across scales and tasks,” in Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), (Dublin, Ireland), pp 61–68, Association for Computational Linguistics, May 2022 [15] T Mikolov, K Chen, G Corrado, and J Dean, “Efficient estimation of word representations in vector space,” CoRR, vol abs/1301.3781, 2013 [16] I Sutskever, O Vinyals, and Q V Le, “Sequence to sequence learning with neural networks,” in Advances in neural information processing systems, pp 3104–3112, 2014 [17] U Naseem, I Razzak, S K Khan, and M Prasad, “A comprehensive survey on word representation models: From classical to state-of-theart word representation language models,” Transactions on Asian and Low-Resource Language Information Processing, vol 20, pp – 35, 2020 71 [18] B Lester, R Al-Rfou, and N Constant, “The power of scale for parameter-efficient prompt tuning,” in Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, (Online and Punta Cana, Dominican Republic), pp 3045–3059, Association for Computational Linguistics, Nov 2021 [19] S Dikli, “An overview of automated scoring of essays,” The Journal of Technology, Learning and Assessment, vol 5, Aug 2006 [20] K Taghipour and H T Ng, “A neural approach to automated essay scoring,” in Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, (Austin, Texas), pp 1882–1891, Association for Computational Linguistics, Nov 2016 [21] F Dong and Y Zhang, “Automatic features for essay scoring – an empirical study,” in Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, (Austin, Texas), pp 1072– 1077, Association for Computational Linguistics, Nov 2016 [22] Y Tay, M C Phan, L A Tuan, and S C Hui, “Skipflow: Incorporating neural coherence features for end-to-end automatic text scoring,” CoRR, vol abs/1711.04981, 2017 [23] M A Hussein, H A Hassan, and M Nassef, “A trait-based deep learning automated essay scoring system with adaptive feedback,” International Journal of Advanced Computer Science and Applications, vol 11, no 5, 2020 [24] C Jin, B He, K Hui, and L Sun, “TDNN: A two-stage deep neural network for prompt-independent automated essay scoring,” in Proceedings of the 56th Annual Meeting of the Association for Compu72 tational Linguistics (Volume 1: Long Papers), (Melbourne, Australia), pp 1088–1097, Association for Computational Linguistics, July 2018 [25] F S Mim, N Inoue, P Reisert, H Ouchi, and K Inui, “Unsupervised learning of discourse-aware text representation for essay scoring,” in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, (Florence, Italy), pp 378–385, Association for Computational Linguistics, July 2019 [26] R Ridley, L He, X Dai, S Huang, and J Chen, “Prompt agnostic essay scorer: A domain generalization approach to cross-prompt automated essay scoring,” CoRR, vol abs/2008.01441, 2020 [27] S J Haberman, “Measures of agreement versus measures of prediction accuracy,” ETS Research Report Series, no 1, pp 1–23, 2019 [28] S Mathias and P Bhattacharyya, “ASAP++: Enriching the ASAP automated essay grading dataset with essay attribute scores,” in Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), (Miyazaki, Japan), European Language Resources Association (ELRA), May 2018 [29] I Beltagy, M E Peters, and A Cohan, “Longformer: The longdocument transformer,” CoRR, vol abs/2004.05150, 2020 73 PHẦN LÝ LỊCH TRÍCH NGANG Họ tên: Nguyễn Gia Thịnh Ngày, tháng, năm sinh: 19/09/1997 Nơi sinh: TP Hồ Chí Minh Địa liên lạc: 220/20 Hồ Văn Huê, phường 9, quận Phú Nhuận, TP Hồ Chí Minh Q TRÌNH ĐÀO TẠO Tháng 9/2015 - Tháng 4/2019: Sinh viên, chuyên ngành Điện tử Viễn thông, trường Đại học Bách Khoa – ĐHQG-HCM Tháng 1/2021 - nay: Học viên cao học, chuyên ngành Khoa học Máy tính, trường Đại học Bách Khoa – ĐHQG-HCM Q TRÌNH CƠNG TÁC Tháng 10/2019 - Tháng 11/2021: Kĩ sư trí tuệ nhân tạo, Tổng Cơng Ty Cơng Nghiệp Công Nghệ Cao Viettel Tháng 12/2021 - nay: Kĩ sư trí tuệ nhân tạo, Cơng Ty Cổ Phần Dịch Vụ Di Động Trực Tuyến (M_Service)