Phân tích cảm xúc dựa trên khía cạnh

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA VŨ DUY QUANG PHÂN TÍCH CẢM XÚC DỰA TRÊN KHÍA CẠNH NGÀNH: KHOA HỌC MÁY TÍNH MÃ NGÀNH: 8480101 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, 07/2022 CƠNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : • PGS.TS Quản Thành Thơ • TS Nguyễn Thiên Bình Cán chấm nhận xét : PGS.TS Võ Thị Ngọc Châu Cán chấm nhận xét : TS Nguyễn Lưu Thùy Ngân Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 21 tháng 07 năm 2022 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Chủ tịch: PGS.TS Huỳnh Tường Nguyên Thư ký: TS Nguyễn Tiến Thịnh Phản biện 1: PGS.TS Võ Thị Ngọc Châu Phản biện 2: TS Nguyễn Lưu Thùy Ngân Uỷ viên: TS Trần Thanh Tùng Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc! NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: VŨ DUY QUANG MSHV: 2070013 Ngày, tháng, năm sinh: 17/09/1995 Nơi sinh: Đăk Lăk Chuyên ngành: Khoa học Máy tính Mã số : 8480101 I.!TÊN ĐỀ TÀI: PHÂN TÍCH C M XÚC D A TRÊN KHÍA C NH ASPECT BASED SENTIMENT ANALYSIS II NHIỆM VỤ VÀ NỘI DUNG: -! Nghiên cứu phương pháp giải toán Phân tích cảm xúc dựa khía cạnh -! Nghiên cứu xây dựng mơ hình Phân tích cảm xúc dựa khía cạnh cho ngơn ngữ tiếng Việt -! Thực nghiệm đánh giá kết III NGÀY GIAO NHIỆM VỤ : 06/09/2021 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 06/06/2022 V.! CÁN BỘ HƯỚNG DẪN: PGS.TS Quản Thành Thơ, TS.Nguyễn Thiên Bình Tp HCM, ngày 07 tháng 06 năm 2022 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên chữ ký) LỜI CÁM ƠN Trước hết, xin gửi lời cảm ơn sâu sắc đến PGS.TS Quản Thành Thơ, TS Nguyễn Thiên Bình giảng viên hướng dẫn luận văn tốt nghiệp người thầy gắn bó với tơi q trình học tập Chính nhờ tri thức Thầy truyền đạt với hướng dẫn tận tình, góp ý khoa học Thầy giúp tơi hồn thành tốt đề tài luận văn tốt nghiệp Tôi xin chân thành gửi lời cảm ơn tới quý Thầy Cô công tác Khoa Khoa học Kĩ thuật Máy tính, Trường Đại Học Bách Khoa TP.HCM, người nhiệt tình truyền đạt kiến thức, kinh nghiệm suốt hai năm học để tơi có tảng kiến thức vững ngày hôm Cuối cùng, xin gửi lời cảm ơn đến gia đình, bạn bè, người động viên, giúp đỡ nhiều q trình thực đề tài Tp Hồ Chí Minh, tháng năm 2022 i C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an TÓM TẮT LUẬN VĂN Việc phân loại thái cực cảm xúc biểu đạt khía cạnh cụ thể xuất câu mang lại giá trị to lớn đối cho nhiều lĩnh vực đời sống nghiên cứu Qua trình nghiên cứu cơng trình liên quan đến tốn Phân loại cảm xúc dựa khía cạnh, tơi xây dựng mơ hình phân loại thái cực cảm xúc khía cạnh nhắc đến câu tiếng Việt Mơ hình kết hợp mơ hình ngơn ngữ BERT mạng nơ-ron truyền thẳng với bốn phương pháp xây dựng câu phụ trợ nhằm đưa toàn dạng phân loại cặp câu Từ kết đạt được, hy vọng đề tài cung cấp thông tin hữu ích cho hệ thống phân tích cảm xúc cho ngôn ngữ tiếng Việt sau ABSTRACT Categorizing the sentiment polarity expressed for a particular aspect that appear in a sentence can be of great value to many areas of life and research Through the process of researching works related to the problem of Aspectbased Sentiment Analysis, I have built a model to classify the sentiment polarity of the aspect mentioned in a Vietnamese sentence This model is a combination of the BERT language model and a neural network along with four auxiliary sentence construction methods to bring the whole problem into the form of sentence pair classification From the obtained results, I hope that the thesis will provide useful information for future sentiment analysis systems for Vietnamese language ii Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an LỜI CAM ĐOAN Tôi xin cam đoan rằng, đề tài luận văn tốt nghiệp "Phân tích cảm xúc dựa khía cạnh" cơng trình nghiên cứu tơi hướng dẫn PGS.TS Quản Thành Thơ TS Nguyễn Thiên Bình, xuất phát từ nhu cầu thực tiễn nguyện vọng tìm hiểu, nghiên cứu thân Ngoại trừ kết tham khảo từ cơng trình khác ghi rõ luận văn, nội dung trình bày luận văn tơi thực kết luận văn chưa công bố trước hình thức HỌC VIÊN THỰC HIỆN iii Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Mục lục LỜI CÁM ƠN i TÓM TẮT LUẬN VĂN ii LỜI CAM ĐOAN iii Danh sách hình vẽ vi Danh sách bảng vii Chương GIỚI THIỆU ĐỀ TÀI 1.1 Giới thiệu toán 1.2 Mục tiêu phạm vi đề tài 1.3 Cấu trúc luận văn Chương CÁC CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN 2.1 Sử dụng đặc trưng n-grams từ điển cảm xúc 2.2 Mở rộng mơ hình RNN AdaRNN cho tốn Phân tích cảm xúc dựa khía cạnh 2.3 Kết hợp sở kiến thức chung vào LSTM 10 Chương CƠ SỞ KIẾN THỨC 12 3.1 Word Embedding 12 3.1.1 Biểu diễn từ vectơ one-hot 12 3.1.2 Kỹ thuật Word2vec 13 3.2 Mơ hình BERT (Bidirectional Encoder Representations from Transformers) 15 Chương PHƯƠNG PHÁP ĐỀ XUẤT 18 4.1 Mơ tả tốn 18 4.2 Phương pháp tham khảo 19 4.3 Mơ hình đề xuất 21 4.3.1 Xây dựng câu phụ trợ 22 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 4.3.2 Xây dựng mơ hình phân loại với BERT 25 4.3.3 Xử lý kết phân loại 26 Chương THÍ NGHIỆM 27 5.1 Tập liệu 27 5.2 Các công cụ thư viện 27 5.3 Các bước thực thiện 28 5.3.1 Tiền xử lý liệu 28 5.3.2 Chuẩn bị liệu cho huấn luyện đánh giá 29 5.3.3 Hiện thực mơ hình phân loại cảm xúc 33 5.3.4 Huấn luyện đánh giá mơ hình 33 5.4 Kết đánh giá 34 Chương KẾT LUẬN 36 6.1 Kết đạt 36 6.2 Hạn chế 37 6.3 Hướng phát triển 37 Tài liệu tham khảo 39 v Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Danh sách hình vẽ 2.1 Cấu trúc phân cấp PhraseRNN: (a) Cây phụ thuộc, (b) Cây phụ thuộc cụm, (c) Cây phụ thuộc cụm từ nhị phân phụ thuộc mục tiêu 2.2 Tổng quan kiến trúc 11 3.1 Mơ hình CBOW Skip-gram 14 3.2 Biểu diễn đầu vào mơ hình BERT 15 3.3 Next Sentence Prediction (NSP) 17 4.1 Tổng quan mô hình phân loại sử dụng BERT mạng nơron truyền thẳng 21 vi Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Danh sách bảng 2.1 Độ xác hệ thống sở, hệ thống phân loại mẫu vào lớp tích cực, hệ thống dựa luật hệ thống sử dụng SVM tập huấn luyện tập đánh giá 2.2 Kết đánh giá phương pháp PhraseRNN 5.1 Một ví dụ tập liệu 29 5.2 Các mẫu huấn luyện xây dựng với phương pháp QA-M 29 5.3 Các mẫu huấn luyện xây dựng với phương pháp NLI-M 5.4 30 Các mẫu huấn luyện xây dựng với phương pháp QA-B 31 5.5 Các mẫu huấn luyện xây dựng với phương pháp NLI-B 32 5.6 Kết đánh giá mơ hình phân loại cặp câu 35 vii Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an − Underthesea, công cụ xử lý ngôn ngữ tự nhiên tiếng Việt mã nguồn mở Mơ hình BERT huấn luyện trước sử dụng thí nghiệm mơ hình PhoBERT [16] phiên base tác giả Dat Quoc Nguyen phát triển dành cho ngôn ngữ tiếng Việt 5.3 Các bước thực thiện 5.3.1 Tiền xử lý liệu Dữ liệu dạng văn tập liệu UIT-ViSFD tiền xử lý trước đưa vào mơ hình BERT Các bước xử lý bao gồm: − Word Segmentation, bước tiền xử lý này, câu tiếng Việt công cụ Underthesea chuyển thành chuỗi từ bao gồm từ ghép từ đơn Ví dụ, câu đầu vào ’Chàng trai 9X Quảng Trị khởi nghiệp từ nấm sò’ chuyển thành [’Chàng trai’, ’9X’, ’Quảng Trị’, ’khởi nghiệp’, ’từ’, ’nấm’, ’sò’] − Tokenizing, bước này, cặp câu đầu vào biến đổi thành chuỗi token để làm đầu vào cho mô hinh BERT 28 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Câu Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Nhãn {FEATURES#Negative}; {BATTERY#Neutral}; {GENERAL#Neutral}; Bảng 5.1: Một ví dụ tập liệu Câu Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Câu Bạn nhận xét tính ? Bạn nhận xét pin ? Bạn nhận xét đánh giá chung ? Nhãn Negative Neutral Neutral Bảng 5.2: Các mẫu huấn luyện xây dựng với phương pháp QA-M 5.3.2 Chuẩn bị liệu cho huấn luyện đánh giá Một tập liệu huấn luyện tập liệu đánh giá chuẩn bị cho phương pháp xây dựng câu phụ trợ bốn phương pháp trình phần 4.3 Sau ví dụ việc xây dựng tập huấn luyện đánh giá cho phương pháp xây dựng câu phụ trợ Với mẫu tập huấn luyện thể bảng 5.1, phương pháp xây dựng câu phụ trợ tạo mẫu huấn luyện bảng 5.2, 5.3, 5.4, 5.5 29 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Câu Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Câu tính Nhãn Negative pin Neutral đánh giá chung Neutral Bảng 5.3: Các mẫu huấn luyện xây dựng với phương pháp NLI-M 30 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Câu Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Câu Nhận xét tính tích cực Nhận xét tính trung tính Nhận xét tính tiêu cực Nhận xét pin tích cực Nhãn no Nhận xét pin trung tính Nhận xét pin tiêu cực yes Nhận xét đánh giá chung tích cực Nhận xét đánh giá chung trung tính Nhận xét đánh giá chung tiêu cực no no yes no no yes no Bảng 5.4: Các mẫu huấn luyện xây dựng với phương pháp QA-B 31 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Câu Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Mọi người cập nhật phần mềm lại , bớt tốn pin, thử rồi, thứ ok, vân tay ko nhạy Câu tính - tích cực Nhãn no tính trung tính - no tính - tiêu cực yes pin - tích cực no pin - trung tính yes pin - tiêu cực no đánh giá chung - tích cực no đánh giá chung - trung tính yes đánh giá chung - tiêu cực no Bảng 5.5: Các mẫu huấn luyện xây dựng với phương pháp NLI-B 32 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 5.3.3 Hiện thực mơ hình phân loại cảm xúc Sau sử dụng phương pháp xây dựng câu phụ trợ để tạo tập liệu để huấn luyện đánh giá phương pháp, mơ hình phân loại cảm xúc dựa khía cạnh xây dựng cách kết hợp mơ hình BERT huấn luyện trước PhoBERT với mạng nơ-ron truyền thẳng Hai câu mẫu huấn luyện tiền xử lý thành chuỗi token đưa vào mơ hình PhoBERT Kết đầu token [CLS] vec-tơ C ∈ RH H = 768 Véc-tơ đưa vào làm đầu vào mạng nơ-ron kết nối đầy đủ có ma trận tham số W ∈ RK×H , K số lượng lớp phân loại Cụ thể phương pháp QA-M NLI-M K = (Positive, Neutral, Negative, None); cịn với phương pháp QA-B NLI-B K = (yes, no) Cuối cùng, phân phối xác suất nhãn tính hàm softmax P = so f tmax(CW T ) 5.3.4 Huấn luyện đánh giá mơ hình Mơ hình phân loại sử dụng mơ hình PhoBERT huấn luyện trước "vinai/phobert-base" Trong q trình huấn luyện, dropout đặt 0.5, số lượng epoch Hệ số huấn luyện (learing rate) khởi động 1e − kích thước batch 33 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 5.4 Kết đánh giá Có hai số dùng để đánh giá hệ thống phân loại cho toán phân tích cảm xúc dựa khía cạnh Đối với xác định khía cạnh đề cập câu, số sử dụng F1 F1 = 2·P·R P+R (5.1) Trong độ xác (precision - P) độ phủ (recall - R) định nghĩa sau: P= |S ∩ G| |S ∩ G| ,R = |S| |G| (5.2) Với S tập khía cạnh mà hệ thống dự đốn được, G tập khía cạnh thực đề cập đến câu Đối với phân loại thái cực cảm xúc khía cạnh đề cập câu, số sử dụng độ xác (Accuracy), định nghĩa số lượng khía cạnh phân loại nhãn tổng khía cạnh đề cập câu Kết đánh giá hệ thống với phương pháp xây dựng câu phụ trợ trình bày bảng 5.6 Qua xem xét kết đánh giá hệ thống, thấy hai mơ hình tương ứng với hai phương pháp xây dựng câu phụ trợ Câu cho QA-M Câu cho NLI-M cho kết tốt, độ xác F1 chưa thực xuất sắc kết triển vọng Còn hai 34 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Phương pháp Câu cho QA-M Câu cho NLI-M Câu cho QA-B Câu cho NLI-B F1 89.18% 88.61% 79.35% 85.36% Accuracy 79.09% 77.82% 53.21% 57.64% Bảng 5.6: Kết đánh giá mơ hình phân loại cặp câu phương pháp xây dựng cặp câu Câu cho QA-B Câu cho NLI-B, tập liệu huấn luyện đánh giá tạo hai phương pháp có độ lớn cao nhiều so với tập liệu gốc, bước xử lý kết mơ hình phân loại phức tạp lại cho kết chưa cao 35 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Chương KẾT LUẬN Qua trình nghiên cứu thực đề tài "Phân tích cảm xúc dựa khía cạnh", tơi đạt số kết định, với cịn có hạn chế chưa thể giải thời gian thực luận văn Trong Chương tơi trình bày tóm tắt kết đạt luận văn, điểm hạn chế chưa giải hướng phát triển cho đề tài "Phân tích cảm xúc dựa khía cạnh" 6.1 Kết đạt Qua nhiều tháng nghiên cứu thực đề tài "Phân tích cảm xúc dựa khía cạnh" tơi đạt số kết định Một số kết bật là: − Hiểu lịch sử hình thành phát triển phương pháp tiếp cận tốn "Phân tích cảm xúc dựa khía cạnh" qua thời kì lĩnh vực Xử lý ngơn ngữ tự nhiên Từ nắm thành tựu đạt khó khăn thách thức toán − Nắm bắt sở kiến thức tảng cho việc nghiên cứu giải tốn "Phân tích cảm xúc dựa khía cạnh" kiến thức quan trọng cho nhiều toán khác lĩnh vực Xử lý ngôn ngữ tự nhiên − Hiểu rõ phương pháp giải tốn "Phân tích cảm xúc dựa khía cạnh" trình bày cơng trình nghiên cứu tham khảo 36 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Từ đề xuất mơ hình học máy dựa phương pháp tham khảo để giải tồn "Phân tích cảm xúc dựa khía cạnh" cho ngôn ngữ tiếng Việt − Xây dựng mơ hình học máy để giải tốn "Phân tích cảm xúc dựa khía cạnh" thí nghiệm mơ hình tập liệu thực tế ngôn ngữ tiếng Việt cho kết khả quan 6.2 Hạn chế Ngoài kết đạt trình bày phần trước, luận văn tơi cịn tồn số hạn chế chưa khắc phục thời gian thực có hạn − Độ xác mơ hình đề xuất tập liệu thí nghiệm cịn chưa cao so với kết mơ hình tham khảo − Mã nguồn mơ hình chưa tối ưu song song dẫn đến tốc độ xử lý chậm − Chưa xác định nguyên nhân dẫn đến không hiệu phương pháp xây dựng câu phụ trợ 6.3 Hướng phát triển Để hồn thiện đề tài "Phân tích cảm xúc dựa khía cạnh" hướng tới đóng góp lớn vào thực tế nghiên cứu khoa học, tơi có số đề xuất để phát triển đề tài sau: − Tinh chỉnh thêm mơ hình học máy để tăng độ xác 37 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an − Tối ưu mã nguồn mơ hình để tăng tốc độ xử lý − Đa dạng hoá tập liệu đánh giá − Đề xuất phương pháp xây dựng câu phụ trợ phù hợp với ngôn ngữ tiếng Việt phương pháp kết hợp bốn phương pháp xây dựng câu phụ trợ có − Thực thí nghiệm so sánh với phương pháp khác Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 38 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Tài liệu tham khảo [1] J Devlin, M.-W Chang, K Lee, and K Toutanova, “Bert: Pre-training of deep bidirectional transformers for language understanding,” 2018 [Online] Available: https://arxiv.org/abs/1810.04805 [2] C Sun, L Huang, and X Qiu, “Utilizing bert for aspect-based sentiment analysis via constructing auxiliary sentence,” 2019 [Online] Available: https://arxiv.org/abs/1903.09588 [3] J Wagner, P Arora, S Cortes, U Barman, D Bogdanova, J Foster, and L Tounsi, “DCU: Aspect-based polarity classification for SemEval task 4,” in Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014) Dublin, Ireland: Association for Computational Linguistics, Aug 2014, pp 223–229 [Online] Available: https://aclanthology.org/S14-2036 [4] T Wilson, J Wiebe, and P Hoffmann, “Recognizing contextual polarity in phrase-level sentiment analysis,” in Proceedings of human language technology conference and conference on empirical methods in natural language processing, 2005, pp 347–354 [5] S Baccianella, A Esuli, and F Sebastiani, “Sentiwordnet 3.0: An enhanced lexical resource for sentiment analysis and opinion mining,” in Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC’10), 2010 [6] M Hu and B Liu, “Mining and summarizing customer reviews,” in Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining, 2004, pp 168–177 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 39 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an [7] T H Nguyen and K Shirai, “PhraseRNN: Phrase recursive neural network for aspect-based sentiment analysis,” in Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing Lisbon, Portugal: Association for Computational Linguistics, Sep 2015, pp 2509–2514 [Online] Available: https: //aclanthology.org/D15-1298 [8] Y Ma, H Peng, and E Cambria, “Targeted aspect-based sentiment analysis via embedding commonsense knowledge into an attentive lstm,” in Proceedings of the AAAI conference on artificial intelligence, vol 32, no 1, 2018 [9] T Mikolov, K Chen, G Corrado, and J Dean, “Efficient estimation of word representations in vector space,” arXiv preprint arXiv:1301.3781, 2013 [10] J Pennington, R Socher, and C D Manning, “Glove: Global vectors for word representation,” in Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), 2014, pp 1532–1543 [11] A Joulin, E Grave, P Bojanowski, M Douze, H Jégou, and T Mikolov, “Fasttext.zip: Compressing text classification models,” 2016 [Online] Available: https://arxiv.org/abs/1612.03651 [12] M E Peters, M Neumann, M Iyyer, M Gardner, C Clark, K Lee, and L Zettlemoyer, “Deep contextualized word representations,” in Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume (Long Papers) New Orleans, Louisiana: Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 40 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Association for Computational Linguistics, Jun 2018, pp 2227–2237 [Online] Available: https://aclanthology.org/N18-1202 [13] I Goodfellow, Y Bengio, and A Courville, Deep learning MIT press, 2016 [14] A Vaswani, N Shazeer, N Parmar, J Uszkoreit, L Jones, A N Gomez, L Kaiser, and I Polosukhin, “Attention is all you need,” 2017 [Online] Available: https://arxiv.org/abs/1706.03762 [15] L L Phan, P H Pham, K T Nguyen, T T Nguyen, S K Huynh, L T Nguyen, T V Huynh, and K V Nguyen, “SA2SL: from aspect-based sentiment analysis to social listening system for business intelligence,” CoRR, vol abs/2105.15079, 2021 [Online] Available: https://arxiv.org/abs/2105.15079 [16] D Q Nguyen and A Tuan Nguyen, “PhoBERT: Pre-trained language models for Vietnamese,” in Findings of the Association for Computational Linguistics: EMNLP 2020 Online: Association for Computational Linguistics, Nov 2020, pp 1037–1042 [Online] Available: https://aclanthology.org/2020.findings-emnlp.92 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 41 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn