Nhận diện cảm xúc trong văn bản tiếng việt bằng mô hình máy học

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG NGUYỄN THANH HUY NHẬN DIỆN CẢM XÚC TRONG VĂN BẢN TIẾNG VIỆT BẰNG MƠ HÌNH MÁY HỌC LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) TP.HỒ CHÍ MINH - NĂM 2022 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THÔNG NHẬN DIỆN CẢM XÚC TRONG VĂN BẢN TIẾNG VIỆT BẰNG MƠ HÌNH MÁY HỌC CHUN NGÀNH : HỆ THỐNG THÔNG TIN MÃ SỐ: 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS NGUYỄN TUẤN ĐĂNG TP.HỒ CHÍ MINH - NĂM 2022 i LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sĩ công nghệ thông tin “ Nhận diện cảm xúc văn tiếng Việt mơ hình máy học” tơi nghiên cứu, tổng hợp thực hướng dẫn PGS.TS Nguyễn Tuấn Đăng Toàn nội dung luận văn, điều trình bày cá nhân tơi tham khảo, tổng hợp từ nhiều nguồn liệu khác Tất tài liệu tham khảo, tổng hợp trích xuất nguồn gốc rỏ ràng Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác TP.HCM, ngày 25 tháng 01 năm 2022 Học viên thực luận văn Nguyễn Thanh Huy ii LỜI CẢM ƠN Trước hết, em xin bày tỏ tình cảm lịng biết ơn em tới Thầy PGS.TS Nguyễn Tuấn Đăng Người bước hướng dẫn, giúp đỡ em trình thực luận văn tốt nghiệp Em xin chân thành cảm ơn Thầy Cô Học viện Bưu Chính Cơng Nghệ Bưu Chính Viễn thơng sở TP.HCM dìu dắt, dạy dỗ em kiến thức chuyên môn tinh thần học tập để em có kiến thức thực đồ án tốt nghiệp Em xin chân thành cảm ơn Thầy TS Tân Hạnh – Phó giám đốc Học viện Cơng Nghệ Bưu Chính Viễn Thơng sở TP.HCM, phịng ban q Thầy Cơ giúp đỡ tạo điều kiện tốt cho em suốt thời gian học tập trường Tuy có nhiều cố gắng trình học tập, trình làm luận văn tốt nghiệp tránh khỏi thiếu sót, em mong góp ý quý báu tất thầy cô giáo tất anh chị để kết em hoàn thiện Một lần em xin chân thành cảm ơn TP.HCM, ngày 25 tháng 01 năm 2022 Học viên thực luận văn Nguyễn Thanh Huy iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH SÁCH HÌNH VẼ v DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT……………… ………vi MỞ ĐẦU 1 Lý chọn đề tài Tổng quan vấn đề nghiên cứu Mục đích nghiên cứu Đối tượng nghiên cứu Phương pháp nghiên cứu CHƯƠNG TỔNG QUAN TÀI LIỆU 1.1 Ngôn ngữ tự nhiên 1.2 Ngôn ngữ tiếng Việt 1.3 Xử lý ngôn ngữ tự nhiên CHƯƠNG CƠ SỞ LÝ THUYẾT 10 2.1 Các mơ hình mạng neuron dùng học sâu 10 2.2 Word2Vec Text Embedding 11 2.3 GloVe Vectors Text Embedding 14 2.4 Các mơ hình nhận diện cảm xúc văn 15 CHƯƠNG NHẬN DIỆN CẢM XÚC TRONG VĂN BẢN TIẾNG VIỆT 18 3.1 Tiền xử lý ngữ liệu 18 3.2 Chuẩn hóa đặc trưng văn 22 3.3 Vector hóa văn [24] 23 3.4 Mơ hình nhận diện cảm xúc sử dụng học sâu 28 CHƯƠNG THỰC NGHIỆM 29 4.1 Xây dựng ngữ liệu 29 4.2 Huấn luyện mơ hình 32 iv 4.3 Thực nghiệm đánh giá kết 34 KẾT LUẬN VÀ KIẾN NGHỊ 41 Các kết đạt luận văn 41 Nhận xét, đề xuất, khuyến nghị 41 Hướng nghiên cứu 42 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 43 v DANH SÁCH HÌNH VẼ Hình 2.1 Cách biểu diễn từ Word2Vec…………………………………12 Hình 2.2 Mơ hình Continous Bag of Words ……………………………………13 Hình 2.3 Mơ hình Continuous Skip-ram……………………… 14 Hình 3.1 Mơ hình BoW ……………………………………………………… 24 Hình 3.2 Ví dụ ma trận thuật tốn Distributional Embedding ……………… 26 Hình 3.3 Mơ hình CBOW Skip-gram………………………………… 27 Hình 3.4 Mơ hình SAV …………………………………………………… 28 Hình 4.1 Mơ tả liệu …………………………………………… 30 Hình 4.2 Mơ hình huấn luyện ………………………………………… … 32 Hình 4.3 Mơ hình kiểm tra ………………………………………….… ………33 Hình 4.4 Điểm định cho phương pháp Logistic Regression ……… 35 Hình 4.5 Báo cáo tập liệu kiểm tra với PP Logistic Regression…………35 Hình 4.6 Điểm định cho phương pháp Linear SVM ……………………36 Hình 4.7 Báo cáo tập liệu kiểm tra với phương pháp Linear SVM … 37 Hình 4.8 Điểm định cho phương pháp Naive Bayes ……………… 37 Hình 4.9 Báo cáo tập liệu kiểm tra với phương pháp Naive Bayes ……38 Hình 4.10 Kết huấn luyện với phương pháp Tensorflow………………… 39 Hình 4.11 Kết tập liệu kiểm tra với phương pháp Tensorflow 40 vi DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết tắt Diễn giải NLP Natural Language Processing CNN Convolutional Neural Network SVM Support Vector Machine TF- IDF Term Frequency – Inverse Document Frequency CBOW Continous Bag Of Words DNN Deep Neural Network BOW Bag Of Words LSTMs Long Short Term Memory Neural Network PP SAV Phương pháp Sentiment Analysis Vietnamese MỞ ĐẦU Lý chọn đề tài Với phát triển không ngừng lĩnh vực công nghệ, việc nhận diện cảm xúc văn tiếng Việt ứng dụng nhiều lĩnh vực như: quản trị doanh nghiệp, quản trị thương hiệu sản phẩm, quản trị quan hệ khách hàng, khảo sát ý kiến khách hàng hay dễ hiểu phân tích đánh giá, ý kiến phản hồi khách hàng sản phẩm, … Việc dự đốn vơ quan trọng ý kiến, đánh giá khách hàng ngày trở nên có giá trị thiết thực Do đó, vấn đề doanh nghiệp quan tâm nhiều Họ cần xây dựng hệ thống để phân tích ý kiến phản hồi khách hàng sản phẩm cách tự động để qua nắm bắt cảm nhận thị hiếu khách hàng, từ họ có chiến lược để nâng cao khả cạnh tranh với đối thủ thích ứng với biến động khơng ngừng thị trường Những thông tin giúp hỗ trợ doanh nghiệp việc nhận biết vấn đề để xây dựng phát triển sản phẩm Còn nghiên cứu, việc xây dựng hệ thống nhận diện cảm xúc văn tiếng Việt bước tiến lớn xử lý ngôn ngữ tự nhiên, giúp giải nhiều vấn đề mắc phải Xây dựng mơ hình giải tốn phân tích cảm xúc người dùng Cụ thể chia cảm xúc khách hàng qua ý kiến đánh giá, phản hồi thành hai trạng thái cảm xúc riêng biệt Từ đó, chúng tơi xây dựng tốn nhận diện cảm xúc người dùng phương pháp phân lớp Trong đó, ý kiến đánh giá, phản hồi diễn đạt cảm xúc từ khách hàng biểu diễn thành vector để đưa vào huấn luyện mơ hình phân lớp Tổng quan vấn đề nghiên cứu Trong năm gần đây, phân tích nhận diện cảm xúc ngày trở nên phổ biến để xử lý liệu truyền thông xã hội cộng đồng trực tuyến, blog, wiki, tảng tiểu blog phương tiện cộng tác trực tuyến khác Phân tích nhận diện cảm xúc nhánh nghiên cứu điện toán sinh thái nhằm phân loại văn (nhưng âm video ) thành tích cực tiêu cực Đây lĩnh vực liên quan đến truy xuất thơng tin tổng hợp thơng tin u cầu liệu phải thu thập, tích hợp phân loại Hầu hết tài liệu ngôn ngữ tiếng Anh gần ngày có nhiều ấn phẩm đề cập đến vấn đề đa ngôn ngữ Hệ thống phân tích nhận diện cảm xúc phân loại rộng rãi thành dựa tri thức dựa thống kê Trong hầu hết công việc áp dụng tốn phân loại đơn giản, phân tích cảm xúc tốn nghiên cứu địi hỏi phải giải nhiều nhiệm vụ NLP (Natural Language Processing), bao gồm nhận dạng thực thể đặt tên [3], trích xuất khái niệm [4], phát châm biếm[5], trích xuất khía cạnh phát tính chủ quan [6] Phát tính chủ quan nhiệm vụ cần thiết phân tích cảm xúc hầu hết cơng cụ phát cảm tính tối ưu hóa để phân biệt văn tích cực tiêu cực Hiện cộng đồng khoa học giải tốt tốn phân tích nhận diện cảm xúc văn tiếng Việt cấp độ đơn giản, tức phân tích cảm xúc với hai lớp cảm xúc tiêu cực tích cực với độ xác 85% Bài tốn phân tích cảm xúc có số phương pháp [7] giải sau: • Phương pháp thủ cơng (dị từ khóa): việc dự đốn cảm xúc dựa vào việc tìm kiếm từ cảm xúc riêng lẻ, xác định điểm số cho từ tích cực, xác định điểm số cho từ tiêu cực sau tổng hợp điểm số lại theo độ đo xác định để định xem văn mang màu sắc cảm xúc Điểm hạn chế phương pháp quan tâm đến thứ tự từ bỏ qua từ quan trọng Độ xác mơ hình phụ thuộc vào độ tốt từ điển từ cảm xúc.Ưu điểm phương pháp dễ thực hiện, tính tốn nhanh, tốn công sức cho việc xây dựng từ điển liệu từ cảm xúc • Phương pháp Deep Learning Neural Network [8]: phương pháp phân tích nhận diện cảm xúc giải mơ hình học Recurrent Neural Network với phương pháp dùng phổ biến Long Short Term Memory Neural Network (LSTMs), kết hợp với phương pháp mơ hình vector hóa từ Word2Vector với kiến trúc sử dụng Continuous Bag- 33 Một trọng số mạng nơron LSTMs [28] lưu xuống file với siêu tham số cấu hình mạng LSTMs mà thiết lập Hai tập tin tải vào mạng LSTMs để kiểm tra, vận hành tiếp tục huấn luyện sau Sơ đồ kiểm tra: Hình 4.3: Mơ hình kiểm tra Ở giai đoạn kiểm tra: - Mơ hình LSTMs [28] sẻ tải lên file cấu hình file lưu trọng số mạng nơron Đồng thời sử dụng đến mơ hình Word2Vector mơ hình TF-IDF với vai trị hệ tri thức từ vựng - Mơ hình Classifier: liệu tập kiểm tra đưa vào mơ hình để tiến hành phân lớp Trong q trình kiểm tra, chúng tơi đưa vào liệu bao gồm tập tin chứa đoạn văn gán nhãn tách từ công cụ Tokenizer trước Kết phân lớp đầu ghi nhận lại để so sánh với nhãn mong đợi ban đầu liệu, từ 34 cho chúng tơi thu kết độ xác mơ hình Nếu sau q trình kiểm tra, độ xác mơ hình đạt mức độ chấp nhận ta sử dụng kết mơ hình vào vận hành thực tế 4.3 Thực nghiệm đánh giá kết Sau giai đoạn tiền xử lý, liệu thực thi theo mơ hình vectơ hóa Word2vec TF-IDF giới thiệu phân lớp theo phương pháp phân lớp khác Mỗi lần chạy, tiến hành đánh giá hiệu suất, tốc độ huấn luyện với tính xác đưa hướng điều chỉnh thích hợp cho chúng nghiên cứu sau Tồn q trình chạy thực nghiệm tiến hành cấu hành máy IDE với cấu sau: - Mã máy: HP Elitebook 2540p - CPU: Core i7-640LM - SSD: 120GB - RAM 6GB, DDR3 1333Mhz (PC3-10666) - Ngôn ngữ : Python - Thực thi: https://colab.research.google.com/drive Bảng 4.2: Kết hợp mô hình vector hóa liệu với phương pháp phân lớp Tên Mơ hình vector hóa Phương pháp phân lớp BoW Logistic Regression BoW Linear SVM BoW Naive Bayes TF-IDF Logistic Regression TF-IDF Linear SVM TF-IDF Naive Bayes CNN Tensorflow Thực nghiêm để phân lớp đánh giá [31] 35 Đầu tiên, phân loại văn tiếng Việt để nhận biết văn có tính chủ quan tính khách quan văn Cụ thể là, tiến hành thực nghiệm phân lớp đánh giá chủ quan đánh giá khách quan với số lần lặp tối đa 500 lần, kết thu sau: Đối với phương pháp hồi quy logistic, chúng tơi sử dụng mơ hình vector hóa BOW TF-IDF để xây dựng tập huấn luyện thu : mơ hình BOW độ xác 0,6998, mơ hình TF-IDF độ xác 0,7056 Hình 4.4: Điểm định cho phương pháp Logistic Regression Sau đó, chúng tơi tiến hành xây đựng báo cáo tập liệu kiểm tra số phân loại 36 Hình 4.5: Báo cáo tập liệu kiểm tra với PP Logistic Regression Kết thu được: điểm precision lớp ‘Tích cực’ mơ hình BOW thấp mơ hình TF-IDF 0,74 0,76, lớp ‘Tiêu cực’ tương đồng Đối với điểm Recall, mơ hình BOW số điểm có nhãn ‘Tiêu cực’ mơ hình nhận cao nhãn ‘ Tích cực’ 0,63 0,77, tương tự với mơ hình TF-IDF 0,61 0,8 Đối với điểm f1-score, mơ hình tương đồng 0,70 0,71 Đối với phương pháp Linear SVM, điểm xác xây dựng tập huấn luyện mơ hình tương đồng Hình 4.6: Điểm định cho phương pháp Linear SVM 37 Kết báo cáo phân lớp mơ hình Hình 4.7: Báo cáo tập liệu kiểm tra với phương pháp Linear SVM Theo kết thu thực tập dữ liệu kiểm tra tương đương mơ hình: điểm accuracy, precision, recall , f1-score Đối với phương pháp Nạve Bayes điểm xác xây dựng tập huấn luyện tương đương Hình 4.8: Điểm định cho phương pháp Naive Bayes Kết báo cáo phân lớp cho tập liệu kiểm tra 38 Hình 4.9: Báo cáo tập liệu kiểm tra với phương pháp Naive Bayes Từ kết cho thấy điểm precision, recall, cho mơ hình BOW TFIDF nhau, riêng điểm f1-score nhãn mơ hình BOW cao 0,01 so với mơ hình TF-IDF Đầu tiên ta có quy ước sau: số điểm true Tích cực (TP), điểm phân loại Tích cực (FP), điểm thực Tích cực (FN) Precision = Recall = F1= TP TP  FP TP TP  FN Pr ecison *Re call Pr ecison  Re call Kết sau thực nghiệm với tập liệu: 39 Bảng 4.3: Hiệu suất phương pháp phân lớp cảm xúc (đo F1) Tích cực Tên Tiêu cực Average Precision Recall F1 Precision Recall F1 F1 74 63 68 67 77 72 70 75 63 68 67 78 72 70 78 61 69 67 82 74 71 76 61 68 67 80 73 70 76 61 68 66 80 72 70 78 61 68 67 82 73 71 Ngồi ra, luận văn chúng tơi thực nghiệm mạng nơ ron nhân tạo với phương pháp Tensorflow [26] sử dụng Chúng thực huấn luyện mơ hình với epochs=100 Hình 4.10: Kết huấn luyện với phương pháp Tensorflow Sau chạy huấn luyện cho mơ hình, ta quan sát thấy độ xác đạt mức trung bình 50,55% Sau xây dựng mơ hình huấn luyện, chúng tơi tiến hành thực nghiệm tập liệu kiểm tra 40 Hình 4.11: Kết tập liệu kiểm tra với phương pháp Tensorflow Kết thu mơ hình với độ xác 50,55% 41 KẾT LUẬN VÀ KIẾN NGHỊ Các kết đạt luận văn Sau thời gian tìm hiểu nghiên cứu, chúng tơi áp dụng mơ hình giải toán gồm bước: Tiền xử lý liệu, vector hóa liệu phân loại cảm xúc mơ hình nhận diện cảm xúc sử dụng học sâu đạt kết khả quan Sau huấn luyện kiểm tra tập liệu ban đầu phương pháp xử lý liệu TF-IDF BoW kết hợp với phương pháp phân lớp Naïve Bayes cho độ xác 71% tốt Để làm điều đó, chúng tơi hồn tất việc sau: - Tìm hiểu đặc điểm ngôn ngữ tiếng Việt, xử lý ngôn ngữ tự nhiên xử lý ngôn ngữ tiếng Việt Tìm hiểu, phân tích xây dựng thành cơng mơ hình giải tốn phân lớp cảm xúc người dùng với định tính “Xác định tính tích cực – tiêu cực văn bản” - Nghiên cứu áp dụng phương pháp vector hóa liệu Word2Vec, TF-IDF CNN - Nghiên cứu phương pháp tiền xử lý tiếng Việt nhằm cải thiện hiệu suất tiến hành huấn luyện - Nghiên cứu áp dụng phương pháp phân lớp kết hợp với ba phương pháp xử lý văn tiếng Việt kể để chọn phương pháp máy học tốt cho phân lớp cảm xúc người dùng - Áp dụng kết hợp phương pháp xử lý văn tiếng Việt thuật toán phân lớp để đánh giá liệu - Xây dựng gán nhãn cho liệu (Dataset) Nhận xét, đề xuất, khuyến nghị 2.1 Nhận xét Tất mơ hình kết hợp với phương pháp xử lý liệu văn tiếng Việt 42 sử dụng cần lượng lớn liệu đầu vào Nếu liệu thiếu cân bằng, độ xác tiến hành phương pháp phân lớp bị ảnh hưởng không ổn định 2.2 Đề xuất Luận văn áp dụng thêm số phương pháp tiền xử lý liệu áp dụng thêm thuật toán phân lớp hay tối ưu thuật tốn phân lớp có để mơ hình giải tốn nhận diên cảm xúc văn tiếng Việt tốt 2.3 Kiến nghị Phân tích cảm xúc nói riêng xử lý ngơn ngữ tự nhiên nói chung nhánh nghiên cứu phức tạp lợi ích mà mang lại Cánh mạng cơng nghiệp 4.0 tai Việt Nam lớn Nếu đề tài đầu tư phát triển tốt áp dụng rộng rãi lĩnh vực giáo dục, y tế, kinh doanh, giải trí, … Vì tất lĩnh vực cần mơ hình để xây dựng phân lớp nhận diện cảm xúc người dùng hiệu đề tài Hướng nghiên cứu Trong nghiên cứu tiếp theo, tiếp tục nghiên cứu để cải thiện hiệu suất phân loại nhận diện cảm xúc văn tiếng Việt Kể tiếp, tiến hành thu thâp thêm liệu thực nghiệm để ổn định hiệu suất mơ hình Cùng với đó, tiến hành thực nghiệm liệu phong phú số lượng, khía cạnh, ý kiến người dùng 43 DANH MỤC CÁC TÀI LIỆU THAM KHẢO [1] N.V Xtankêvich, Các loại hình ngơn ngữ, Nhà xuất Đại học trung học chuyên nghiệp Hà Nội [2] Giáo trình “Xử lý ngơn ngữ tự nhiên”, Đinh Điền, NXB Đại học Quốc gia – HCM, năm 2006 [3] Pang B, Lee L Opinion mining and sentiment analysis Found Trends Inform Retriev 2008;2:1–135 [4] Cambria E, Schuller B, Xia Y, Havasi C New avenues in opinion mining and sentiment analysis IEEE Intell Syst 2013;28:15–21 [5] Binh Thanh Kieu, Son Bao Pham “Sentiment Analysis for Vietnamese.” Proc KSE’10, tr 152-157, 2010 [6] Montoyo Andre´s, Martı´nez-Barco Patricio, Balahur Alexandra Subjectivity and sentiment analysis: an overview of the current state of the area and envisaged developments Decis Support Syst 2012;53:675–9 [7] Zhang Wenhao, Hua Xu, Wan Wei Weakness finder: find product weakness from Chinese reviews by using aspects based sentiment analysis Expert Syst Appl 2012;39:10283–91 [8] Socher, C D Manning, and A Y Ng 2010 Learning continuous phrase representations and syntactic pars- ing with recursive neural networks In Proceedings of the NIPS-2010 Deep Learning and Unsupervised Fea- ture Learning Workshop [9] Daniel Jurafsky and James H Martin “Speech and language processing: an introduction to natural language processing, computational linguistics, and speech recognition.” 1st edition, 2000 [10] Binh Thanh Kieu, Son Bao Pham “Sentiment Analysis for Vietnamese.” Proc KSE’10, tr 152-157, 2010 [11] Nguyen Thi Duyen, Ngo Xuan Bach, and Tu Minh Phuong, “An Empirical 44 Study on Sentiment Analysis for Vietnamese.” Proc ATC’14, tr 309-314, 2014 [12] Bo Pang Lillian Lee “A Sentimental Education: Sentiment Analysis Using Subjectivity Summarization Based on Minimum Cuts.” Proc ACL’04, tr 271- 278, 2008 [13] Le Anh Cuong, Nguyen Thi Minh Huyen, and Nguyen Viet Hung “Report on Sentiment Analysis Evaluation Campaign: Data and Systems.” Proc VLSP 2016, 2016 [14] Vi Ngo Van, Minh Hoang Van, and Tam Nguyen Thanh “Sentiment Analysis for Vietnamese using Support Vector Machines with application to Facebook comments.” Proc VLSP 2016 [15] Thien Khai Tran and Tuoi Thi Phan “Computing Sentiment Scores of Verb Phrases for Vietnamese.” Proc ROCLING’16, tr 204-213, 2016 [16] Liu, B (2012) Sentiment analysis and opinion mining New York, NY: Morgan & Claypool Publishers [17] Sun, S., Luo, C., & Chen, J (2017) A review of natural language processing techniques for opinion mining systems Information Fusion, 36(2017), 10-25 [18] Pang, B., & Lee, L (2008) Opinion mining and sentiment analysis Foundations and trends in information retrieval, 2(1/2), 1-135 [19] Das, S., Dey, A., Pal, A., & Roy, N (2015) Applications of artificial intelligence in machine learning: Review and prospect International Journal of Computer Applications, 115(9), 31-41 [20] Shmueli, G., & Koppius, O R (2011) Predictive analytics in information systems research MIS Quarterly, 35(3), 553-572 [21] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean “Efficient Estimation of Word Representations in Vector Space.” CoRR 2013 [22] http://www.vietlex.com, truy cập 18-06-2018 45 [23] https://streetcodevn.com, truy cập 18-06-2018 [24] https://trituenhantao.io [25] https://nguyenvanhieu.vn/phan-loai-van-ban-tieng-viet/ [26] https://studymachineleaning.com [27] https://text.123docz.net [28] https://www.tensorflow.org/text/guide/word_embeddings [29] https://streetcodevn.com [30] https://www.kaggle.com/ nitin194/ twitter-sentiment-analysis-word2vec [31] https://www.kaggle.com/lakshmi25npathi/sentiment-analysis-of-imdb-movie- reviews [32] http://123doc.org [33] https://text.123doc.org [34] https://vi.wikipedia.org/wiki/Học sâu 46 BẢN CAM ĐOAN Tôi cam đoan thực việc kiểm tra mức độ tương đồng nội dung luận văn qua phần mềm DoIT cách trung thực đạt kết mức độ tương đồng 13% toàn nội dung luận văn Bản luận văn kiểm tra qua phần mềm cứng luận văn nộp để bảo vệ trước hội đồng Nếu sai tơi xin chịu hình thức kỷ luật theo quy định hành học viện TP.HCM, Ngày 25 tháng 01 năm 2022 Học viên thực luận văn Nguyễn Thanh Huy 47 Học viên thực luận văn Người hướng dẫn khoa học Nguyễn Thanh Huy PGS.TS Nguyễn Tuấn Đăng