Nghiên Cứu Ứng Dụng Mô Hình Học Sâu Trong Phát Hiện Xâm Nhập Mạng.pdf

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ MẠNH CƯỜNG NGHIÊN CỨU ỨNG DỤNG MÔ HÌNH HỌC SÂU TRONG PHÁT HIỆN XÂM NHẬP MẠNG LUẬN VĂN THẠC SỸ HỆ THỐNG THÔNG TIN Hà Nội 2021 ĐẠI HỌC QUỐC GIA HÀ NỘI[.]

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ MẠNH CƯỜNG NGHIÊN CỨU ỨNG DỤNG MƠ HÌNH HỌC SÂU TRONG PHÁT HIỆN XÂM NHẬP MẠNG LUẬN VĂN THẠC SỸ HỆ THỐNG THÔNG TIN Hà Nội - 2021 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ MẠNH CƯỜNG NGHIÊN CỨU ỨNG DỤNG MƠ HÌNH HỌC SÂU TRONG PHÁT HIỆN XÂM NHẬP MẠNG LUẬN VĂN THẠC SỸ HỆ THỐNG THÔNG TIN Chuyên ngành: Hệ thống thông tin Người hướng dẫn luận văn: PGS.TS Nguyễn Ngọc Hóa Hà Nội - 2021 LỜI CẢM ƠN Em xin chân thành cảm ơn thầy cô giáo trường Đại học Công Nghệ, Đại Học Quốc Gia Hà Nội, tận tình hướng dẫn, giảng dạy suốt trình học tập, nghiên cứu trường, truyền đạt cho em kiến thức bổ ích dạy em học sống đáng quý Em xin gửi lời cảm ơn sâu sắc đến giảng viên PGS.TS Nguyễn Ngọc Hóa tồn thể q thầy thuộc mơn Hệ Thống Thơng Tin Thầy, tận tình hướng dẫn định hướng cho em hồn thành khóa luận Cám ơn gia đình, người thân bạn bè nhiệt tình giúp đỡ động viên trình làm khóa luận Mặc dù có nhiều cố gắng thực đề tài luận văn cách hoàn chỉnh Song luận văn cịn nhiều thiếu sót Rất mong góp ý q thầy, bạn để luận văn hoàn chỉnh Em xin chân thành cảm ơn! Hà Nội, tháng 04 năm 2021 Vũ Mạnh Cường i LỜI CAM ĐOAN Em xin cam đoan kết báo cáo đạt luận văn em thực hướng dẫn PGS.TS Nguyễn Ngọc Hóa Tất tham khảo từ nghiên cứu liên quan nêu nguồn gốc cách rõ ràng từ danh mục tài liệu tham khảo luận văn Luận văn không chép tài liệu, cơng trình nghiên cứu người khác mà khơng rõ mặt tài liệu tham khảo Các kết thực nghiệm luận văn tiến hành thực nghiệm thống kê từ kết thực tế Tác giả Vũ Mạnh Cường ii i NGHIÊN CỨU ỨNG DỤNG MƠ HÌNH HỌC SÂU TRONG PHÁT HIỆN XÂM NHẬP MẠNG VŨ MẠNH CƯỜNG Tóm tắt luận văn Hệ thống phát phòng trống xâm nhập (Intrusion Detection and Prevention System - IDPS) nhận nhiều quan tâm nhóm nghiên cứu giới Thực vậy, thư viện IEEE Xplore, tính đến tháng 12/2018, có 768 cơng trình cơng bố, gồm 54 tạp chí 691 báo hội thảo Có 10 tài liệu cho khoá học ngắn hạn số lượng sách Số liệu tổng hợp từ Google Scholar ghi nhận 17.400 kết từ năm 2014 Tuy nhiên, hầu hết cơng trình tập trung nghiên cứu phát phòng trống xâm nhập mạng nội (Network-based Intrusion Prevention System - NetIPS) Với tổ chức có quy mơ lớn, việc kiểm sốt luồng liệu vào/ra để phát hiện/phòng chống xâm nhập cần phải thực đảm bảo tốc độ, vừa phải có độ phát xác cao (giảm tỷ lệ phát nhầm bỏ sót) [18] Hiện nay, xu ứng dụng phương pháp học máy thống kê quan tâm ứng dụng toán phát xâm nhập mạng [11] Một phương pháp phát đánh giá có hiệu phát xâm nhập tốt ứng dụng mơ hình học sâu [14] [6] Từ đó, luận văn xác lập mục tiêu nghiên cứu, tìm hiểu phương pháp học máy thống kê, trọng đến mô hình học sâu áp dụng tốn phát xâm nhập mạng Chạy thử nghiệm tập liệu tin cậy CIC-IDS-2018 [14] chạy thực nghiệm liệu nhóm nghiên cứu tạo Từ khóa: Phát xâm nhập mạng; Học sâu; An toàn bảo mật mạng Mục lục GIỚI THIỆU CHUNG 1.1 Động lực nghiên cứu 1.2 Một số nghiên cứu liên quan 1.3 Mục tiêu nội dung nghiên cứu 1.3.1 Mục tiêu nghiên cứu 1.3.2 Những đóng góp Tổ chức luận văn 1.4 LÝ THUYẾT LIÊN QUAN 2.1 2.2 2.3 Tổng quan hệ thống phát xâm nhập mạng 2.1.1 Giới thiệu hệ thống phát xâm nhập mạng 2.1.2 Kỹ thuật phát xâm nhập mạng dựa dấu hiệu (SNIDS) 2.1.3 Kỹ thuật phát xâm nhập mạng dựa phát bất thường (ANIDS) Lý thuyết học sâu 10 2.2.1 Khái niệm học sâu 10 2.2.2 Lược sử học sâu 10 2.2.3 Giới thiệu mạng nơ-ron 14 2.2.3.1 Mạng nơ-ron sinh học 14 2.2.3.2 Mạng nơ-ron nhân tạo 15 21 Kết luận chương PHÁT HIỆN XÂM NHẬP MẠNG SỬ DỤNG MÔ HÌNH HỌC SÂU 3.1 Bài tốn đặt 3.2 Mơ hình IDPSDLWD phát ngăn chặn xâm nhập mạng dựa phân 3.3 22 22 tích lưu lượng truy cập HTTP 22 Lựa chọn khung xây dựng mơ hình học sâu 24 3.3.1 Keras 24 3.3.2 TensorFlow 25 ii iii MỤC LỤC 3.4 3.3.3 Theano 25 3.3.4 PyTorch 25 3.3.5 Fastai 25 3.3.6 Đánh giá lựa chọn 27 Kết luận chương THỰC NGHIỆM 27 28 4.1 Môi trường thực nghiệm 28 4.2 Dữ liệu thực nghiệm 28 4.2.1 Dữ liệu sinh đề tài KC.01.28/16-20 29 4.2.2 Dữ liệu từ nguồn tin cậy 30 4.3 Tối ưu hoá tham số 31 4.4 Phương pháp đánh giá 31 4.5 Mơ hình huấn luyện 32 4.6 Kết thử nghiệm 33 4.6.1 Kết với liệu DS1 33 4.6.2 Kết với liệu DS2 35 4.7 Đánh giá 37 4.8 Kết luận chương 38 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 39 5.1 Các đóng góp 39 5.2 Hạn chế 39 5.3 Hướng phát triển tương lai 40 Công bố học viên 41 TÀI LIỆU THAM KHẢO 42 Danh sách hình vẽ 1.1 Lược đồ tổ chức luận văn 2.1 Ví dụ kiến trúc NIDS 2.2 Ảnh kiến trúc sử dụng phương pháp SNIDS [12] 2.3 Ảnh kiến trúc ANIDS [4] 2.4 Ảnh lịch sử học sâu (nguồn: Deep learning - history and background) 10 2.5 Ảnh mơ hình đạt giải cao thi ILSVRC (nguồn: cnns-architectureslenet-alexnet-vgg-googlenet-resnet-and-more ) 13 2.6 Ảnh mô tả mạng nơ-ron sinh học [5] 14 2.7 Mơ hình mạng nơ-ron [5] 15 2.8 Đồ thị hàm ngưỡng [5] 16 2.9 Đồ thị hàm ReLU [5] 17 2.10 Đồ thị hàm Sigmoid [5] 18 2.11 Đồ thị hàm Tanh [5] 18 2.12 Mạng FNN [5] 20 3.1 Kiến trúc mạng nơ-ron sâu luận văn 23 3.2 Mơ hình phát hành vi bất thường dựa phân tích luồng HTTP 24 4.1 Kiến trúc sinh liệu 30 4.2 Ma trận nhầm lẫn k = 32 4.3 Ma trận nhầm lẫn k = 32 4.4 Ma trận nhầm lẫn k = 32 4.5 Ma trận nhầm lẫn k = 32 4.6 Ma trận nhầm lẫn k = 33 4.7 Hình ảnh biểu đồ số đánh gía q trình huấn luyện DS1 34 4.8 Hình ảnh biểu đồ số đánh gía q trình huấn luyện DS2 36 iv Danh sách bảng 2.1 Các nguyên tắc ANIDS [4] 4.1 Tổng số luồng HTTP tập liệu làm 29 4.2 Tổng số luồng HTTP tập liệu làm 30 4.3 Tổng số luồng HTTP tập liệu làm 31 4.4 Giá trị tối ưu hóa siêu tham số 31 4.5 Kiểm chứng chéo với k = sử dụng liệu DS2 32 4.6 Số lượng mẫu huấn luyện kiểm tra 33 4.7 Kết số huấn luyện DS1 sau 15 epochs 34 4.8 Ma trận nhầm lẫn 35 4.9 Kết số đánh giá mơ hình 35 4.10 Kết số huấn luyện DS2 sau 15 epochs 36 4.11 Ma trận nhầm lẫn 37 4.12 Kết số đánh giá mơ hình 37 4.13 So sánh IDPSDLWD với phương pháp khác 38 v Danh mục thuật ngữ viết tắt IDS NIDS IDPS Intrusion Detection System Network-Based Intrusion Detection System Intrusion Detection and Prevention System Hệ thống phát xâm nhập Hệ thống phát xâm nhập mạng Hệ thống phát ngăn chặn xâm nhập IDPS and deep learning al- Hệ thống phát ngăn chặn xâm nhập IDPSDLWD gorithms for Webshell de- dựa quy tắc thuật toán học sâu tection để phát Webshell Signature-Based NetworkSNIDS Based Intrusion Detection System Anomaly-Based ANIDS Network- Based Intrusion Detection System Hệ thống phát xâm nhập mạng dựa chữ ký Hệ thống phát xâm nhập mạng dựa bất thường AI Artificial Intelligence Trí tuệ nhân tạo ML Machine Learning Máy học DL Deep Learning Học sâu ANN Artificial Neural Network Mạng nơ-ron nhân tạo DNN Deep Neural Network Mạng nơ-ron học sâu MLP Multi-layer Perceptron Perceptron nhiều lớp CNN FNN DBN Convolutional Neural Network Feedforward Neural Network Deep Belief Network Mạng nơ-ron tích chập Mạng nơ-ron theo chiều xuôi Mạng lưới niềm tin sâu sắc vi CHƯƠNG THỰC NGHIỆM Luồng Luồng có webshell Luồng dự đốn 54.022 Luồng dự đốn có Webshell 2.193 Bảng 4.8: Ma trận nhầm lẫn Độ đo Giá trị(%) Accuracy 100 Precision 100 F1-score 100 Recall 100 FNR 0.00 FPR 0.00 Bảng 4.9: Kết số đánh giá mơ hình Từ kết Bảng 4.9, phương pháp luận văn cho độ đo F1 cao 100 % Với tập liệu sử dụng để kiểm tra, IDPSDLWD phát Trang web với độ xác 100 % Hơn nữa, tỷ lệ dương tính giả / âm tính giả IDPSDLWD nhỏ: 0,00 % 0,00 % Điều có nghĩa phương pháp cho phép giảm tỷ lệ phát nhầm xâm nhập mạng (Webshell) giảm tỷ lệ thiếu luồng xâm nhập mạng (Webshell) 4.6.2 Kết với liệu DS2 Mục đích việc sử dụng DS2 [14] để so sánh cách khách quan hiệu IDPSDLWD với phương pháp nghiên cứu khác sử dụng liệu Để đánh giá tính hiệu quả, luận văn sử dụng ma trận nhầm lẫn, số đánh giá như: độ xác(Accuracy), độ xác (Precision), độ đo F1 Biểu đồ số độ đo thống kê hình 4.8 bảng 4.10 35 CHƯƠNG THỰC NGHIỆM Hình 4.8: Hình ảnh biểu đồ số đánh gía q trình huấn luyện DS2 Epochs Accuracy(%) Precision(%) F1-score(%) Thời gian (s) 99.96 99.96 99.96 01:45 99.96 99.96 99.96 01:42 99.96 99.96 99.96 01:44 99.96 99.96 99.96 01:43 99.96 99.96 99.96 01.41 99.96 99.96 99.96 01.35 99.96 99.96 99.96 01.48 99.96 99.96 99.96 02:05 99.96 99.96 99.96 01:39 10 99.96 99.96 99.96 01:51 11 99.96 99.96 99.96 01:37 12 99.96 99.96 99.96 01:36 13 99.95 99.95 99.95 01:43 14 99.96 99.96 99.96 01:40 15 99.96 99.96 99.96 01:39 Bảng 4.10: Kết số huấn luyện DS2 sau 15 epochs 36 CHƯƠNG THỰC NGHIỆM Luồng Luồng chứa mã độc Luồng dự đốn 312.557 Luồng dự đốn có mã độc 134 168 Bảng 4.11: Ma trận nhầm lẫn Độ đo Giá trị(%) Accuracy 99.96 Precision 100 F1-score 99.98 Recall 99.96 FNR 0.04 FPR 1.18 Bảng 4.12: Kết số đánh giá mơ hình Từ kết Bảng 4.11, 4.12, thấy IDPSDLWD xác định nhầm số 170 công webshell thật, dẫn đến giá trị FPR tương đối thấp 1,18 % Độ xác giá trị cao 99,96 % Tỷ lệ âm tính giả thấp 0,04 % có nghĩa tỷ lệ luồng lành tính bị phân loại sai thành luồng webshell thấp Mã nguồn tập liệu sử dụng thử nghiệm chúng tơi truy cập miễn phí từ liên kết GitHub: https://github.com/cuongvm17/fastai-ids 4.7 Đánh giá Để đánh giá khách quan hiệu phương pháp IDPSDLWD, luận văn thử nghiệm so sánh kết với ba mơ hình sử dụng fast.ai, Keras-TensorFlow Keras-Theano tác giả [1] tập liệu CSE-CIC-IDS2018 vào ngày 23-02-2018 Kết Bảng 4.13 cho thấy điểm F1 độ xác phương pháp IDPSDLWD đạt 99,96 %, cao độ xác tất mơ hình so sánh fast.ai 99,92 %, Keras-TensorFlow of 99,94 % Keras-Theano 99,95 % 37 CHƯƠNG THỰC NGHIỆM Phương pháp Độ xác (Accuracy)(%) IDPSDLWD 99.96 fast.ai 99.92 Keras-TensorFlow 99.94 Keras-Theano 99.95 Bảng 4.13: So sánh IDPSDLWD với phương pháp khác 4.8 Kết luận chương Trong chương này, luận văn giới thiệu liệu Tiếp theo, luận văn trình bày mơi trường gói cần cài đặt để chạy chương trình thực tế Phần cuối chương thống kê đánh giá kết đạt Chương chương cuối cùng, chương luận văn tổng kết trình bày hướng phát triển tương lai 38 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Các đóng góp Luận văn đề xuất phương pháp IDPSDLWD để phát ngăn chặn xâm nhập mạng ứng dụng web theo thời gian thực dựa phân tích lưu lượng mạng Ý tưởng sử dụng kết hợp IDPS dựa quy tắc với mơ hình DNN Đầu tiên, IDPS dựa quy tắc phân tích luồng mạng để phát sớm gói tin bất thường sử dụng lọc để chọn lưu lượng HTTP Sau đó, luồng mạng HTTP qua IDPS trích xuất thành 82 tính Cuối cùng, mơ hình DNN sử dụng để phát nhập mạng Nếu phát xâm nhập mạng, IP luồng lưu lượng mạng gửi lại cho IDPS để ngăn chặn Để đánh giá độ hiệu hiệu suất phương pháp IDPSDLWD, luận văn tiến hành thực nghiệm mơ hình liệu DS1 DS2 Kết thu cho số đánh giá với độ đo F1 cao lên tới 99,98 % độ xác (Accuracy) 99,96 % Với kết này, luận văn so sánh với mơ hình khác chạy thử nghiệm tập liệu thấy mơ hình nhóm tốt tất độ đo Một số kết thu trình thực luận văn gửi xét đăng kỷ yếu hội thảo quốc tế Globecom 2021 [VMC] 5.2 Hạn chế Mặc dù nhận quan tâm dạy tận tình thầy hướng dẫn, kiến thức hạn chế giới hạn thời gian nên việc chạy kết chưa cho hiệu tốc độ tốt Mơ hình dừng lại việc chạy với liệu nhị phân, với luồng liệu phân biệt bất thường luồng liệu mà chưa phát bất 39 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN thường theo lớp đối tượng Mơ hình chưa tích hợp cụ thể vào hệ thống thực để chạy với luồng liệu thời gian thực 5.3 Hướng phát triển tương lai Từ hạn chế trên, để cải thiện hiệu ứng dụng mơ hình vào hệ thống thực tế Luận văn có hướng phát triển tương lai bao gồm: - Tích hợp mơ hình vào sản phẩm NetIPS đề tài KC.01.28/16-20 [8] - Đưa mơ hình phát bất thường theo lớp đối tượng - Mơ hình học máy để cải thiện hiệu năng, tốc độ trình nhận dạng - Phân tích giao thức khác smtp, ftp 40 Công bố học viên VMC Ha V Le, Cuong M Vu, Hoang V Vo , Tu N Nguyen and Hoa N Nguyen, Cybersecurity: Webshell Detection Using the Deep HTTP Traffic Analysis, gửi xét đăng hội thảo quốc tế GlobeCom, 30/4/2021 (WoS, Scopus, xếp hạng 28 hội thảo hàng đầu Computer Science https://www.guide2research.com/topconf/) Tài liệu tham khảo [1] R Basnet, R Shash, C Johnson, L Walgren, and T Doleck Towards detecting and classifying network intrusion traffic using deep learning frameworks 12 2019 doi: 10.22667/JISIS.2019.11.30.001 [2] F Chollet Keras documentation) https://keras.io/, 2015 [Online; accessed 04May-2021] [3] Facebook Ax) https://ax.dev/docs/why-ax.html, 2019 [Online; accessed 04-May2021] [4] P García-Teodoro, J Díaz-Verdejo, G Maciá-Fernández, and E Vázquez Anomalybased network intrusion detection: Techniques, systems and challenges Computers Security, 28:18–28, 02 2009 doi: 10.1016/j.cose.2008.08.003 [5] E Grossi and M Buscema Introduction to artificial neural networks European journal of gastroenterology hepatology, 19:1046–54, 01 2008 doi: 10.1097/MEG 0b013e3282f198a0 [6] A Javaid, Q Niyaz, W Sun, and M Alam A deep learning approach for network intrusion detection system In Proceedings of the 9th EAI International Conference on Bio-Inspired Information and Communications Technologies (Formerly BIONETICS), BICT’15, page 21–26, Brussels, BEL, 2016 ICST (Institute for Computer Sciences, Social-Informatics and Telecommunications Engineering) ISBN 9781631901003 doi: 10.4108/eai.3-12-2015.2262516 URL https://doi.org/10.4108/eai.3-12-2015 2262516 [7] R T Jeremy Howard Fastai documentation) https://www.fast.ai/, 2016 [Online; accessed 04-May-2021] [8] KC.01.28/16-20 Nghiên cứu thiết kế, chế tạo thiết bị phát hiện, phòng chống xâm nhập mạng máy tính phục vụ phát triển phủ điện tử, 2020 [9] F A R lab PyTorch documentation) https://pytorch.org/, 2016 [Online; accessed 04-May-2021] 42 TÀI LIỆU THAM KHẢO [10] MILA Theano documentation) https://theano-pymc.readthedocs.io/, 2017 [Online; accessed 04-May-2021] [11] P Mishra, V Varadharajan, U Tupakula, and E S Pilli A detailed investiga- tion and analysis of using machine learning techniques for intrusion detection IEEE Communications Surveys Tutorials, 21(1):686–728, 2019 doi: 10.1109/COMST.2018 2847722 [12] D Mudzingwa and R Agrawal A study of methodologies used in intrusion detection and prevention system (idps) pages –6, 03 2012 doi: 10.1109/SECon.2012.6197080 [13] S N Shah and P Singh Signature-based network intrusion detection system using snort and winpcap International journal of engineering research and technology, 1, 2012 [14] I Sharafaldin., A Habibi Lashkari., and A A Ghorbani Toward generating a new intrusion detection dataset and intrusion traffic characterization In Proceedings of the 4th International Conference on Information Systems Security and Privacy - ICISSP,, pages 108–116 INSTICC, SciTePress, 2018 ISBN 978-989-758-282-0 doi: 10.5220/ 0006639801080116 [15] H Shin, H R Roth, M Gao, L Lu, Z Xu, I Nogues, J Yao, D Mollura, and R M Summers Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning IEEE Transactions on Medical Imaging, 35(5):1285–1298, 2016 doi: 10.1109/TMI.2016.2528162 [16] G B Team TensorFlow documentation) https://www.tensorflow.org/, 2015 [Online; accessed 04-May-2021] [17] T tâm ứng cứu khẩn cấp không gian mạng Việt Nam Thống kê cố công mạng vào trang web Việt Nam năm 2019) http://www.vncert.gov.vn/, 2019 [Online; accessed 04-May-2021] [18] R Vinayakumar, M Alazab, K P Soman, P Poornachandran, A Al-Nemrat, and S Venkatraman Deep learning approach for intelligent intrusion detection system IEEE Access, 7:41525–41550, 2019 doi: 10.1109/ACCESS.2019.2895334 43 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc Hà Nội, ngày 20 tháng 07 năm 2021 BẢN XÁC NHẬN ĐÃ SỬA CHỮA CÁC THIẾU SÓT CỦA LUẬN VĂN Trường Đại học Cơng nghệ có Quyết định số 409/QĐ-ĐT ngày 27 tháng 05 năm 2021 việc thành lập Hội đồng chấm luận văn Thạc sĩ cho học viên Vũ Mạnh Cường, sinh ngày 24/08/1995, Thái Bình, chuyên ngành Hệ thống thông tin, ngành Hệ thống thông tin Ngày 10 tháng 07 năm 2021, Trường Đại học Công nghệ (ĐHCN) tổ chức cho học viên bảo vệ luận văn Thạc sĩ trước Hội đồng chấm (có biên kèm theo) Theo Quyết nghị Hội đồng chấm luận văn Thạc sĩ, học viên phải bổ sung sửa chữa điểm sau trước nộp luận văn cuối cho Nhà trường để hoàn thiện hồ sơ sau bảo vệ: Chỉnh sửa theo ý kiến PGS.TS Hà Quang Thụy thuật ngữ tài liệu tham khảo Cụ thể: • Chỉnh sửa trang 9, 20, 23, 24, 26 thuật ngữ đào tạo thành huấn luyện • Chỉnh sửa trang 43 tài liệu tham khảo Chỉnh sửa theo ý kiến PGS.TS Nguyễn Trí Thành mơ hình thực nghiệm chương cách tạo liệu Cụ thể: • Chỉnh sửa trang 23, 24 lựa chọn mơ hình DNN • Chỉnh sửa trang 29, 30 cách sinh tập liệu nhãn liệu thu thập Ngày 20 tháng 07 năm 2021, học viên nộp luận văn có chỉnh sửa Chúng tơi nhận thấy nội dung, hình thức luận văn tóm tắt luận văn sửa chữa, bổ sung theo điểm Quyết nghị Đề nghị Trường Đại học Công nghệ, ĐHQG HN cho phép học viên làm thủ tục khác để công nhận cấp Thạc sĩ Xin trân trọng cảm ơn! XÁC NHẬN CỦA THÀNH VIÊN HỘI ĐỒNG/HỘI ĐỒNG ĐỀ NGHỊ HỌC VIÊN SỬA CHỮA LUẬN VĂN HỌC VIÊN CÁN BỘ HƯỚNG DẪN XÁC NHẬN CỦA CƠ SỞ ĐÀO TẠO