Dự đoán tác dụng phụ của thuốc từ y văn sử dụng mạng nơ ron dựa trên cơ chế tập trung

Đề tài nghiên cứu và giải quyết các vấn đề sau: • Tìm hiểu các khái niệm lý thuyết về y văn và cơ chế gây nên tác dụng phụ của thuốc • Tìm hiểu về mạng nơron dựa trên cơ chế tập trung • Cài đặt và thử nghiệm mô hình dự đoán tác dụng phụ của thuốc từ y văn sử dụng mạng nơron dựa trên cơ chế tập trung.

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ──────── * ─────── NGUYỄN THỊ QUYỀN NGHIÊN CỨU DỰ ĐOÁN TÁC DỤNG PHỤ CỦA THUỐC TỪ Y VĂN SỬ DỤNG MẠNG NƠ-RON DỰA TRÊN CƠ CHẾ TẬP TRUNG LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN HÀ NỘI 06 – 2021 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ──────── * ─────── NGUYỄN THỊ QUYỀN NGHIÊN CỨU DỰ ĐOÁN TÁC DỤNG PHỤ CỦA THUỐC TỪ Y VĂN SỬ DỤNG MẠNG NƠ-RON DỰA TRÊN CƠ CHẾ TẬP TRUNG Ngành : Công nghệ thông tin Chuyên ngành : Hệ thống thông tin Mã số : 8480104.01 LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Đặng Thanh Hải HÀ NỘI 06 – 2021 LỜI CAM ĐOAN Tác giả xin cam đoan luận văn thạc sĩ cơng nghệ thơng tin “Dự đốn tác dụng phụ thuốc từ y văn sử dụng mạng nơ ron dựa chế tập trung” cơng trình nghiên cứu riêng tác giả, khơng chép lại người khác Trong toàn nội dung luận văn, điều trình bày cá nhân tác giả tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng hợp pháp Tác giả xin hoàn toàn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, ngày 30 tháng 06 năm 2021 Nguyễn Thị Quyền LỜI CẢM ƠN Trước tiên em xin dành lời cảm ơn chân thành sâu sắc đến thầy giáo, TS Đặng Thanh Hải – người hướng dẫn, khuyến khích, bảo tạo cho em điều kiện tốt từ bắt đầu hồn thành cơng việc Em xin dành lời cảm ơn chân thành tới thầy cô giáo khoa Công nghệ thông tin, trường Đại học Cơng nghệ, ĐHQGHN tận tình đào tạo, cung cấp cho em kiến thức vô quý giá tạo điều kiện tốt cho em suốt trình học tập, nghiên cứu trường Đồng thời em xin cảm ơn tất người thân u gia đình tồn thể bạn bè người giúp đỡ, động viên vấp phải khó khăn, bế tắc giúp đỡ em hoàn thành luận văn Hà Nội, ngày 30 tháng 06 năm 2021 Nguyễn Thị Quyền MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC HÌNH VẼ DANH MỤC BẢNG BIỂU MỞ ĐẦU 10 CHƯƠNG 1: TỔNG QUAN VỀ TÁC DỤNG PHỤ CỦA THUỐC 12 1.1 Khái niệm 12 1.2 Hiện trạng 12 1.3 Hướng tiếp cận 13 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 16 2.1 Mạng nơ-ron nhân tạo 16 2.1.1 Mạng nơ-ron tích chập (CNN) 17 2.1.2 Mạng nơ-ron hồi quy (RNN) 19 2.1.3 Mạng nhớ dài – ngắn LSTM 21 2.1.4 Mạng GRU 22 2.2 Word Embedding 24 2.3 Position Embedding 25 2.4 Kỹ thuật attention 25 CHƯƠNG 3: THỰC NGHIỆM DỰ ĐOÁN TÁC DỤNG PHỤ CỦA THUỐC TỪ Y VĂN SỬ DỤNG MẠNG NƠ-RON DỰA TRÊN CƠ CHẾ TẬP TRUNG 27 3.1 Mô tả toán 27 3.2 Mô tả liệu bước thực 30 3.3 Cấu hình phần cứng 38 3.4 Tham số cài đặt mơ hình 38 3.5 Phương pháp đánh giá 38 3.6 Kết thử nghiệm 39 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 42 Kết luận 42 Hướng phát triển tương lai 42 TÀI LIỆU THAM KHẢO 43 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Thuật ngữ đầy đủ Giải thích ADRs Drug side-effects/ adverse drug reactions Tác dụng phụ/ phản ứng có hại thuốc ATT Attention mechanism Cơ chế tập trung/ Cơ chế ý CDRs Chemical-Disease Relations Mối quan hệ hóa chất bệnh Ký hiệu viết tắt CID Chemical-induced Disease Mối quan hệ bệnh hóa chất gây DNN Deep neural networks (DNNs) Mạng nơ-ron sâu FFNN Feed forward neural network Mạng nơ ron truyền thẳng GloVe Global vector Mơ hình vector tồn cục LSTM Long short term memory Mạng nhớ dài ngắn NER Named entity recognition Nhận diện tên thực thể NLP Natural language processing Xử lý ngôn ngữ tự nhiên RNN Recurrent neural network Mạng nơ ron hồi quy DANH MỤC HÌNH VẼ Hình 2.1: Mơ hình kiến trúc mạng nơ-ron [12] 16 Hình 2.2: Cấu trúc điển hình CNN lớp đầu vào đầu [6] 18 Hình 2.3: Mơ hình CNN cho trích xuất quan hệ [23] 19 Hình 2.4: Mơ hình RNN tổng qt [2] 20 Hình 2.5: Minh họa khối nhớ với nhớ LSTM [2] 22 Hình 2.6: Minh họa GRU 23 Hình 2.7: Cơ chế tập trung dựa mạng RNN cho trích xuất quan hệ [16] 26 Hình 3.1: Minh họa tốn trích xuất mối quan hệ thuốc bệnh 28 Hình 3.2: Tổng quan kiến trúc chương trình 29 Hình 3.3: Cách tạo thể quan hệ từ câu 29 DANH MỤC BẢNG BIỂU Bảng 3.1: Thống kê tập liệu 31 Bảng 3.2: Bảng cấu hình phần cứng 38 Bảng 3.3: Các tham số sử dụng 38 Bảng 3.4: Kết trung bình thực nghiệm 40 Bảng 3.5: Thống kê kết thực luận văn với số thuật toán khác 40 MỞ ĐẦU Trong y học, tác dụng phụ tác dụng mà cho dù hữu ích bất lợi thứ yếu so với dự định (ngồi ý muốn sử dụng thuốc) Phát triển thuốc q trình phức tạp khó để tạo loại thuốc nhằm vào phận thể lại không ảnh hưởng đến phận khác Tác dụng phụ bất lợi thuốc vấn đề nghiêm trọng cấp bách sức khỏe người trở ngại cho phát triển loại thuốc có hiệu điều trị Mặc dù có nhiều nỗ lực liên tục để xác định tác dụng phụ thuốc trước đó, nhiệm vụ đầy thách thức Hầu hết tác dụng thuốc phát nhờ sử dụng nguồn liệu từ báo cáo tự phát giai đoạn trước sau bán hàng Đây hạn chế lớn Các công ty dược phẩm họ có khả xác định giải tác dụng phổ biến nhìn chung khơng khả thi để xác định dự đoán tác dụng phụ nghiêm trọng gặp Sự bùng nổ tài liệu y sinh tạo nên nguồn tri thức phong phú giúp người khai thác nhiều thông tin hữu ích chẳng hạn dự đốn mối quan hệ y sinh bao gồm việc dự đoán tác dụng phụ thuốc từ y văn Nhờ khắc phục nhiều hạn chế trình tìm tác dụng phụ thuốc Các nghiên cứu truyền thống sử dụng liệu từ y văn chủ yếu sử dụng phương pháp học máy support vector machine (SVM) hoạt động tương đối tốt thập kỷ qua Tuy nhiên không tránh khỏi số lỗi không mong muốn đặc biệt phải xử lý câu dài khả khái quát hóa từ vựng hạn chế cho từ chưa nhìn thấy Ngược lại, phương pháp dựa mạng nơ-ron (NN) phương pháp học biểu diễn tự động với nhiều cấp độ biểu diễn, có cách kết hợp mơ-đun đơn giản phi tuyến tính Gần đây, phương pháp tiếp cận học sâu (Deep learning) nghiên cứu rộng rãi đạt hiệu suất tiên tiến nhiệm vụ NLP khác nhận diện thực thể (NER) trích xuất quan hệ (Relation extraction) Trong tốn trích xuất quan hệ y sinh, từ “trigger word” từ xuất ngữ cảnh trực tiếp tồn quan hệ ngữ nghĩa, sử dụng rộng rãi đặc điểm đầu vào phương pháp khai thác văn khác Cơ chế tập trung đề xuất từ trực giác ý trực quan người để nhấn mạnh phần tương đối quan trọng liệu đầu vào chứng minh cải thiện hiệu suất mơ hình nâng cao khả diễn giải mơ hình thơng qua việc kết hợp thông tin ý vào học sâu 10 +F1= 𝟐.𝑷𝒓𝒆𝒄𝒊𝒔𝒊𝒐𝒏.𝑹𝒆𝒄𝒂𝒍𝒍 𝑷𝒓𝒆𝒄𝒊𝒔𝒊𝒐𝒏+𝑹𝒆𝒄𝒂𝒍𝒍 ; Trong đó: “TP” biểu thị số lượng trường hợp liệu có quan hệ thuốc bệnh (YES) phát xác, “FP” biểu thị số lượng liệu khơng có quan hệ (NO) dự đốn thành có quan hệ (YES), “FN” (false negative) biểu thị số lượng trường hợp liệu có quan hệ YES không phát mô hình Hiệu suất chương trình đánh giá gói đánh giá http://www.biocreative.org/media/store/files/2017/evaluation-kit.zip 3.6 Kết thử nghiệm Kết thử nghiệm tổng hợp bảng 3.5-1: Kết trung bình thực nghiệm Kết tạo chạy thuật toán tối thiểu 10 lần lấy kết trung bình Đối với thuật tốn chạy với trường hợp đầu vào: Trong mơ hình CNN_Tokens, ATT-GRU-Tokens, ATT-LSTM-Tokens ATT-RNN-Tokens có đầu vào thực thể thay nhãn “CHEMICAL” “DISEASE” mơ hình CNN_Tokens, ATT-GRUENTITY, ATT-LSTM- ENTITY ATT-RNN- ENTITY giữ nguyên không thay nhãn Cụ thể có trường hợp sau: Trường hợp 1: Sử dụng thuật toán CNN với liệu làm đầu vào giữ nguyên tên thực thể mà không thay nhãn thực thể Trường hợp 2: Sử dụng thuật toán CNN với liệu làm đầu vào thay tên thực thể dạng nhãn: Tên thuốc thay nhãn “CHEMICAL” tên bệnh thay nhãn “DISEASE” Trường hợp 3: Sử dụng thuật toán ATT-GRU với liệu làm đầu vào giữ nguyên tên thực thể mà không thay nhãn thực thể Trường hợp 4: Sử dụng thuật toán ATT-GRU với liệu làm đầu vào thay tên thực thể dạng nhãn: Tên thuốc thay nhãn “CHEMICAL” tên bệnh thay nhãn “DISEASE” Trường hợp 5: Sử dụng thuật toán ATT-LSTM với liệu làm đầu vào giữ nguyên tên thực thể mà không thay nhãn thực thể Trường hợp 6: Sử dụng thuật toán ATT-LSTM với liệu làm đầu vào thay tên thực thể dạng nhãn: Tên thuốc thay nhãn “CHEMICAL” tên bệnh thay nhãn “DISEASE” Trường hợp 7: Sử dụng thuật toán RNN-LSTM với liệu làm đầu vào giữ nguyên tên thực thể mà không thay nhãn thực thể 39 Trường hợp 8: Sử dụng thuật toán RNN-LSTM với liệu làm đầu vào thay tên thực thể dạng nhãn: Tên thuốc thay nhãn “CHEMICAL” tên bệnh thay nhãn “DISEASE” Kết lần chạy tính trung bình cộng thống kê bảng 3.4: Kết trung bình thực nghiệm Bảng 3.4: Kết trung bình thực nghiệm STT Mơ hình CNN-Tokens CNN-ENTITY ATT-GRU-Tokens ATT-GRUENTITY ATT-LSTMTokens ATT-LSTMENTITY ATT-RNN-Tokens ATT-RNNENTITY Precision 0.5815 0.5693 0.5519 F1Recall score 0.5708 0.5709 0.5815 0.5731 0.6693 0.6029 0.5543 0.668 0.6037 0.5326 0.6706 0.5915 0.5343 0.4814 0.504 0.6753 0.6847 0.6675 0.5947 0.5639 0.5734 Ngoài ra, để so sánh kết thực nghiệm tác giả với nghiên cứu khác tập dữ liệu cho toán trên, tác giả liệt kê kết nghiên cứu tác giả khác với thuật toán khác bảng 3.5: Thống kê kết thực luận văn với số thuật toán khác Bảng 3.5: Thống kê kết thực luận văn với số thuật toán khác Tác giả Thuật toán Precision Recall F1 CNN Gu CNN+ME cộng [10] CNN+ME+PP 0.597 0.609 0.550 0.595 0.572 0.602 0.557 0.681 0.613 Zhou cộng [34] 0.411 0.549 0.649 0.553 0.514 0.493 0.472 0.531 0.560 CNN LSTM LSTM+SVM 40 Tác giả Gu cộng [10] Xu cộng [27] Thuật toán Precision Recall F1 LSTM+SVM+PP 0.556 0.684 0.613 ME 0.620 0.551 0.583 SVM 0.596 0.440 0.507 Đánh giá: Dựa kết thử nghiệm (bảng 3.5-1: Kết trung bình thực nghiệm) thấy, mơ hình áp dụng chế tập trung (số thứ tự 3,4,5,6) nhìn chung hoạt động tốt mơ hình CNN (số thứ tự 1,2) việc thay thực thể nhãn thực thể có kết cao chút mơ hình cho CNN mơ hình cịn lại (CNN-Tokens so với CNN-Entity tương tự cho cặp lại) Lần chạy tốt nhất, đạt mơ hình ATT-GRU có nhãn thực thể, có điểm F1 0,6037 liệu Thay thực thể nhãn thực thể khắc phục vấn đề từ vựng liên quan đến mã token thuốc bệnh Quan sát kết cho thấy chế tập trung áp dụng hiệu kết hợp với GRU LSTM so với áp dụng với RNN truyền thống Dựa việc so sánh với thuật toán áp dụng liệu, thấy mơ hình sử dụng luận văn có kết tương đồng, độ đo nằm khoảng [0.4x-0.6x] 41 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Sau thời gian nghiên cứu, hướng dẫn tận tình TS Đặng Thanh Hải, tác giả hoàn thành luận văn “NGHIÊN CỨU DỰ ĐOÁN TÁC DỤNG PHỤ CỦA THUỐC TỪ Y VĂN SỬ DỤNG MẠNG NƠ-RON DỰA TRÊN CƠ CHẾ TẬP TRUNG” Luận văn đạt kết sau: • Hệ thống kiến thức liên quan: o Tổng quan tác dụng phụ thuốc, cách tiếp để dự đoán tác dụng phụ thuốc o Học máy, mạng nơ-ron nhân tạo o Mơ hình mạng nơ-ron áp dụng chế tập trung • Cài đặt thử nghiệm mơ hình CNN áp dụng chế tập trung mơ hình RNN, LSTM, GRU Tối ưu tham số mô hình áp dụng cho dự đốn tác dụng phụ thuốc • Trau dồi kiến thức xử lý ngôn ngữ lĩnh vực y sinh Hướng phát triển tương lai Với kiến thức kỹ có từ khóa luận, tương lai tác giả tiếp tục mở rộng công việc để phân lớp mối quan hệ dựa hiểu biết toàn diện mạng nơ-ron Đồng thời tìm hiểu kiến thức khác để cải thiện hệ thống học máy trên, mở rộng thêm kho ngữ liệu để thực đào tạo đánh giá 42 TÀI LIỆU THAM KHẢO Tiếng Anh: [1] A Nikfarjam, A Sarker, K O’Connor, R Ginn, and G Gonzalez (2015), “Pharmacovigilance from social media: Mining adverse drug reaction mentionsusing sequence labeling with word embedding cluster features”, J Amer.Med Inform Assoc., vol 22, no 3, pp 671–681 [2] Alex Graves (2012), “Supervised Sequence Labelling with Recurrent Neural Networks”, Studies in Computational Intelligence, Springer [3] C D Santos and B Zadrozny (2014), ‘‘Learning character-level representationsfor part-of-speech tagging”, inProc 31st Int Conf Mach Learn (ICML), pp 1818–1826 [4] Cho K., Merrienboer B., Gulcehre C et al (2014), “Learning phrase representations using RNN encoder–decoder for statistical machine translation.”, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) Association for Computational Linguistics, Doha, Qatar, pp 1724–1734 [5] F Li, Y Zhang, M Zhang, and D Ji (2016), “Joint models for extracting adverse drug events from biomedical text”, in Proc IJCAI, p.2838–2844 [6] Hagyeong Leea, Jongwoo Song (2019), “Introduction to convolutional neural network using Keras; an understanding from a statistician”, Communications for Statistical Applications and Methods 2019, Vol 26, No 6, 591–610 [7] Hailin Wang, Ke Qin, Rufai Yusuf, Zakari, Guoming Lu, Jin Yin (2021), “Deep Neural Network Based Relation Extraction: An Overview”, Computer Science, Computation and Language, https://arxiv.org/abs/2101.01907 [8] Jamie J Coleman., Sarah K Pontefract (2016), “Adverse drug reactions.”, Clin Med (Lond), https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6297296/ [9] Jeffrey Pennington, Richard Socher, Christopher D Manning (2014), “GloVe: Global Vectors for Word Representation”, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1532–1543 [10] Jinghang Gu, Fuqing Sun, Longhua Qian, Guodong Zhou (2017), “Chemicalinduced disease relation extraction via convolutional neural network”, Database The Journal of Biological Databases and Curation [11] Kiss T and Strunk J (2006), “Unsupervised multilingual sentence boundary detection”, Comput Linguist., p.485–525 43 [12] Kuldeep S, Dr Anitha G S (2015), "Neural Network Approach for Processing Substation Alarms", International Journals of Power Electronics Controllers and Converters [13] L Hazell and S A W Shakir (2006), “Under-reporting of adverse drug reactions”, Drug Saf., vol 29, no 5, p.385–396 [14] Laveen N Kanal, Authors Info & Affiliations (2003), “Perceptron”, Encyclopedia of Computer Science, Pages 1383–1385 [15] Loper E and Bird S (2004), “NLTK: the Natural Language Toolkit.”, Proceedings of the ACL-02 Workshop on Effective Tools and Methodologies for Teaching Natural Language Processing and Computational Linguistics Association for Computational Linguistics, Philadelphia, PA, USA, 1, p.63–70 [16] Luong M-T., Pham H and Manning C.D (2015), “Effective approaches to attention-based neural machine translation”, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing Association for Computational Linguistics, Lisbon, Portugal, p.1412–1421 [17] M Habibi, L Weber, M Neves, D L Wiegandt, and U Leser (2017), “Deeplearning with word embeddings improves biomedical named entity recognition”, Bioinformatics, vol 33, no 14, p.37–48 [18] Markus Bundschus, Mathaeus Dejori, Martin Stetter, Volker Tresp & Hans-Peter Kriegel (2008), “Extraction of semantic biomedical relations from text using conditional random fields”, BMC Bioinformatics [19] Maryam Habibi, Leon Weber, Mariana Neves, David Luis Wiegandt, and Ulf Leser (2017), “Deep learning with word embeddings improves biomedical named entity recognition”, Bioinformatics, Volume 33, Issue 14, 15 July 2017, Pages i37–i48 [20] S Gupta, S Pawar, N Ramrakhiyani, G K Palshikar, and V Varma (2018), “Semi-supervised recurrent neural network for adverse drug reaction men-tion extraction”, BMC Bioinf., vol.19, no.8, p.212 [21] S Ramamoorthy and S Murugan (2018), “An attentive sequence model for adverse drug event extraction from biomedical text.”, https://arxiv.org/pdf/1801.00625 [22] Sepp Hochreiter, Jurgen Schmidhuber (1997), “Long short-term memory”, Neural Computation, PMID: 9377276 [23] Sijia Liu, Feichen Shen, Ravikumar Komandur Elayavilli, Yanshan Wang, Majid Rastegar-Mojarad, Vipin Chaudhary and Hongfang Liu (2018), “Extracting chemical– protein relations using attention-based neural networks”, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6174551/#ref47 44 [24] Srivastava N., Hinton G., Krizhevsky A et al (2014), “Dropout: a simple way to prevent neural networks from overfitting.”, J Mach Learn Res., pp.1929–1958 [25] The International Union of Basic and Clinical Pharmacology (IUPHAR), “Pharmacology Education Project”, https://www.pharmacologyeducation.org/clinicalpharmacology/adverse-drug-reactions, truy cập ngày 14/07/2021 [26] Xiang Y., Chen Q., Wang X et al (2017), “Answer selection in community question answering via attentive neural networks”, IEEE Signal Process Lett., 24, 505– 509 [27] Xu J., Wu Y.H., Zhang Y.Y et al (2016), “CD-REST: a system for extracting chemical-induced disease relation in literature.”, Database (Oxford) [28] Xu K., Ba J.L., Kiros R et al (2015), “Attend and tell: neural image caption generation with visual attention”, Proceedings of the Thirty-second International Conference on Machine Learning PMLR, Lille, France, p.2048–2057 [29] Xu Y., Mou L., Li G et al (2015), “Classifying relations via long short term memory networks along shortest dependency paths”, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing Association for Computational Linguistics, Lisbon, Portugal, P.1785–1794 [30] Yang Z., Yang D., Dyer C et al (2016), “Hierarchical attention networks for document classification”, Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies Association for Computational Linguistics, San Diego, CA, USA, p 1480–1489 [31] Yijia Zhang, Hongfei Lin, Zhihao Yang, Jian Wang, Yuanyuan Sun, Bo Xu, Zhehuan Zhao (2019), “Neural network-based approaches for biomedical relation classification: A review”, Journal of Biomedical Informatics [32] Zeng D, Liu K., Lai S et al (2014), “Relation classification via convolutional deep neural network”, Proceedings of COLING 2014, the Twenty-fifth International Conference on Computational Linguistics: Technical Papers Association for Computational Linguistics, Dublin, Ireland, p.2335-2344 [33] Zengjian Liu, Ming Yang, Xiaolong Wang, Qingcai Chen, Buzhou Tang, Zhe Wang, Hua Xu (2017), “Entity recognition from clinical texts via recurrent neural network”, BMC Medical Informatics and Decision Making, Article number: 67 [34] Zhou H.W., Deng H., Chen L et al (2016), “Exploiting syntactic and semantics information for chemical-disease relation extraction.”, Database (Oxford) 45 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc Hà Nội, ngày tháng năm 2021 BẢN XÁC NHẬN ĐÃ SỬA CHỮA CÁC THIẾU SÓT CỦA LUẬN VĂN Trường Đại học Cơng nghệ có Quyết định số 415/QĐ-ĐT ngày 27 tháng 05 năm 2021 việc thành lập Hội đồng chấm luận văn Thạc sĩ cho học viên Nguyễn Thị Quyền, sinh ngày 20/07/1989, Nghệ An, chuyên ngành Hệ thống thông tin, ngành Hệ thống thông tin Ngày 10 tháng 07 năm 2021, Trường Đại học Công nghệ (ĐHCN) tổ chức cho học viên bảo vệ luận văn Thạc sĩ trước Hội đồng chấm (có biên kèm theo) Theo Quyết nghị Hội đồng chấm luận văn Thạc sĩ, học viên phải bổ sung sửa chữa điểm sau trước nộp luận văn cuối cho Nhà trường để hoàn thiện hồ sơ sau bảo vệ: Chỉnh lại ngày tháng luận văn cho cập nhật với thời điểm tại: Sửa từ tháng 10-2020 thành tháng 06-2021 (Trang 1-4) Bỏ 02 tiểu mục 1.3 - Cơ chế gây nên tác dụng phụ thuốc tiểu mục 1.4 - Chẩn đốn phản ứng có hại thuốc Chương I – Tổng quan tác dụng phụ thuốc không trọng tâm luận văn Bổ sung thêm định nghĩa trích xuất quan hệ nói chung phát biểu tốn trích xuất quan hệ luận văn (dạng input, output) (Chương I – Tiểu mục 1.3: Trang 13) Bỏ phần trình bày học máy học sâu thuộc Chương II – Cơ sở lý thuyết theo ý kiến hội đồng kiến thức phổ biến Dẫn lại nguồn tham khảo Mạng nơ-ron nhân tạo (trang 16), Perceptron (trang 17), cấu trúc CNN (trang 18), Mơ hình mạng nơ-ron hồi quy (trang 20), Kiến trúc LSTM (trang 21-22), phần mơ tả tốn (trang 27) Gõ lại cơng thức tốn học (bằng equation editor) khơng copy hình ảnh (Chương II – Tiểu mục 2.1.4 2.4: Trang 23, 26) Sửa lại cơng thức tính độ đo Precision, Recall, F1 theo định nghĩa chuẩn (Chương III – Tiểu mục 3.5: Trang 38-39) Sửa lại bảng thống kê kết thực luận văn với số thuật toán khác khoảng giá trị nằm khoảng [0,1] độ đo Precision, Recall, F1 (Chương III – Tiểu mục 3.6: Trang 40-41) Bổ sung thêm số nội dung phân loại, trạng vào Chương I – Tổng quan tác dụng phụ thuốc để luận văn có cấu trúc hợp lý hơn, làm bật mục tiêu, đối tượng nghiên cưu liên quan luận văn Cụ thể: - Tiểu mục 1.1: Thêm nội dung bổ sung cho định nghĩa ADR phân loại ADR (Trang 12) - Tiểu mục 1.2: Thêm nội dung liên quan đến báo cáo ADR quan Mỹ Anh ( Trang 12-13) 10 Sửa lại nội dung chương III để mô tả rõ nội dung yêu cầu toán ánh xạ từ bái toán nhận dạng sang tốn phân lớp, mơ tả thêm liệu sử dụng luận văn Cụ thể: - Cấu trúc lại chương III đó: Thay tiểu mục 3.1: Mô tả yêu cầu bước thực tiểu mục: 3.1: Mô tả tốn 3.2: Mơ tả liệu bước thực - Tiểu mục 3.1: Mơ tả tốn: Khái qt tốn trích xuất quan hệ y sinh mơ tả tổng quan kiến trúc chương trình áp dụng luận văn (Trang: 27-29) - Tiểu mục 3.2: Mô tả liệu bước thực hiện: Mô tả chi tiết tập liệu sử dụng luận văn (Trang 30-31) - Tiểu mục 3.3: Viết chi tiết trường hợp chạy thử nghiệm thuật toán (trang 39-40) 11 Bổ sung thêm đoạn phân tích việc huấn luyện mơ hình học sâu với học sâu có thêm chế tập trung (Chương III – Tiểu mục 3.2: Trang 37) 12 Sửa lại lỗi tả, đánh số lại bảng biểu, hình vẽ, định dạng lại tài liệu tham khảo luận văn (Mục: Tài liệu tham khảo) Ngày 20 tháng 07 năm 2021, học viên nộp luận văn có chỉnh sửa Chúng tơi nhận thấy nội dung, hình thức luận văn tóm tắt luận văn sửa chữa, bổ sung theo điểm Quyết nghị Đề nghị Trường Đại học Công nghệ, ĐHQG HN cho phép học viên làm thủ tục khác để công nhận cấp Thạc sĩ Xin trân trọng cảm ơn! XÁC NHẬN CỦA THÀNH VIÊN HỘI ĐỒNG/HỘI ĐỒNG ĐỀ NGHỊ HỌC VIÊN SỬA CHỮA LUẬN VĂN HỌC VIÊN CÁN BỘ HƯỚNG DẪN XÁC NHẬN CỦA CƠ SỞ ĐÀO TẠO ... thuyết Chương sâu tìm hiểu mơ hình mạng nơ ron nhân tạo mơ hình mạng nơ- ron dựa chế tập trung áp dụng khóa luận Chương 3: Thực nghiệm Dự đoán tác dụng phụ thuốc từ y văn sử dụng mạng nơ ron dựa. .. GRU Hình 2.7: Cơ chế tập trung dựa mạng RNN cho trích xuất quan hệ [16] 26 CHƯƠNG 3: THỰC NGHIỆM DỰ ĐOÁN TÁC DỤNG PHỤ CỦA THUỐC TỪ Y VĂN SỬ DỤNG MẠNG NƠ -RON DỰA TRÊN CƠ CHẾ TẬP TRUNG 3.1 Mô tả... NGHỆ ──────── * ─────── NGUYỄN THỊ QUYỀN NGHIÊN CỨU DỰ ĐOÁN TÁC DỤNG PHỤ CỦA THUỐC TỪ Y VĂN SỬ DỤNG MẠNG NƠ -RON DỰA TRÊN CƠ CHẾ TẬP TRUNG Ngành : Công nghệ thông tin Chuyên ngành : Hệ thống thông