Các mô hình học sâu tiên tiến và ứng dụng trong phân tích chuỗi thời gian lâm sàng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ CẨM VÂN CÁC MƠ HÌNH HỌC SÂU TIÊN TIẾN VÀ ỨNG DỤNG TRONG PHÂN TÍCH CHUỖI THỜI GIAN LÂM SÀNG LUẬN VĂN THẠC SĨ Ngành: Hệ thống thông tin HÀ NỘI - 2019 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thị Cẩm Vân CÁC MƠ HÌNH HỌC SÂU TIÊN TIẾN VÀ ỨNG DỤNG TRONG PHÂN TÍCH CHUỖI THỜI GIAN LÂM SÀNG LUẬN VĂN THẠC SĨ Ngành: Hệ thống thông tin Cán hướng dẫn: PGS.TS Hà Quang Thuỵ TS Trần Mai Vũ HÀ NỘI - 2019 Tóm tắt Trong thập kỉ qua, lượng liệu lưu trữ hồ sơ sức khỏe điện tử (Electronic Heath Records) tăng lên nhanh chóng, việc sử dụng hệ thống EHR tăng lên nhiều bệnh viện sở chăm sóc Các hệ thống EHR lưu trữ liệu liên quan đến lần gặp bệnh nhân, bao gồm thông tin nhân học, chẩn đoán, xét nghiệm kết phịng thí nghiệm, đơn thuốc, hình ảnh X quang, ghi lâm sàng Mặc dù thiết kế chủ yếu để cải thiện hiệu chăm sóc sức khỏe từ quan điểm vận hành, nhiều nghiên cứu tìm thấy việc sử dụng cho ứng dụng tin học lâm sàng Trong năm gần đây, cộng đồng nghiên cứu chăm sóc sức khỏe ứng dụng cơng nghệ trí tuệ nhân tạo ngày tăng để cung cấp phương pháp phân tích liệu lớn hỗ trợ định chẩn đoán lâm sàng Một lý cho điều tác động to lớn việc áp dụng kĩ thuật học sâu để sử dụng liệu lớn trường hợp phân tích hồ sơ chăm sóc sức khỏe phức tạp Luận văn xây dựng mơ hình học sâu áp dụng chế Attention kết hợp với mạng BiLSTM dự đoán kiện lâm sàng cho kiện mục tiêu Nhiễm trùng máu (SEPSIS), Nhồi máu tim (MI), nồng độ Vancomycin huyết sau 24 dùng thuốc Vancomycin Đồng thời, luận văn trích xuất đặc trưng tương ứng với kiện mục tiêu từ sở liệu MIMIC-III xây dựng mơ hình sở sử dụng mơ hình độc lập: LSTM, Attention BiLSTM để làm bật tính hiệu mơ hình kết hợp đề xuất Từ khóa: Dự đốn kiện lâm sàng, EHR, MIMIC-III, Nhồi máu tim, Nhiễm trùng huyết, Vancomycin, Học sâu y tế iii Lời cảm ơn Đầu tiên, em xin bày tỏ lòng biết ơn chân thành sâu sắc tới PGS.TS Hà Quang Thuỵ, người thầy mang đến cho em nguồn cảm hứng vô tận nghiên cứu khoa học Em thật biết ơn giúp đỡ, lời khuyên tận tình hướng dẫn thầy luận văn định hướng nghiên cứu suốt thời gian học tập làm việc Phịng Thí nghiệm Công nghệ tri thức (DS&KT Lab - Đại học Công nghệ, Đại học quốc gia Hà Nội Em muốn gửi lời cảm ơn sâu sắc đến TS Trần Mai Vũ, người tận tình bảo, hướng dẫn, động viên giúp đỡ em khơng q trình thực đề tài luận văn mà suốt quãng thời gian học tập nghiên cứu Phòng Thí nghiệm Em xin gửi lời cảm ơn sâu sắc tới quý thầy cô giáo Khoa Công nghệ thông tin nói riêng trường Đại học Cơng nghệ - Đại học Quốc gia Hà Nội nói chung, truyền đạt kiến thức quý báu cho em năm tháng ngồi ghế nhà trường Em xin gửi lời cảm ơn tới thầy cô, anh chị bạn DS&KTLab, đặc biệt chị Quỳnh, chị Hồng, chị Yến, Trang Cát giúp đỡ em nhiều việc hỗ trợ kiến thức chuyên môn để hoàn thành luận văn tốt nghiệp Cuối cùng, xin nói lên lịng biết ơn vơ hạn gia đình, người ln ln chăm sóc, nguồn động viên, khích lệ con, giúp vượt qua khó khăn sống Gửi tới chồng em, cảm ơn anh bên cạnh em qua bao thăng trầm sống, điểm tựa vững để em vượt qua khó khăn cố gắng hồn thiện thân ngày Tơi xin chân thành cảm ơn! iv Lời cam đoan Tôi xin cam đoan luận văn thạc sĩ hệ thống thông tin "Các mơ hình học sâu tiên tiến ứng dụng phân tích chuỗi thời gian lâm sàng" cơng trình nghiên cứu tơi thực hướng dẫn PGS.TS Hà Quang Thuỵ TS.Trần Mai Vũ Tất tài liệu tham khảo từ nghiên cứu liên quan trích dẫn nguồn gốc rõ ràng từ danh mục tài liệu tham khảo luận văn Trong luận văn này, khơng có việc chép tài liệu, cơng trình nghiên cứu người khác mà khơng trích dẫn nguồn Nếu phát có gian lận nào, tơi xin hồn tồn chịu trách nhiệm trước hội đồng kết luận văn Học viên cao học Nguyễn Thị Cẩm Vân v Mục lục Tóm tắt iii Lời cảm ơn iv Lời cam đoan v Mục lục vi Danh mục thuật ngữ viết tắt giải nghĩa ix Danh sách hình vẽ x Danh sách bảng xi Mở đầu xii Khái qt tốn phân tích chuỗi thời gian lâm sàng 1.1 1.2 Giới thiệu phân tích chuỗi thời gian lâm sàng 1.1.1 Giới thiệu chuỗi thời gian 1.1.2 Giới thiệu tốn phân tích chuỗi thời gian lâm sàng Các phương pháp phân tích chuỗi thời gian lâm sàng 1.2.1 Hệ thống chấm điểm ICU 1.2.2 Điểm chuẩn mơ hình học sâu liệu chăm sóc sức khỏe lớn MIMIC-III 1.3 Khó khăn thách thức phân tích chuỗi thời gian lâm sàng 10 1.4 Giới thiệu ba mục tiêu dự báo: Nhiễm trùng huyết, Nhồi máu tim, nồng độ Vancomycin 11 1.5 1.4.1 Nhiễm trùng huyết 11 1.4.2 Nhồi máu tim 12 1.4.3 Vancomycin 12 Phát biểu toán luận văn 12 vi Mơ hình nhớ dài ngắn hạn hai chiều BiLSTM 14 2.1 Mạng nơ-ron nhân tạo 14 2.2 Mạng truyền thẳng 15 2.3 Học với mạng nơ-ron 17 2.4 2.3.1 Hàm lỗi cực tiểu hóa Gradient Descent 17 2.3.2 Lan truyền ngược 17 2.3.3 Hàm kích hoạt 18 Bộ nhớ dài ngắn hạn 18 2.4.1 Mạng nơ-ron hồi quy 18 2.4.2 Mạng nhớ dài ngắn hạn 20 2.4.3 Bộ nhớ dài ngắn hạn hai chiều 21 2.5 Cơ chế ý 22 2.6 Cơ chế che dấu 23 Mơ hình dự đốn kiện lâm sàng sử dụng chế Attention kết hợp kĩ thuật BiLSTM 26 3.1 3.2 Mơ hình đề xuất 26 3.1.1 Dữ liệu đầu vào mơ hình 26 3.1.2 Áp dụng chế che dấu 27 3.1.3 Áp dụng chế ý 28 3.1.4 Các lớp BiLSTM 28 Phương pháp đánh giá 29 3.2.1 Ma trận nhầm lẫn 29 3.2.2 Đường cong AUC-ROC 30 Thực nghiệm kết 32 4.1 4.2 4.3 Môi trường thực nghiệm cài đặt cấu hình 32 4.1.1 Thư viện xây dựng mơ hình 32 4.1.2 Môi trường thực nghiệm 33 4.1.3 Cài đặt tham số mơ hình 33 Dữ liệu phương pháp đánh giá 33 4.2.1 Dữ liệu 33 4.2.2 Xây dựng liệu 37 Kết thực nghiệm 38 4.3.1 Kết thực nghiệm 1: Dự đoán ngày 38 4.3.2 Kết thực nghiệm 2: Dự đốn ngày hơm sau 39 vii 4.3.3 Kết thực nghiệm 3: Đánh giá dựa mức độ sẵn có liệu 40 4.3.4 Nghiên cứu mức độ ảnh hưởng đặc trưng lên kiện mục tiêu 45 4.3.5 Định hướng nghiên cứu tương lai 45 Kết luận 48 Danh sách báo 49 Tài liệu tham khảo 50 Phụ lục 53 viii Danh mục thuật ngữ viết tắt giải nghĩa Attention Mechanism Cơ chế ý AUC Diện tích phía đường cong Bi-directional Long Short-term Memory (BiLSTM) Bộ nhớ dài ngắn hạn hai chiều Electronic Heath Record (EHR) Bản ghi sức khỏe điện tử Intensive Care Unit (ICU) Đơn vị chăm sóc chuyên sâu Long short-term memory (LSTM) Bộ nhớ dài ngắn hạn Medical Information Mart for Intensive Care III (MIMIC-III) Trung tâm thông tin y tế cho chăm sóc chuyên sâu III Myocardial Infarction (MI) Nhồi máu tim Natural Language Processing (NLP) Xử lý ngôn ngữ tự nhiên Reccurent Neural Network (RNN) Mạng nowrron hồi quy Receiver Operating Characteristic (ROC) Curve Đường cong đặc trưng hoạt động thu nhận Sepsis Nhiễm trùng máu ix Danh sách hình vẽ Sự phổ biến hồ sơ sức khỏe điện tử xii 1.1 Mơ hình xây dựng MIMIC-III 2.1 Mạng nơ-ron nhân tạo 14 2.2 Cấu trúc mạng nơ-ron truyền thẳng 16 2.3 Các hàm kích hoạt khác mạng nơ-ron nhân tạo 19 2.4 Mạng nơ-ron hồi quy 20 2.5 Kiến trúc đơn vị nhớ dài ngắn hạn LSTM 21 2.6 Kiến trúc mở BiLSTM với ba bước thời gian liên tiếp 22 2.7 Cơ chế che dấu cho chuỗi thời gian mát liệu 24 3.1 Mô hình đề xuất 27 4.1 Các bước trích xuất liệu từ MIMIC-III tiền xử lý 34 4.2 SEPSIS ROC curves 43 4.3 MI ROC curves 43 4.4 Vancomycin ROC curves 43 4.5 SEPSIS Cross ROC curves 44 4.6 MI Cross ROC curves 44 4.7 Vancomycin Cross ROC curves 44 4.8 Mức độ ảnh hưởng đặc trưng lên kiện mục tiêu theo thứ tự từ trái qua phải bao gồm: SEPSIS, MI VANCOMYCIN 45 4.9 Mức độ ảnh hưởng đặc trưng theo ngày lên kiện mục tiêu theo thứ tự từ trái qua phải bao gồm: SEPSIS, MI VANCOMYCIN 46 x Hình 4.2: SEPSIS ROC curves Hình 4.3: MI ROC curves Hình 4.4: Vancomycin ROC curves 43 Hình 4.5: SEPSIS Cross ROC curves Hình 4.6: MI Cross ROC curves Hình 4.7: Vancomycin Cross ROC curves 44 4.3.4 Nghiên cứu mức độ ảnh hưởng đặc trưng lên kiện mục tiêu Để giúp cho việc hỗ trợ định tốt hơn, việc nghiên cứu mức độ ảnh hưởng đặc trưng lên kiện mục tiêu cần thiết Hình 4.8 đưa mức độ ảnh hưởng đặc trưng lên kiện mục tiêu theo thứ tự từ trái qua phải: SEPSIS, MI VANCOMYCIN Biểu đồ nhiệt biểu diễn cho 255 đặc trưng mơ tả trước Màu đậm thể đặc trưng có mức độ ảnh hưởng lớn so với đặc trưng màu nhạt Hình 4.8: Mức độ ảnh hưởng đặc trưng lên kiện mục tiêu theo thứ tự từ trái qua phải bao gồm: SEPSIS, MI VANCOMYCIN Hình 4.9 biểu diễn mức độ ảnh hưởng đặc trưnglên kiện mục tiêu theo ngày Có thể thấy rõ, Sepsis, monocytes_max có ảnh hưởng lớn ngày thứ Tương tự, MI, albuterol wafarin có ảnh hưởng lớn ngày ngày thứ 10 trình điều trị Cuối cùng, với nồng độ Vancomycin, monocytes_max đạt mức cao vào ngày thứ điều trị 4.3.5 Định hướng nghiên cứu tương lai Trong luận văn này, mơ hình đề xuất cịn vài hạn chế Mơ hình đề xuất sử dụng liệu ngày để dự đốn, mức độ cịn tương đối nhỏ Một mức độ phân giải 45 Hình 4.9: Mức độ ảnh hưởng đặc trưng theo ngày lên kiện mục tiêu theo thứ tự từ trái qua phải bao gồm: SEPSIS, MI VANCOMYCIN thời gian cao giúp hỗ trợ định lâm sàng tối ưu ICU tốt ICU, định quan trọng đưa suốt ngày Mức độ phân giải thời gian cao cho phép có đủ liệu để đưa dự đoán khoảng thời gian quan trọng tương lai Điều giúp mơ hình dự báo tốt tương lai 46 Kết luận Chương Chương trình bày đầy đủ phương pháp thực nghiệm kết luận văn Với kịch thực nghiệm đưa ra, luận văn tiến hành thực nghiệm thu kết khả quan so sánh với mơ hình sở 47 Kết luận Trong luận văn này, xây dựng mơ hình học sâu áp dụng chế ý kết hợp với nhớ dài ngắn hạn hai chiều với mục đích dự đốn kiện lâm sàng cho kiện mục tiêu Nhiễm trùngmáu (SEPSIS), Nhồi máu tim (MI), nồng độ VANCOMYCIN huyết sau 24 dùng thuốc VANCOMYCIN hỗ trợ việc định chẩn đoán lâm sàng Đồng thời, luận văn trích xuất đặc trưng tương ứng với kiện mục tiêu từ sở liệu MIMIC-III xây dựng mơ hình sở sử dụng mơ hình độc lập: Mạng nhớ dài ngắn hạn, Cơ chế ý Mạng nhớ dài ngắn hạn hai chiều để làm bật tính hiệu mơ hình kết hợp đề xuất Với kịch thực nghiệm đưa ra, mơ hình đề xuất luận văn đạt kết tốt so với mơ hình sở Luận văn cịn hạn chế chưa tăng độ phân giải thời gian cao giúp cho mơ hình dự báo tốt Trong tương lai, luận văn tiến hành thực nghiệm với độ phân giải thời gian cao để thu kết tốt 48 Danh sách báo Nguyen Ngoc-Vu, Nguyen Thi-Lan, Nguyen Cam-Van Thi, Vu Tran Mai and QuangThuy Ha A Character-level Deep Lifelong Learning Model for Named Entity Recognition in Vietnamese Text ACIIDS (1) 2019: 90-102 49 Tài liệu tham khảo [1] D Bahdanau, K Cho, and Y Bengio, “Neural machine translation by jointly learning to align and translate,” arXiv preprint arXiv:1409.0473, 2014 [2] R A Balk, “Severe sepsis and septic shock: definitions, epidemiology, and clinical manifestations,” Critical care clinics, vol 16, no 2, pp 179–192, 2000 [3] Y Bengio, P Simard, P Frasconi et al., “Learning long-term dependencies with gradient descent is difficult,” IEEE transactions on neural networks, vol 5, no 2, pp 157–166, 1994 [4] J Beran, Mathematical foundations of time series analysis: a concise introduction Springer, 2018 [5] G S Birkhead, M Klompas, and N R Shah, “Uses of electronic health records for public health surveillance to advance public health,” Annual review of public health, vol 36, pp 345–359, 2015 [6] T Botsis, G Hartvigsen, F Chen, and C Weng, “Secondary use of ehr: data quality issues and informatics opportunities,” Summit on Translational Bioinformatics, vol 2010, p 1, 2010 [7] D Charles, M Gabriel, T Searcy et al., “Adoption of electronic health record systems among us non-federal acute care hospitals: 2008-2012,” ONC data brief, vol 9, pp 1–9, 2013 [8] E Choi, M T Bahadori, A Schuetz, W F Stewart, and J Sun, “Doctor ai: Predicting clinical events via recurrent neural networks,” in Machine Learning for Healthcare Conference, 2016, pp 301–318 [9] E Choi, A Schuetz, W F Stewart, and J Sun, “Medical concept representation learning from electronic health records and its application on heart failure prediction,” arXiv preprint arXiv:1602.03686, 2016 50 [10] J Chung, C Gulcehre, K Cho, and Y Bengio, “Empirical evaluation of gated recurrent neural networks on sequence modeling,” arXiv preprint arXiv:1412.3555, 2014 [11] S Ebadollahi, J Sun, D Gotz, J Hu, D Sow, and C Neti, “Predicting patient’s trajectory of physiological data using temporal trends in similar patients: a system for near-term prognostics,” in AMIA annual symposium proceedings, vol 2010 American Medical Informatics Association, 2010, p 192 [12] F A Gers, J Schmidhuber, and F Cummins, “Learning to forget: Continual prediction with lstm,” 1999 [13] K Greff, R K Srivastava, J Koutník, B R Steunebrink, and J Schmidhuber, “Lstm: A search space odyssey,” IEEE transactions on neural networks and learning systems, vol 28, no 10, pp 2222–2232, 2016 [14] H Harutyunyan, H Khachatrian, D C Kale, G V Steeg, and A Galstyan, “Multitask learning and benchmarking with clinical time series data,” arXiv preprint arXiv:1703.07771, 2017 [15] S Hochreiter and J Schmidhuber, “Long short-term memory,” Neural computation, vol 9, no 8, pp 1735–1780, 1997 [16] P B Jensen, L J Jensen, and S Brunak, “Mining electronic health records: towards better research applications and clinical care,” Nature Reviews Genetics, vol 13, no 6, p 395, 2012 [17] M Jiang, Y Chen, M Liu, S T Rosenbloom, S Mani, J C Denny, and H Xu, “A study of machine-learning-based approaches to extract clinical entities and their assertions from discharge summaries,” Journal of the American Medical Informatics Association, vol 18, no 5, pp 601–606, 2011 [18] A E Johnson, T J Pollard, L Shen, H L Li-wei, M Feng, M Ghassemi, B Moody, P Szolovits, L A Celi, and R G Mark, “Mimic-iii, a freely accessible critical care database,” Scientific data, vol 3, p 160035, 2016 [19] M I Jordan and T M Mitchell, “Machine learning: Trends, perspectives, and prospects,” Science, vol 349, no 6245, pp 255–260, 2015 51 [20] G J Kuperman, A Bobb, T H Payne, A J Avery, T K Gandhi, G Burns, D C Classen, and D W Bates, “Medication-related clinical decision support in computerized provider order entry systems: a review,” Journal of the American Medical Informatics Association, vol 14, no 1, pp 29–40, 2007 [21] Y LeCun, Y Bengio, and G Hinton, “Deep learning,” nature, vol 521, no 7553, p 436, 2015 [22] Z C Lipton, D C Kale, C Elkan, and R Wetzel, “Learning to diagnose with lstm recurrent neural networks,” arXiv preprint arXiv:1511.03677, 2015 [23] Z C Lipton, D C Kale, and R Wetzel, “Modeling missing data in clinical time series with rnns,” arXiv preprint arXiv:1606.04130, 2016 [24] S M Meystre, G K Savova, K C Kipper-Schuler, and J F Hurdle, “Extracting information from textual documents in the electronic health record: a review of recent research,” Yearbook of medical informatics, vol 17, no 01, pp 128–144, 2008 [25] R Miotto, L Li, B A Kidd, and J T Dudley, “Deep patient: an unsupervised representation to predict the future of patients from the electronic health records,” Scientific reports, vol 6, p 26094, 2016 [26] W Palma, Time series analysis John Wiley & Sons, 2016 [27] M Schuster and K K Paliwal, “Bidirectional recurrent neural networks,” IEEE Transactions on Signal Processing, vol 45, no 11, pp 2673–2681, 1997 [28] H Song, D Rajan, J J Thiagarajan, and A Spanias, “Attend and diagnose: Clinical time series analysis using attention models,” in Thirty-Second AAAI Conference on Artificial Intelligence, 2018 [29] A Vaswani, N Shazeer, N Parmar, J Uszkoreit, L Jones, A N Gomez, Ł Kaiser, and I Polosukhin, “Attention is all you need,” in Advances in neural information processing systems, 2017, pp 5998–6008 52 Phụ lục Phụ lục 1: Cấu hình máy hiệu cao FIT-HPC • central controller machine · x Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz · x 16 GB DIMM ECC DDR4 @ 2400MHz • 16 computing machines • machine for database system · x Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz · x 16 GB DIMM ECC DDR4 @ 2400MHz • machines with powerful GPU · x Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz · x 16 GB DIMM ECC DDR4 @ 2400MHz · GPU: Tesla K40m • 12 machines with medium RAM capacity · x Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz · x 16 GB DIMM ECC DDR4 @ 2400MHz • machine with high RAM capacity · x Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz · 24 x 16 GB DIMM ECC DDR4 @ 2400MHz • machine for data storage and extended JBOD · x Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz · x 16 GB DIMM ECC DDR4 @ 2400MHz · 24 x 6.0 TB HDD · JBOD: 24 x 6.0 TB HDD 53 Phụ lục 2: Chứng nhận kết đủ điều kiện sử dụng liệu MIMIC-III 54 COLLABORATIVE INSTITUTIONAL TRAINING INITIATIVE (CITI PROGRAM) COMPLETION REPORT - PART OF COURSEWORK REQUIREMENTS* * NOTE: Scores on this Requirements Report reflect quiz completions at the time all requirements for the course were met. See list below for details See separate Transcript Report for more recent quiz scores, including those on optional (supplemental) course elements •  Name: •  Institution Affiliation: •  Institution Email: •  Institution Unit: •  Phone: Van Nguyen (ID: 8012198) Massachusetts Institute of Technology Affiliates (ID: 1912) vanntc@vnu.edu.vn Department of Information Systems +84969243843 •  Curriculum Group: Human Research •  Course Learner Group: Data or Specimens Only Research •  Stage: Stage 2 - Refresher Course •  Record ID: •  Completion Date: •  Expiration Date: •  Minimum Passing: •  Reported Score*: 31077000 28-Mar-2019 27-Mar-2022 90 95 REQUIRED AND ELECTIVE MODULES ONLY SBE Refresher 1 – Defining Research with Human Subjects (ID: 15029)  SBE Refresher 1 – Privacy and Confidentiality (ID: 15035)  SBE Refresher 1 – Assessing Risk (ID: 15034)  SBE Refresher 1 – Research with Children (ID: 15036)  SBE Refresher 1 – International Research (ID: 15028)  Instructions (ID: 764)  Biomed Refresher 2 – History and Ethical Principles (ID: 511)  Biomed Refresher 2 – Regulations and Process (ID: 512)  Biomed Refresher 2 – SBR Methodologies in Biomedical Research (ID: 515)  Biomed Refresher 2 – Genetics Research (ID: 518)  Biomed Refresher 2 – Records-Based Research (ID: 516)  Biomed Refresher 2 - Populations in Research Requiring Additional Considerations and/or Protections (ID: 519)  Biomed Refresher 2 – HIPAA and Human Subjects Research (ID: 526)  Biomed Refresher 2 – Conflicts of Interest in Research Involving Human Subjects (ID: 17545)  Biomed Refresher 2 - Conclusion (ID: 922)  DATE COMPLETED 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 28-Mar-2019 28-Mar-2019 28-Mar-2019 28-Mar-2019 SCORE 2/2 (100%)  4/4 (100%)  2/2 (100%)  2/2 (100%)  2/2 (100%)  No Quiz  3/3 (100%)  2/2 (100%)  3/4 (75%)  2/2 (100%)  3/3 (100%)  1/1 (100%)  5/5 (100%)  4/5 (80%)  No Quiz  For this Report to be valid, the learner identified above must have had a valid affiliation with the CITI Program subscribing institution identified above or have been a paid Independent Learner Verify at: www.citiprogram.org/verify/?k1a2a91a7-9cc0-499e-8ca2-5b0e21874938-31077000 Collaborative Institutional Training Initiative (CITI Program) Email: support@citiprogram.org Phone: 888-529-5929 Web: https://www.citiprogram.org COLLABORATIVE INSTITUTIONAL TRAINING INITIATIVE (CITI PROGRAM) COMPLETION REPORT - PART OF COURSEWORK TRANSCRIPT** ** NOTE: Scores on this Transcript Report reflect the most current quiz completions, including quizzes on optional (supplemental) elements of the course. See list below for details. See separate Requirements Report for the reported scores at the time all requirements for the course were met •  Name: •  Institution Affiliation: •  Institution Email: •  Institution Unit: •  Phone: Van Nguyen (ID: 8012198) Massachusetts Institute of Technology Affiliates (ID: 1912) vanntc@vnu.edu.vn Department of Information Systems +84969243843 •  Curriculum Group: Human Research •  Course Learner Group: Data or Specimens Only Research •  Stage: Stage 2 - Refresher Course •  Record ID: •  Report Date: •  Current Score**: 31077000 28-Mar-2019 95 REQUIRED, ELECTIVE, AND SUPPLEMENTAL MODULES MOST RECENT SCORE Instructions (ID: 764) Biomed Refresher 2 – History and Ethical Principles (ID: 511) Biomed Refresher 2 – Regulations and Process (ID: 512) SBE Refresher 1 – Defining Research with Human Subjects (ID: 15029) Biomed Refresher 2 – SBR Methodologies in Biomedical Research (ID: 515) Biomed Refresher 2 – Records-Based Research (ID: 516) SBE Refresher 1 – Assessing Risk (ID: 15034) SBE Refresher 1 – Privacy and Confidentiality (ID: 15035) Biomed Refresher 2 – Genetics Research (ID: 518) Biomed Refresher 2 - Populations in Research Requiring Additional Considerations and/or Protections (ID: 519) SBE Refresher 1 – Research with Children (ID: 15036) SBE Refresher 1 – International Research (ID: 15028) Biomed Refresher 2 – HIPAA and Human Subjects Research (ID: 526) Biomed Refresher 2 – Conflicts of Interest in Research Involving Human Subjects (ID: 17545) Biomed Refresher 2 - Conclusion (ID: 922) 27-Mar-2019  27-Mar-2019  27-Mar-2019  27-Mar-2019  27-Mar-2019  27-Mar-2019  27-Mar-2019  27-Mar-2019  27-Mar-2019  28-Mar-2019  27-Mar-2019  27-Mar-2019  28-Mar-2019  28-Mar-2019  28-Mar-2019  No Quiz  3/3 (100%)  2/2 (100%)  2/2 (100%)  3/4 (75%)  3/3 (100%)  2/2 (100%)  4/4 (100%)  2/2 (100%)  1/1 (100%)  2/2 (100%)  2/2 (100%)  5/5 (100%)  4/5 (80%)  No Quiz  For this Report to be valid, the learner identified above must have had a valid affiliation with the CITI Program subscribing institution identified above or have been a paid Independent Learner Verify at: www.citiprogram.org/verify/?k1a2a91a7-9cc0-499e-8ca2-5b0e21874938-31077000 Collaborative Institutional Training Initiative (CITI Program) Email: support@citiprogram.org Phone: 888-529-5929 Web: https://www.citiprogram.org This is to certify that: Van Nguyen (Stage) (Course Learner Group) (Curriculum Group) Has completed the following CITI Program course: Human Research Data or Specimens Only Research - Refresher Course Under requirements set by: Massachusetts Institute of Technology Affiliates Completion Date 28-Mar-2019 Expiration Date 27-Mar-2022 Record ID 31077000 Verify at www.citiprogram.org/verify/?w68acdb95-312a-4706-9c76-ca0b176f5d68-31077000 ...ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thị Cẩm Vân CÁC MƠ HÌNH HỌC SÂU TIÊN TIẾN VÀ ỨNG DỤNG TRONG PHÂN TÍCH CHUỖI THỜI GIAN LÂM SÀNG LUẬN VĂN THẠC SĨ Ngành:... gian lâm sàng 1.1 1.2 Giới thiệu phân tích chuỗi thời gian lâm sàng 1.1.1 Giới thiệu chuỗi thời gian 1.1.2 Giới thiệu toán phân tích chuỗi thời gian. .. Chương 1: Khái qt tốn phân tích chuỗi thời gian lâm sàng: Trong chương ngày, luận văn giới thiệu sơ lược tốn phân tích liệu chuỗi thời gian lâm sàng nói chung tốn dự đốn kiện lâm sàng nói riêng Bên