Đang tải... (xem toàn văn)
Các mô hình học sâu tiên tiến và ứng dụng trong phân tích chuỗi thời gian lâm sàng Các mô hình học sâu tiên tiến và ứng dụng trong phân tích chuỗi thời gian lâm sàng Các mô hình học sâu tiên tiến và ứng dụng trong phân tích chuỗi thời gian lâm sàng luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ NGUYỄN THỊ CẨM VÂN CÁC MƠ HÌNH HỌC SÂU TIÊN TIẾN VÀ ỨNG DỤNG TRONG PHÂN TÍCH CHUỖI THỜI GIAN LÂM SÀNG LUẬN VĂN THẠC SĨ Ngành: Hệ thống thông tin HÀ NỘI - 2019 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thị Cẩm Vân CÁC MƠ HÌNH HỌC SÂU TIÊN TIẾN VÀ ỨNG DỤNG TRONG PHÂN TÍCH CHUỖI THỜI GIAN LÂM SÀNG LUẬN VĂN THẠC SĨ Ngành: Hệ thống thông tin Cán hướng dẫn: PGS.TS Hà Quang Thuỵ TS Trần Mai Vũ HÀ NỘI - 2019 Tóm tắt Trong thập kỉ qua, lượng liệu lưu trữ hồ sơ sức khỏe điện tử (Electronic Heath Records) tăng lên nhanh chóng, việc sử dụng hệ thống EHR tăng lên nhiều bệnh viện sở chăm sóc Các hệ thống EHR lưu trữ liệu liên quan đến lần gặp bệnh nhân, bao gồm thơng tin nhân học, chẩn đốn, xét nghiệm kết phịng thí nghiệm, đơn thuốc, hình ảnh X quang, ghi lâm sàng Mặc dù thiết kế chủ yếu để cải thiện hiệu chăm sóc sức khỏe từ quan điểm vận hành, nhiều nghiên cứu tìm thấy việc sử dụng cho ứng dụng tin học lâm sàng Trong năm gần đây, cộng đồng nghiên cứu chăm sóc sức khỏe ứng dụng cơng nghệ trí tuệ nhân tạo ngày tăng để cung cấp phương pháp phân tích liệu lớn hỗ trợ định chẩn đốn lâm sàng Một lý cho điều tác động to lớn việc áp dụng kĩ thuật học sâu để sử dụng liệu lớn trường hợp phân tích hồ sơ chăm sóc sức khỏe phức tạp Luận văn xây dựng mơ hình học sâu áp dụng chế Attention kết hợp với mạng BiLSTM dự đoán kiện lâm sàng cho kiện mục tiêu Nhiễm trùng máu (SEPSIS), Nhồi máu tim (MI), nồng độ Vancomycin huyết sau 24 dùng thuốc Vancomycin Đồng thời, luận văn trích xuất đặc trưng tương ứng với kiện mục tiêu từ sở liệu MIMIC-III xây dựng mơ hình sở sử dụng mơ hình độc lập: LSTM, Attention BiLSTM để làm bật tính hiệu mơ hình kết hợp đề xuất Từ khóa: Dự đoán kiện lâm sàng, EHR, MIMIC-III, Nhồi máu tim, Nhiễm trùng huyết, Vancomycin, Học sâu y tế iii Lời cảm ơn Đầu tiên, em xin bày tỏ lòng biết ơn chân thành sâu sắc tới PGS.TS Hà Quang Thuỵ, người thầy mang đến cho em nguồn cảm hứng vô tận nghiên cứu khoa học Em thật biết ơn giúp đỡ, lời khuyên tận tình hướng dẫn thầy luận văn định hướng nghiên cứu suốt thời gian học tập làm việc Phịng Thí nghiệm Công nghệ tri thức (DS&KT Lab - Đại học Công nghệ, Đại học quốc gia Hà Nội Em muốn gửi lời cảm ơn sâu sắc đến TS Trần Mai Vũ, người tận tình bảo, hướng dẫn, động viên giúp đỡ em khơng q trình thực đề tài luận văn mà suốt quãng thời gian học tập nghiên cứu Phịng Thí nghiệm Em xin gửi lời cảm ơn sâu sắc tới quý thầy cô giáo Khoa Công nghệ thơng tin nói riêng trường Đại học Cơng nghệ - Đại học Quốc gia Hà Nội nói chung, truyền đạt kiến thức quý báu cho em năm tháng ngồi ghế nhà trường Em xin gửi lời cảm ơn tới thầy cô, anh chị bạn DS&KTLab, đặc biệt chị Quỳnh, chị Hồng, chị Yến, Trang Cát giúp đỡ em nhiều việc hỗ trợ kiến thức chuyên môn để hoàn thành luận văn tốt nghiệp Cuối cùng, xin nói lên lịng biết ơn vơ hạn gia đình, người ln ln chăm sóc, nguồn động viên, khích lệ con, giúp vượt qua khó khăn sống Gửi tới chồng em, cảm ơn anh bên cạnh em qua bao thăng trầm sống, điểm tựa vững để em vượt qua khó khăn cố gắng hồn thiện thân ngày Tơi xin chân thành cảm ơn! iv Lời cam đoan Tôi xin cam đoan luận văn thạc sĩ hệ thống thông tin "Các mơ hình học sâu tiên tiến ứng dụng phân tích chuỗi thời gian lâm sàng" cơng trình nghiên cứu tơi thực hướng dẫn PGS.TS Hà Quang Thuỵ TS.Trần Mai Vũ Tất tài liệu tham khảo từ nghiên cứu liên quan trích dẫn nguồn gốc rõ ràng từ danh mục tài liệu tham khảo luận văn Trong luận văn này, khơng có việc chép tài liệu, cơng trình nghiên cứu người khác mà khơng trích dẫn nguồn Nếu phát có gian lận nào, tơi xin hồn tồn chịu trách nhiệm trước hội đồng kết luận văn Học viên cao học Nguyễn Thị Cẩm Vân v Mục lục Tóm tắt iii Lời cảm ơn iv Lời cam đoan v Mục lục vi Danh mục thuật ngữ viết tắt giải nghĩa ix Danh sách hình vẽ x Danh sách bảng xi Mở đầu xii Khái qt tốn phân tích chuỗi thời gian lâm sàng 1.1 1.2 Giới thiệu phân tích chuỗi thời gian lâm sàng 1.1.1 Giới thiệu chuỗi thời gian 1.1.2 Giới thiệu tốn phân tích chuỗi thời gian lâm sàng Các phương pháp phân tích chuỗi thời gian lâm sàng 1.2.1 Hệ thống chấm điểm ICU 1.2.2 Điểm chuẩn mơ hình học sâu liệu chăm sóc sức khỏe lớn MIMIC-III 1.3 Khó khăn thách thức phân tích chuỗi thời gian lâm sàng 10 1.4 Giới thiệu ba mục tiêu dự báo: Nhiễm trùng huyết, Nhồi máu tim, nồng độ Vancomycin 11 1.5 1.4.1 Nhiễm trùng huyết 11 1.4.2 Nhồi máu tim 12 1.4.3 Vancomycin 12 Phát biểu toán luận văn 12 vi Mơ hình nhớ dài ngắn hạn hai chiều BiLSTM 14 2.1 Mạng nơ-ron nhân tạo 14 2.2 Mạng truyền thẳng 15 2.3 Học với mạng nơ-ron 17 2.4 2.3.1 Hàm lỗi cực tiểu hóa Gradient Descent 17 2.3.2 Lan truyền ngược 17 2.3.3 Hàm kích hoạt 18 Bộ nhớ dài ngắn hạn 18 2.4.1 Mạng nơ-ron hồi quy 18 2.4.2 Mạng nhớ dài ngắn hạn 20 2.4.3 Bộ nhớ dài ngắn hạn hai chiều 21 2.5 Cơ chế ý 22 2.6 Cơ chế che dấu 23 Mơ hình dự đốn kiện lâm sàng sử dụng chế Attention kết hợp kĩ thuật BiLSTM 26 3.1 3.2 Mơ hình đề xuất 26 3.1.1 Dữ liệu đầu vào mơ hình 26 3.1.2 Áp dụng chế che dấu 27 3.1.3 Áp dụng chế ý 28 3.1.4 Các lớp BiLSTM 28 Phương pháp đánh giá 29 3.2.1 Ma trận nhầm lẫn 29 3.2.2 Đường cong AUC-ROC 30 Thực nghiệm kết 32 4.1 4.2 4.3 Môi trường thực nghiệm cài đặt cấu hình 32 4.1.1 Thư viện xây dựng mơ hình 32 4.1.2 Môi trường thực nghiệm 33 4.1.3 Cài đặt tham số mơ hình 33 Dữ liệu phương pháp đánh giá 33 4.2.1 Dữ liệu 33 4.2.2 Xây dựng liệu 37 Kết thực nghiệm 38 4.3.1 Kết thực nghiệm 1: Dự đoán ngày 38 4.3.2 Kết thực nghiệm 2: Dự đoán ngày hôm sau 39 vii 4.3.3 Kết thực nghiệm 3: Đánh giá dựa mức độ sẵn có liệu 40 4.3.4 Nghiên cứu mức độ ảnh hưởng đặc trưng lên kiện mục tiêu 45 4.3.5 Định hướng nghiên cứu tương lai 45 Kết luận 48 Danh sách báo 49 Tài liệu tham khảo 50 Phụ lục 53 viii Danh mục thuật ngữ viết tắt giải nghĩa Attention Mechanism Cơ chế ý AUC Diện tích phía đường cong Bi-directional Long Short-term Memory (BiLSTM) Bộ nhớ dài ngắn hạn hai chiều Electronic Heath Record (EHR) Bản ghi sức khỏe điện tử Intensive Care Unit (ICU) Đơn vị chăm sóc chuyên sâu Long short-term memory (LSTM) Bộ nhớ dài ngắn hạn Medical Information Mart for Intensive Care III (MIMIC-III) Trung tâm thông tin y tế cho chăm sóc chuyên sâu III Myocardial Infarction (MI) Nhồi máu tim Natural Language Processing (NLP) Xử lý ngôn ngữ tự nhiên Reccurent Neural Network (RNN) Mạng nowrron hồi quy Receiver Operating Characteristic (ROC) Curve Đường cong đặc trưng hoạt động thu nhận Sepsis Nhiễm trùng máu ix Danh sách hình vẽ Sự phổ biến hồ sơ sức khỏe điện tử xii 1.1 Mơ hình xây dựng MIMIC-III 2.1 Mạng nơ-ron nhân tạo 14 2.2 Cấu trúc mạng nơ-ron truyền thẳng 16 2.3 Các hàm kích hoạt khác mạng nơ-ron nhân tạo 19 2.4 Mạng nơ-ron hồi quy 20 2.5 Kiến trúc đơn vị nhớ dài ngắn hạn LSTM 21 2.6 Kiến trúc mở BiLSTM với ba bước thời gian liên tiếp 22 2.7 Cơ chế che dấu cho chuỗi thời gian mát liệu 24 3.1 Mơ hình đề xuất 27 4.1 Các bước trích xuất liệu từ MIMIC-III tiền xử lý 34 4.2 SEPSIS ROC curves 43 4.3 MI ROC curves 43 4.4 Vancomycin ROC curves 43 4.5 SEPSIS Cross ROC curves 44 4.6 MI Cross ROC curves 44 4.7 Vancomycin Cross ROC curves 44 4.8 Mức độ ảnh hưởng đặc trưng lên kiện mục tiêu theo thứ tự từ trái qua phải bao gồm: SEPSIS, MI VANCOMYCIN 45 4.9 Mức độ ảnh hưởng đặc trưng theo ngày lên kiện mục tiêu theo thứ tự từ trái qua phải bao gồm: SEPSIS, MI VANCOMYCIN 46 x Danh sách bảng 1.1 Một số loại chuỗi thời gian 1.2 Mô tả bảng CSDL MIMIC-III 1.2 Mô tả bảng CSDL MIMIC-III 1.2 Mô tả bảng CSDL MIMIC-III 2.1 Một số hàm kích hoạt 18 3.1 Ma trận nhầm lẫn 29 4.1 Tham số mơ hình 33 4.3 Kết dự báo ngày mơ hình cho nhiệm vụ dự báo mục tiêu 38 4.4 Kết dự báo cho ngày mơ hình cho nhiệm vụ dự báo mục tiêu 39 4.5 Kết dự đốn mơ hình nhiệm vụ mục tiêu theo ngày 39 4.6 Kết AUC LSTM mức độ liệu khác với đánh giá ngày đánh giá cho ngày 41 4.7 Kết AUC Attention+LSTM mức độ liệu khác với đánh giá ngày đánh giá cho ngày 41 4.8 Kết AUC mô hình BiLSTM mức độ liệu khác với đánh giá ngày đánh giá cho ngày 42 4.9 Kết AUC Attention+BiLSTM mức độ liệu khác với đánh giá ngày đánh giá cho ngày 42 xi Mở đầu Chăm sóc sức khỏe ứng dụng bật khai phá liệu học máy, thu hút quan tâm nghiên cứu cộng đồng nghiên cứu thời gian gần Điều có phải kể đến việc áp dụng rộng rãi hồ sơ sức khỏe điện tử (EHR – Electronic Heath Records) đời sống xã hội, tạo nguồn liệu lâm sàng kĩ thuật số vơ phong phú, ví dụ: đơn vị chăm sóc tăng cường (ICU – Intensive Care Unit), thường bao gồm giá trị đa biến quan sát theo chuỗi thời gian tương ứng với phép đo cảm biến, kết xét nghiệm đánh giá chủ quan khác Hình 1: Sự phổ biến hồ sơ sức khỏe điện tử Một thách thức phổ biến chăm sóc sức khỏe bác sĩ có quyền truy cập vào lượng lớn liệu bệnh nhân, có thời gian công cụ hỗ trợ để đưa định điều trị Hỗ trợ định dự đoán kết lâm sàng xii thời điểm chăm sóc dành riêng cho bệnh nhân đóng vai trị quan trọng chẩn đốn y học Hồ sơ sức khỏe điện tử phổ biến chăm sóc sức khỏe giới Những liệu sử dụng với tần suất tăng dần để dự đoán kiện tương lai Trong mơ hình dự đốn phát triển để dự đốn nhu cầu, hầu hết cơng việc tập trung vào mơ hình dự đốn chuyên biệt dự đoán tập hợp kết hạn chế Tuy nhiên, thực hành lâm sàng hàng ngày liên quan đến pha trộn khơng theo lịch trình không đồng kịch cần mơ hình dự đốn khác hàng trăm đến hàng ngàn ghi Việc phát triển triển khai mơ hình chun ngành khơng thực tế Cùng với phát triển mạng nơ ron học sâu, nhiều mơ hình đề xuất cho tốn phân tích liệu lâm sàng [23, 28] Phương pháp cổ điển để phân tích liệu chăm sóc sức khỏe tập trung vào việc trích xuất đặc trưng xử lý tay xây dựng mơ hình dự đốn theo nhiệm vụ cụ thể Các mơ hình học máy thường đối mặt với thách thức yếu tố nhu cầu phụ thuộc dài hạn, lấy mẫu không giá trị bị thiếu Trong năm gần đây, mạng nơ ron hồi quy RNN dựa nhớ dài ngắn hạn LSTM trở thành giải pháp thực tế để xử lý liệu chuỗi thời gian lâm sàng RNN thiết kế để mơ hình hóa liệu có độ dài khác đạt kết tiên tiến mơ hình hóa trình tự, thích hình ảnh gần chẩn đốn lâm sàng Hơn nữa, LSTM có hiệu việc khai thác phụ thuộc tầm xa xử lý phi tuyến Các RNN thực tính tốn vị trí chuỗi thời gian cách tạo chuỗi trạng thái ẩn dạng hàm trạng thái ẩn trước đầu vào cho vị trí Bản chất vốn có làm cho việc song song hóa thách thức Mặc dù nỗ lực để cải thiện hiệu tính tốn mơ hình xuất gần đây, số hạn chế cịn tồn Cơng trình gần Vaswani cộng [29] lập luận chế ý, mà khơng có tái phát, có hiệu nhiệm vụ mơ hình hóa theo trình tự Các chế ý (Attention Mechanism) sử dụng để mơ hình hóa phụ thuộc theo trình tự mà khơng quan tâm đến khoảng cách thực tế chúng chuỗi [1] Do đó, luận văn quan tâm đến việc áp dụng mơ hình học sâu vào việc phân tích liệu lâm sàng, cụ thể toán dự đoán kiện lâm sàng hỗ trợ cho việc định chẩn đoán lâm sàng sử dụng liệu hồ sơ sức khỏe điện tử xiii Các đóng góp luận văn • Luận văn xây dựng mơ hình học sâu áp dụng chế ý kết hợp với nhớ dài ngắn hạn hai chiều với mục đích dự đốn kiện lâm sàng cho kiện mục tiêu Nhiễm trùng máu (SEPSIS), Nhồi máu tim (MI), nồng độ Vancomycin huyết sau 24 dùng thuốc Vancomycin hỗ trợ việc định chẩn đoán lâm sàng • Đồng thời, luận văn trích xuất đặc trưng tương ứng với kiện mục tiêu từ sở liệu MIMIC-III xây dựng mô hình sở sử dụng mơ hình độc lập: Mạng nhớ dài ngắn hạn, Cơ chế ý Mạng nhớ dài ngắn hạn hai chiều để làm bật tính hiệu mơ hình kết hợp đề xuất • Luận văn nghiên cứu đánh giá đóng góp đặc trưng kiện mục tiêu nhằm tăng hiệu suất cho mơ hình cung cấp nhìn sâu sắc hữu ích số khía cạnh phương pháp mà luận văn đề xuất nghiên cứu tương lai Ngoài phần Mở đầu Kết luận, luận văn cấu trúc bao gồm Chương sau: Chương 1: Khái qt tốn phân tích chuỗi thời gian lâm sàng: Trong chương ngày, luận văn giới thiệu sơ lược tốn phân tích liệu chuỗi thời gian lâm sàng nói chung tốn dự đốn kiện lâm sàng nói riêng Bên cạnh đó, luận văn giới thiệu phương pháp tiếp cận phổ biến phân tích dự đốn chuỗi thời gian lâm sàng nghiên cứu liên quan.Luận văn đồng thời phân tích khó khăn thách thức toán phát biểu toán triển khai luận văn Chương 2: Mơ hình nhớ dài ngắn hạn hai chiều BiLSTM: Trong chương này, luận văn giới thiệu mơ hình BiLSTM Đồng thời, luận văn trình bày kiến thức tảng trí tuệ nhân tạo, mơ hình học sâu sở mạng nơ-ron hồi quy, nhờ dài ngắn hạn, chế ý kĩ thuật xử lý liệu sử dụng luận văn Chương 3: Mơ hình dự đốn kiện lâm sàng sử dụng chế Attention kết hợp kĩ thuật BiLSTM: Trong chương này, luận văn giới thiệu mô hình đề xuất luận văn Chương 4: Thực nghiệm kết quả: Luận văn trình bày chi tiết môi trường thực nghiệm, chi tiết pha trình triển khai mơ hình, kịch thực nghiệm tham số mơ hình Luận văn đồng thời trình bày chi tiết kết đạt xiv đưa nhận xét Kết luận: Trình bày tổng kết lại đóng góp luận văn kết đạt Các điểm hạn chế kế hoạch cải tiến mơ hình đề xuất tương lai trình bày chương xv Chương Khái qt tốn phân tích chuỗi thời gian lâm sàng 1.1 Giới thiệu phân tích chuỗi thời gian lâm sàng 1.1.1 Giới thiệu chuỗi thời gian Một chuỗi thời gian tập hợp quan sát thực theo thời gian Thời gian tiến hành quan sát thường xuyên khoảng cách khơng Hơn nữa, thời gian liên tục rời rạc [26] Định nghĩa: Theo [4], chuỗi thời gian định nghĩa sau: Với k ∈ N, T ∈ R, hàm x : T → Rk , t → xt , tương đương với tập mục xt |xt ∈ R, t ∈ T gọi chuỗi thời gian quan sát Chúng ta viết tương đương xt (t ∈ T ) (xt )t∈T Với k N, T ⊆ R, không gian xác suất (Ω, F, P ), hay tập mục biến ngẫu nhiên Xt |X + t ∈ Rk , t ∈ T, (Xt )t∈T ∼ P gọi chuỗi thời gian hay mơ hình chuỗi thời gian Trong đó, Ω = (Rk )T không gian hàm X : T → Rk , F đại số φ Ω, P xác suất (Ω, F) Bảng 1.1 mô tả số loại chuỗi thời gian Xt ∈ R(t ∈ T, T = ∅) Bảng 1.1: Một số loại chuỗi thời gian Giá trị 1.1.2 Thuật ngữ k=1 Chuỗi thời gian đơn biến k≥2 Chuỗi thời gian đa biến T đếm được, ∀a < b ∈ R : T ∩ [a, b] hữu hạn Thời gian rời rạc T rời rạc, ∃u ∈ R+ s, t, tj+1 − tj = u Thời gian bình đẳng T = [a, b](a < b ∈ R), t = R+ T = R Thời gian liên tục Giới thiệu tốn phân tích chuỗi thời gian lâm sàng Thập kỷ qua chứng kiến bùng nổ lượng thông tin kỹ thuật số lưu trữ hồ sơ sức khỏe điện tử (EHR).Các hệ thống EHR lưu trữ liệu liên quan đến lần gặp bệnh nhân, bao gồm thông tin nhân học, chẩn đoán, xét nghiệm kết phịng thí nghiệm, đơn thuốc, hình ảnh X quang, ghi lâm sàng nhiều [5] Mặc dù thiết kế chủ yếu để cải thiện hiệu chăm sóc sức khỏe từ quan điểm vận hành, nhiều nghiên cứu tìm thấy việc sử dụng cho ứng dụng tin học lâm sàng [6, 16] Cụ thể, liệu bệnh nhân có hệ thống EHR sử dụng cho nhiệm vụ trích xuất khái niệm y tế [17, 24], mơ hình quỹ đạo bệnh nhân [11], suy luận bệnh tật [20] Trong thời gian, cộng đồng học máy chứng kiến tiến rộng rãi lĩnh vực học sâu ứng dụng phân tích hồ sơ sức khỏe điện tử Việc sử dụng hệ thống EHR tăng lên nhiều bệnh viện sở chăm sóc xe cứu thương [6, 7] Việc sử dụng EHR bệnh viện phòng khám có khả cải thiện chăm sóc bệnh nhân cách giảm thiểu sai sót, tăng hiệu cải thiện phối hợp chăm sóc, đồng thời cung cấp nguồn liệu phong phú cho nhà nghiên cứu Các hệ thống EHR khác chức năng, hệ thống EHR cung cấp nhiều thơng tin tiểu sử bệnh, biến chứng lịch sử sử dụng thuốc bệnh nhân [7] Cho đến vài năm trước, hầu hết kỹ thuật phân tích liệu EHR phong phú dựa kỹ thuật thống kê học máy truyền thống hồi quy logistic, máy vectơ hỗ trợ (SVM) rừng ngẫu nhiên [19] Gần đây, kỹ thuật học sâu đạt thành công lớn nhiều lĩnh vực thông qua xây dựng mạng nơ-ron nhân tạo nắm bắt phụ thuộc tầm xa liệu theo cách hiệu [21] Do gia tăng phổ biến phương pháp học sâu số lượng liệu bệnh nhân ngày lớn, có gia tăng số lượng nghiên cứu áp dụng học sâu vào liệu EHR cho nhiệm vụ tin học lâm sàng [9, 17, 25], mang lại hiệu suất tốt phương pháp truyền thống yêu cầu kỹ thuật tiền xử lý tính tốn thời gian Hồ sơ y tế điện tử bệnh nhân biểu diễn dạng chuỗi thời gian đa biến (multivariate time series) Giả sử có r biến quan sát, bệnh nhân thứ n số N bệnh nhân biểu diễn chuỗi T (n) với (n) (n) (ti , (xi (n) ∈ R × Rr i = 1, , T (n) Dấu thời gian ti biểu thị lần nhập viện thứ i bệnh nhân thứ n T (n) số lượt khám bệnh nhân n Mục tiêu mơ hình dự đoán để dự đoán nhãn bước yi ∈ 0, 1s cuối dãy yi ∈ 0, 1s Số lượng nhãn nhiều Ví dụ: Trong mơ hình trình tự truy cập (ESM) [8], lần truy cập hay lần nhập viện bệnh nhân, trình tự truy cập thể mã số y tế khác c1 , c2 , , cn cj mã thứ j từ từ vựng C Do đó, ESM, số lượng biến r = |C| đầu vào xi ∈ 0, 1|C| vector nhị phân giá trị thứ j cj liệu lần truy cập thứ i Đưa chuỗi lượt truy cập x1 , x2 , , xT , mục tiêu ESM bước thời gian i, cần phải dự đoán mã tương ứng cho lần truy cập x2 , x3 , , xT +1 với số lượng nhãn s = |C| Trong trường hợp học mã (L2D) hay dự đoán mã cho chuỗi thời gian lâm sàng[22], vector đầu vào xi chứa giá trị liên tục đo q trình điều trị Giả sử có r giá trị đo khác nhau, xi ∈ Rr Mục tiêu L2D đưa chuỗi đầu vào x1 , x2 , , xT để dự đoán xuất bệnh cụ thẻ s = nhiều bệnh (s > 1) Khơng tính tổng qt, L2D xem trường hợp đặc biệt ESM 1.2 Các phương pháp phân tích chuỗi thời gian lâm sàng 1.2.1 Hệ thống chấm điểm ICU Thang đo nghiêm trọng điều chỉnh quan trọng điều trị khoa chăm sóc đặc biệt (ICU) để dự đốn kết điều trị bệnh nhân, so sánh chất lượng chăm sóc phân tầng cho thử nghiệm lâm sàng Mặc dù điểm số nghiêm trọng bệnh yếu tố điều trị, nhiên, chúng phần thiết yếu cải thiện định lâm sàng việc xác định bệnh nhân có kết khơng mong muốn Các mơ hình dự đốn phải đối mặt với nhiều thách thức, nhưng, việc áp dụng mơ hình giúp đưa định lúc giảm chi phí bệnh viện Trên thực tế, chúng trở thành công cụ cần thiết để mô tả quần thể ICU để giải thích khác biệt tỷ lệ tử vong Tuy nhiên, cần lưu ý việc lựa chọn thang điểm, số mơ hình điểm nghiêm trọng phải phù hợp xác với kiện, cài đặt ứng dụng; áp dụng sai, hệ thống dẫn đến lãng phí thời gian, tăng chi phí, ngoại suy khơng đáng khoa học Bài viết cung cấp nhìn tổng quan ngắn gọn thang đo mức độ nghiêm trọng ICU (cùng với tính tốn tỷ lệ tử vong / tỷ lệ sống dự đoán họ) phát triển thập kỷ qua, bao gồm vài số chúng sửa đổi cho phù hợp Trong hầu hết hệ thống tính điểm, điểm số tính từ liệu thu thập vào ngày ICU - sinh lý cấp tính đánh giá sức khỏe mãn tính (APACHE), điểm sinh lý cấp tính đơn giản (SAPS) mơ hình dự đốn tử vong (MPM) Những người khác lặp lặp lại thu thập liệu ngày suốt thời gian ICU ngày - rối loạn chức nội tạng hệ thống nhiễm trùng (ODIN), đánh giá suy quan (SOFA), điểm rối loạn chức đa quan (MODS), rối loạn chức quan hậu cần (LOD) mơ hình kết kiểm tra lại ICU ba ngày (TRIOS) Điểm số chủ quan khách quan [5] Điểm số chủ quan thiết lập nhóm chuyên gia chọn biến gán trọng số cho biến dựa ý kiến cá nhân họ Ví dụ: APACHE II, ODIN SOFA Các biến số điểm khách quan thu thập cách sử dụng kỹ thuật mơ hình hồi quy logistic phán đoán lâm sàng để xác định phạm vi để gán trọng số Ví dụ: APACHE III, SAPS II, MPM II, MODS, điểm LOD (LODS) TRIOS 1.2.2 Điểm chuẩn mơ hình học sâu liệu chăm sóc sức khỏe lớn MIMIC-III 1.2.2.1 Giới thiệu MIMIC-III Bộ liệu MIMIC-III bao gồm liệu y tế thu thập Trung tâm y tế Beth Israel Deaconess Boston, Massachusetts, Hoa Kỳ Bộ liệu chứa liệu từ 38.597 bệnh nhân khác nhau, thu thập từ năm 2001 đến 2012 Đồng thời, kết hợ từ hai sở liệu riêng biệt sở liệu CareVue sở liệu Metavision Trái với liệu Bệnh viện Đại học Ghent, MIMIC-III không chứa thơng số liên quan đến chẩn đốn cấy máu Một loạt chẩn đoán lưu giữ sở liệu Nó nhằm mục đích cung cấp sưu tập liệu đa dạng cho loại phân tích y tế khác Mặc dù MIMIC-III sở liệu mở, quyền truy cập cấp sau hoàn thành quy trình xác định Việc hồn thành chương trình Sáng kiến Đào tạo Thể chế Hợp tác (CITI) liên quan đến liệu nghiên cứu mẫu vật cần phải chứng minh Hơn nữa, danh tính viện nghiên cứu liên kết người nộp đơn xem xét MIMIC-III xây dựng thêm dựa sở liệu MIMIC-II phổ biến sử dụng nhiều nghiên cứu khác Trong q trình hồn thành luận văn này, tơi hồn thành chương trình đào tạo liên quan đến liệu nói cấp quyền truy cập sở liệu MIMIC-III Giấy chứng nhận đặt Phụ lục Hình 1.1: Mơ hình xây dựng MIMIC-III Các bảng liệu trình bày chi tiết Bảng 1.2 D_ICD_PROCEDURES D_ITEMS CVEVENTS D_ICD_DIAGNOSES CHARTEVENTS CAREGIVERS D_CPT CALLOUT ADMISSIONS Tên file STT định người chăm sóc y tá, bác sĩ y khoa Bảng cung cấp thông tin liên quan đến người chăm sóc Ví dụ, xác Bảng CALLOUT cung cấp thông tin kế hoạch xả thải ICU viện Bảng ADMISSIONS đưa thông tin liên quan đến bệnh nhân nhập Tóm tắt (12487, 10) (3882, 4) (14567, 4) (134, 9) (573146, 12) liệu Bảng D_ITEMS định nghĩa ITEMID, đại diện cho phép đo sở chăm só.c cung cấp gian lại cuối bệnh nhâ bệnh viện sử dụng để lập hóa đơn Bảng xác định mã ICD-9 cho thủ tục Các mã định thời chăm sóc cung cấp gian lại cuối bệnh nhân bệnh viện sử dụng để lập hóa đơn Bảng xác định mã ICD-9 để chẩn đoán Các mã định thời thông tin chi tiết cho mã riêng lẻ khơng có sẵn Bảng cung cấp số thông tin cấp cao mã thuật ngữ thủ tục Tuy nhiên, trình định thực chưa lập hóa đơn cho bệnh nhân Điều hữu ích để xác định xem quy Bảng CPTEVENT chứa danh sách mã thuật ngữ thủ tục (330712483, 15) CHARTEVENT chứa tất liệu biểu đồ có sẵn cho bệnh nhân (7567, 4) (34499, 24) (58976, 19) Shape Bảng 1.2: Mô tả bảng CSDL MIMIC-III LABEVENTS MICROBIOLOGYEVENTS NOTEEVENTS OUTPUTEVENTS PATIENTS 17 18 19 20 21 ICUSTAYS 14 INPUT_EVENTS_MV DRGCODES 13 16 DIAGNOSES_ICD 12 INPUTEVENTS_CV DATETIMEEVENTS 11 15 D_LABITEMS Tên file 10 STT (46520, 8) (4349218, 13) (2083180, 9) (631726, 16) (27854055, 9) (3618991, 31) (17527935, 22) (61532, 12) (125557, 8) (651047, 5) (4485937, 14) (753, 6) Shape Tóm tắt sinh, Bảng chứa liệu nhập viện cho tất bệnh nhân nh: giới tính, ngày Bảng chứa liệu đầu cho bệnh nhân Bảng chứa tất ghi thủ cơng cho bệnh nhân người chăm sóc Chứa thông tin vi sinh, bao gồm xét nghiệm thực độ nhạy cảm bệnh nhân, bao gồm liệu bệnh nhân Chứa tất phép đo phịng thí nghiệm thời gian định Bảng chứa liệu đầu vào cho bệnh nhân đợt ICU tiêm tĩnh mạch, insulin, ) liên quan đến nguồn sở liệu Carevue Bảng chứa liệu kiện đầu vào chất lỏng (huyết thanh, thuốc Bảng cung cấp thông tin liên quan đến thời gian nằm viện ICU đến chẩn đoán ghi nhận chủ yếu cho mục đích tốn hành Bảng xác định mã HCFA-DRG APR-DRG cung cấp thông tin liên quan toán tạic thời gian kết thúc nằm viện Bảng xác định mã ICD-9 để chẩn đoán Các Mã ICD tạo cho mục đích Cơ sở liệu chứa tất phép đo thời gian bệnh nhân ICU đo phịng thí nghiệm sở liệu MIMIC D_LABITEMS chứa định nghĩa cho tất ITEMID liên quan đến phép Bảng 1.2: Mô tả bảng CSDL MIMIC-III Tên file PRESCRIPTIONS PROCEDUREEVENTS_MV PROCEDURES_ICD SERVICES TRANSFERS STT 22 23 24 25 26 (261897, 13) (73343, 6) (17527935, 22) (258066, 25) (4156450, 19) Shape Tóm tắt Bảng chứa vị trí thực tế cho bệnh nhân suốt thời gian nằm viện dịch vụ tự chọn phát sinh trình điều trị Bảng SERVICES mô tả dịch vụ kèm theo bệnh nhân nhập viện Các nhân nhập viện mã ICD tạo cho mục đích tốn ghi nhận cho tất bệnh Chứa thủ tục ICD cho bệnh nhân, đáng ý thủ tục ICD-9 Các Bảng chứa quy trình cho bệnh nhân Bảng chứa mục nhập đơn hàng liên quan đến thuốc, hay đơn thuốc Bảng 1.2: Mô tả bảng CSDL MIMIC-III 1.2.2.2 Điểm chuẩn mơ hình học sâu MIMIC-III Một yếu tố quan trọng thách thức nghiên cứu học máy chẩn đoán lâm sàng thiếu tiêu chuẩn chấp nhận phổ biến để đánh giá chặt chẽ kỹ thuật mơ hình hóa Do đó, [14] tác giả đề xuất điểm chuẩn công khai cho bốn nhiệm vụ lâm sàng khác nhau: dự đoán tỷ lệ tử vong, phát bù sinh lý, dự báo thời gian lưu trú kiểu hình Các điểm chuẩn hỗ trợ Cơ sở liệu thơng tin y tế cho chăm sóc chun sâu (Medical Information Mart for Intensive Care MIMIC-III) [18], kho lưu trữ liệu lâm sàng phong phú công khai lớn có Trong [18, 22], tác giả cho RNNs với tế bào LSTM vượt trội tất mơ hình baseline có • Dự đoán tử vong bệnh viện: dự đoán tỷ lệ tử vong bệnh viện dựa 48 ICU Đây nhiệm vụ phân loại nhị phân với độ đo đánh giá sử dụng AUC-ROC • Phát bù sinh lý: dự đốn liệu sức khỏe bệnh nhân có bị suy giảm nhanh chóng 24 tới hay khơng Các mục tiêu nhiệm vụ thay điểm cảnh báo sớm sử dụng bệnh viện Do thiếu tiêu chuẩn để đánh giá điểm cảnh báo sớm, [14] theo dõi cơng việc trước xác định nhiệm vụ họ dự đoán tử vong 24 lại ICU Điều quan trọng cần lưu ý định nghĩa lệch khỏi ý nghĩa cốt lõi bù, nhiệm vụ trở nên tương tự dự đoán tử vong Mặt khác, họ tin nhiệm vụ gần để dự đốn bù mà người ta có nhãn xác từ sở liệu MIMIC-III Mỗi trường hợp nhiệm vụ ví dụ phân loại nhị phân Tương tự dự đốn tử vong bệnh viện, độ đo AUC-ROC • Dự đốn thời gian lưu trú: dự đốn thời gian cịn lại dành cho ICU vào lại Dự đốn xác thời gian lưu trú lại quan trọng để lên lịch quản lý tài nguyên bệnh viện.Tác giả coi nhiệm vụ phân loại đa nhãn với 10 lớp/nhóm (một cho ICU ngắn ngày, ngày tuần đầu tiên, lại tuần hai tuần cho lại hai tuần) Độ đo cho nhiệm vụ điểm số kappa có trọng số tuyến tính Cohen • Phân loại kiểu hình phân loại số 25 điều kiện chăm sóc cấp tính có kiểu bệnh nhân lưu hồ sơ ICU định Vấn đề vấn đề phân loại đa nhãn với AUC-ROC trung bình vĩ mơ độ đo 1.3 Khó khăn thách thức phân tích chuỗi thời gian lâm sàng Dữ liệu EHR ngày sử dụng rộng rãi trung tâm chăm sóc sức khỏe toàn giới Cùng với bùng nổ liệu nhiều vấn đề tồn liệu Có thể kể đến yếu tố sau đây: • Tính đầy đủ: Các thơng tin bệnh nhân lúc trình bày hồn tồn sở liệu EHR Ngay với giao diện người dùng chuẩn thu thập liệu bệnh nhân cách có hệ thống, EHR khơng có đầy đủ thơng tin người bệnh Có nhiều lý cho việc này, ví dụ: (1) thiếu ghi chép tỉ mỉ thông tin bệnh nhân EHRs; (2) bác sĩ xác định điều kiện cụ thể tác dụng phụ thuốc; (3) có nhiều bác sĩ tham gia điều trị cho bệnh nhân gặp nhiều vấn đề việc trao đổi thông tin cập nhật chúng kịp thời; (4) khó khăn việc tích hợp hệ thống EHR khác sử dụng bệnh viện khác nhau, kết liệu bệnh nhân bị bệnh nhân chuyển bệnh viện • Tính xác: Thơng tin cập nhật EHR cần phải có tính xác cao Thực tế, thông tin quan trọng thường tồn hình dạng thơng tin khơng đủ cụ thể Ví dụ, hồ sơ bệnh nhân chứa chẩn đốn rối loạn da nói chung tình trạng thực thuốc rối loạn da Theo Ủy ban Y tế Quốc gia Thụy Điển, đánh giá 4200 hồ sơ sức khỏe, khoảng 20% mã gán EHRs tìm thấy có lỗi lớn • Độ phức tạp: Điều chủ yếu đề cập đến độ phức tạp liệu EHRs Các loại liệu không đồng tồn nhiều EHRs làm bật khó khăn việc phân tích chúng Những khó khăn khơng xuất việc kết hợp loại liệu khơng đồng mà cịn xuất việc phân tích chúng cách riêng biệt Để xử lý ghi lâm sàng văn bản, phương pháp phổ biến sử dụng nhiều xử lý ngơn ngữ tự nhiên Tuy nhiên,việc trở lên phức tạp chất lượng văn thấp chứa số lượng lớn chữ viết tắt y tế, lỗi đánh máy câu không đầy đủ Các kiện lâm sàng báo cáo EHRs, bao gồm chẩn đoán, thuốc xét nghiệm, thường mang tính tạm thời Thường có nhiều loại kiện lâm sàng báo cáo hồ sơ bệnh nhân, kiện lâm sàng báo 10 cáo nhiều lần tần suất bệnh nhân đến bệnh viện Khoảng cách thời gian hai lần đến bệnh viện bệnh nhân thường khác Do đó, hồ sơ bệnh nhân bao gồm nhiều chuỗi thời gian với độ dài khác khoảng thời gian khơng đều, làm cho đặc biệt khó nắm bắt thông tin thời gian Khi chuẩn bị liệu EHR để phân tích, số thách thức kỹ thuật khác thường gặp phải, bao gồm chiều cao số lượng lớn lâm sàng độc đáo kiện; độ thưa thớt cao biến lâm sàng chia sẻ nhóm nhỏ bệnh nhân; liệu bị sai lệch hồ sơ sức khỏe chứa kết mục tiêu quan tâm so với người không 1.4 Giới thiệu ba mục tiêu dự báo: Nhiễm trùng huyết, Nhồi máu tim, nồng độ Vancomycin Ba mục tiêu chọn để làm bật ba kết y tế khác thúc đẩy phát phịng thí nghiệm, dấu hiệu quan trọng thuốc tương ứng Vì mục tiêu đo tính tốn hàng ngày, bệnh nhân có giá trị mục tiêu khác vào ngày khác tùy thuộc vào kiện ngày 1.4.1 Nhiễm trùng huyết Nhiễm trùng huyết nguyên nhân hàng đầu gây tử vong bệnh nhân đơn vị chăm sóc chuyên sâu Bệnh nguyên nhân hàng đầu gây bệnh chết ICU, đồng thời xuất tăng lên hàng năm Nhiễm trùng huyết gây phản ứng mức thể với nhiễm trùng dẫn đến tổn thương mô, suy nội tạng dẫn đến tử vong Nhiễm trùng huyết điều trị phục hồi hồn tồn Dự đốn khởi phát nhiễm trùng huyết sớm xác cho phép điều trị tích cực trì quản lý kháng khuẩn Tuy nhiên, điều đòi hỏi phải dùng thuốc kịp thời Một bệnh nhân xác suất sống sót giảm 7,6% cho điều trị bị hoãn [2] Xem xét vai trò nhiễm trùng nhiễm trùng huyết, xét nghiệm thường thực để xác nhận xác định chúng Xét nghiệm cấy máu(blood culture test) xác định vi khuẩn nấm gây nhiễm trùng Các xét nghiệm thực có nghi ngờ nhiễm trùng huyết Thực tế, phương pháp dự đốn cho hiệu suất thấp thường địi hỏi thời gian để thu kết xét nghiệm phịng thí nghiệm 11 1.4.2 Nhồi máu tim Nhồi máu tim bệnh tim mạch thiếu máu tim cung cấp chí hoại tử tim tắc động mạch vành Ở giai đoạn đầu bệnh này, bệnh nhân bị nhồi máu tim thường có triệu chứng chẳng hạn đau ngực tức ngực, số bệnh nhân khơng có triệu chứng rõ ràng gây khó khăn việc điều trị kịp thời, đe dọa tính mạng Do đó, làm để đạt sớm chẩn đốn nhồi máu tim có giá trị lâm sàng quan trọng, trở thành chủ đề nghiên cứu nhiều học giả 1.4.3 Vancomycin Nồng độ Vancomycin huyết cần nằm phạm vi định bệnh nhân ICU bệnh viện Vancomycin sử dụng rộng rãi cho trường hợp nhiễm Staphylococcus aureus (MRSA) kháng methicillin đánh giá cao nghiên cứu Đây bệnh nhiễm trùng vi khuẩn Khi nồng độ thuốc cao gây hại cho bệnh nhân, q thấp khơng hiệu 1.5 Phát biểu toán luận văn Đầu vào Dự đoán kiện lâm sàng cho bệnh nhân thường sử dụng chuỗi giá trị xét nghiệm, nhân học, thuốc với bước thời gian lịch sử liệu đầu vào biểu thị vector sau: (1.1) XT = xT −n xT −(n−1) xT −2 xT −1 Giả sử ICU bao gồm P bệnh nhân cần dự đoán kiện xảy tương ứng thời điểm T sử dụng n khung thời gian lịch sử (các bước), đầu vào đặc trưng ma trận sau: x1 x1T −n x1T −n+1 x1T −2 x1T −1 2 2 x x x x x T −n T −n+1 T −2 T −1 = XTP = xP (1.2) xPT −n xPT −n+1 xPT −2 xPT −1 Với XPT = xT −n xT −(n−1) xT −2 xT −1 (1.3) vector với m giá trị kết xét nghiệm hay liều lượng thuốc, thông tin bệnh nhân (đặc trưng trích xuất tương ứng với kiện) 12 Đầu ra: Đầu dự báo liên quan đến kiện lâm sàng tương ứng bước thời gian T + xˆT +1 = yT Kết luận chương Trong chương ngày, luận văn giới thiệu sơ lược chuỗi thời gian tốn phân tích chuỗi thời gian lâm sàng Bên cạnh đó, luận văn giới thiệu phương pháp tiếp cận phổ biến phân tích dự đoán chuỗi thời gian lâm sàng nghiên cứu liên quan Luận văn đồng thời phân tích khó khăn thách thức tốn phát biểu toán triển khai luận văn Trong chương tiếp theo, luận văn trình bày mơ hình BiLSTM mơ hình học sâu sở khác sử dụng luận văn 13 Chương Mơ hình nhớ dài ngắn hạn hai chiều BiLSTM 2.1 Mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo (Artificial Intelligent - ANN) lấy cảm hứng từ sinh học thiết kế để mô theo cách mà não người xử lý thông tin ANN thu thập kiến thức cách phát mẫu mối quan hệ liệu huấn luyện thơng qua kinh nghiệm Hình 2.1: Mạng nơ-ron nhân tạo Một mạng nơ-ron nhân tạo xây dựng từ thành phần nơ-ron nhân tạo chứa lớp đầu vào (input layer), nhiều lớp ẩn (hidden layers) lớp đầu (output layer) Các đầu vào tiếp nhận kích thích từ đầu 14 nơ-ron khác từ môi trường Mỗi nơ-ron vào có trọng số (weights) nhằm khuếch đại tín hiệu kích thích sau tất cộng lại Tín hiệu sau tiếp tục biến đổi nhờ hàm phi tuyến, thường gọi hàm kích hoạt (activate function) Và cuối tín hiệu đưa đến đầu nơ-ron để lại trở thành đầu vào nơ-ron khác trở thành tín hiệu tồn mạng Khi kết hợp nơ-ron lại với ta có mạng nơ-ron nhân tạo Tuỳ theo cách thức liên kết nơ-ron mà ta có loại mạng khác như: mạng nơ-ron truyền thẳng, mạng nơ-ron hồi quy, Hình 2.1 minh họa mạng nơ-ron nhân tạo Trong ANN, nhiều tham số (trọng số độ lệch) cần điều chỉnh Thay đổi giá trị tham số dẫn đến lượng lớn đầu khác Khơng có vậy, tùy chỉnh số lớp số nơ-ron cho lớp lớp ANN cung cấp khả giải vơ số tốn với mức độ phức tạp cao Vì vậy, có cấu trúc mạng lưới thần kinh (số lượng nơ-ron, số lượng lớp, ) cần thuật toán điều chỉnh tập hợp trọng số để giải toán mà cố gắng thể Thuật toán lan truyền ngược (BackPropagation) thực điều Nếu khởi tạo ngẫu nhiên tất tham số tính tốn đầu ANN, thấy kết khác nhiều so với đầu mong muốn Vì vậy, tính toán khác biệt đầu thực tế ANN đầu mong muốn (được gọi lỗi) thơng qua Gradient Descent, giảm thiểu lỗi Sử dụng quy trình lặp để giảm thiểu giá trị lỗi tối ưu cho trọng số độ lệch 2.2 Mạng truyền thẳng Cấu trúc mạng nơ-ron truyền thẳng mơ tả Hình 2.2, ví dụ cấu trúc cho mạng nơ ron hai lớp Các biến đầu vào, biến ẩn biến đầu biểu diễn nút tham số trọng số biểu diễn liên kết nút, tham số bias biểu thị liên kết đến từ đầu vào bổ sung biến ẩn x0 z0 Mũi tên biểu thị hướng luồng thông tin qua mạng trình truyền Các nơ-ron dựa kết hợp tuyến tính hàm sở phi tuyến cố định φj (x) có cơng thức sau: M y(x, w) = f ( wj φj (x)) (2.1) j=1 Trong đó, f (.) hàm kích hoạt phi tuyến Hàm phij (x) phụ thuộc vào tham số: trọng số (weight) bias Các tham số điều chỉnh q trình 15 Hình 2.2: Cấu trúc mạng nơ-ron truyền thẳng huấn luyện Có nhiều cách để xây dựng hàm sở phi tuyến Mạng nơ-ron sử dụng hàm sở theo dạng tương tự Công thức2.1, cho hàm sở tự hàm phi tuyến tổ hợp tuyến tính đầu vào, hệ số tổ hợp tuyến tính tham số thích nghi Định nghĩa dẫn đến mơ hình mạng thần kinh Đầu tiên xây dựng tổ hợp tuyến tính M biến đầu vào x1 , , xD ) dạng: D (1) aj = (1) wji xi + wj0 (2.2) i=1 với j = 1, , M Trong đó, số tham số tương ứng nằm lớp (1) (1) mạng,wji trọng số tham số wj0 độ lệch Số lượng aj gọi giá trị kích hoạt Mỗi giá trị kích hoạt sau chuyển đổi hàm kích hoạt phi tuyến khác h(∆): (2.3) zj = h(aj ) zj tương ứng với đầu hàm sở Công thức 2.1.Các hàm phi tuyến h(∆) thường chọn hàm sigmoid Theo Công thức 2.1, giá trị lại kết hợp tuyến tính để kích hoạt đơn vị đầu ra: M (2) ak = (2) wkj xi + wk0 (2.4) j=1 với k = 1, , K số lượng đầu Sự chuyển đổi tương ứng đến lớp thứ hai (2) mạng,wj0 độ lệch Cuối cùng, đơn vị đầu kích hoạt chuyển đổi cách sử 16 dụng hàm kích hoạt thích hợp σ để cung cấp đầu mạng yk Chúng ta kết hợp giai đoạn vừa giải thích để cung cấp chức mạng tổng thể sau: D M (1) (2) wkj h( y(x, w) = σ( (1) (2) wji xi + wj0 ) + wk0 ) (2.5) i=1 j=1 Kiến trúc mạng hiển thị Hình2.2 dễ dàng khái quát cách xem xét lớp tế bào thần kinh bổ sung Vấn đề làm để tìm giá trị tham số phù hợp cho tập hợp liệu huấn luyện 2.3 Học với mạng nơ-ron 2.3.1 Hàm lỗi cực tiểu hóa Gradient Descent Cũng tương tự toán học máy khác trình học tìm lấy hàm lỗi để đánh giá tìm cách tối ưu hàm lỗi để kết hợp lý Một cách tiếp cận đơn giản cho vấn đề xác định tham số mạng để giảm thiểu tổng bình phương hàm lỗi Cho tập huấn luyện bao gồm tập vectơ đầu vào xn , cho n = 1, , N , với tập vectơ đích tương ứng tn , cực tiểu hóa hàm lỗi: E(w) = N ||tn − yn (xn , w)||2 (2.6) n=1 Để tìm giá trị nhỏ hợp lý, cần phải chạy thuật toán gradient descent nhiều lần, lần sử dụng vector trọng số chọn ngẫu nhiên khác 2.3.2 Lan truyền ngược Với điểm liệu tập huấn luyện,tổng hàm lỗi N E(w) = En (w) (2.7) n=1 Với đầu vào xn cụ thể, hàm lỗi tập huấn luyện là: En = K (tk − yk )2 (2.8) k=1 yk đầu nơ-ron k , tk tương ứng mục tiêu Đạo hàm hàm lỗi tương tứng với yk là: ∂En = yk − tk ∂yk 17 (2.9) Chúng ta có đầu ANN tính cơng thức sau: ∂En (1) ∂wji 2.3.3 K (2) [(yk − tk ).yk (1 − yk ).wkj ].zj (1 − zj ).xi = (2.10) k=1 Hàm kích hoạt Mỗi nơ-ron có tín hiệu đầu vào tín hiệu đầu Đầu lớp sử dụng đầu vào cho lớp Do đó, nơ-ron phải kết hợp tín hiệu đầu vào tín hiệu đầu Điều thực cách tính tổng trọng số giá trị đầu vào cộng với độ lệch áp dụng hàm kích hoạt φ Điều đưa theo công thức đây: = (wik ∗ xi ) + bk ) Yk = φ( (2.11) i Trong Công thức 2.11, Yk bk tương ứng tín hiệu đầu độ lệch nơ-ron k ,wik trọng số kết nối đầu vào i nơ-ron k , xi giá trị đầu vào i Hàm kích hoạt đơn giản hàm tuyến tính: φ(x) = x Điều có nghĩa khơng có hàm kích hoạt sử dụng Một phương trình tuyến tính dễ giải, hạn chế phức tạp Các hàm kích hoạt khác phổ biến trình bày Bảng 2.1 Hình 4.9 bên Bảng 2.1: Một số hàm kích hoạt Tên hàm Cơng thức Giá trị Linear x (−∞, ∞) e −1 e2x +1 1+e−x Hyperbolic tangent (tanh) tanh(x) = Logistic sigmoid σ(x) = Rectified linear unit (ReLU) 2.4 Bộ nhớ dài ngắn hạn 2.4.1 Mạng nơ-ron hồi quy 2x max(0, x) (−1, 1) (0, 1) [0, ∞) Mạng nơ-ron hồi quy (Recurrent Neural Network - RNN) mạng nơ-ron thần kinh chứa vòng lặp bên cho phép thơng tin lưu lại Một mạng nơ-ron hồi quy coi nhiều chép mạng, đầu mạng đầu vào mạng chép khác Chuỗi lặp lại mạng 18 Hình 2.3: Các hàm kích hoạt khác mạng nơ-ron nhân tạo phân giải mạng nơ-ron hồi quy, vòng lặp khiến chúng tạo thành chuỗi danh sách mạng chép Các kiến trúc RNN, cấu trúc LSTM, trình bày Hình 2.4 Tại lớp ẩn RNN, nhận vector đầu vào XPT sinh vector đầu YT Cấu trúc mở RNN (Hình 2.4) biểu diễn trình tính tốn thời điểm lặp t, lớp ẩn trì trạng thái ẩn (hidden state) ht cập nhập dựa lớp đầu vào xt trạng thái ẩn ht−1 trước sử dụng cơng thức đây: ht = σh (Wxh xt + Whh ht−1 + bh ) (2.12) Trong đó, Wxh ma trận trọng số từ lớp đầu vào đến lớp ẩn, Whh ma trận trọng số hai trạng thái ẩn liên tiếp ht−1 ht , bh vector bias lớp ẩn σh hàm kích hoạt để sinh trạng thái ẩn Đầu mạng nơ-ron biểu diễn sau: yt = σ(Why ht + by ) (2.13) Trong đó, Wh y ma trận trọng số từ lớp ẩn đến lớp đầu ra, by vector bias lớp đầu σy hàm kích hoạt lớp đầu ra.Áp dụng Biểu thức 2.12 Biểu thức 2.13, tham số RNN huấn luyện cập nhật lặp lặp lại thông qua phương pháp lan 19 truyền ngược (Back-Probagation) Tại bước thời gian t, lớp ẩn sinh giá trị yt , đầu cuối yT giá trị dự đoán mong muốn bước thời gian Nói cách khác, xˆT +1 = yT Mặc dù RNN thể khả vượt trội mơ hình với chuỗi thời gian phi tuyến, nhiên, RNN thông thường gặp phải vấn đề bùng nổ biến đạo hàm trình lan truyền ngược Do đó, khơng có khả học từ chuỗi thời gian có độ trễ lớn [12], hay chuỗi thời gian có phụ thuộc dài [3] 𝐡𝑡 𝐀 𝐱𝑡 Unfold 𝐡0 𝐡1 𝐡2 𝐀 𝐀 𝐀 𝐱0 𝐱1 𝐱2 𝐡𝑛 … 𝐀 𝐱𝑛 Hình 2.4: Mạng nơ-ron hồi quy 2.4.2 Mạng nhớ dài ngắn hạn Để xử lý vấn đề nói RNN, số kiến trúc phức tạp LSTM [15] kiến trúc GRU [10] đề xuất Nhiều nghiên cứu chứng minh mạng LSTM hoạt động tốt tốn theo trình tự với phụ thuộc dài hạn Thành phần khác LSTM RNN lớp ẩn [12] Các lớp ẩn LSTM cịn gọi đơn vị (cell) Hình 2.5 minh họa kiến trúc đơn vị nhớ dài ngắn hạn Giống RNN, lần lặp t, đơn vị LSTM có lớp đầu vào xt lớp đầu ht Mỗi đơn vị nhận trạng thái đầu vào ct , trạng thái đầu ct trạng thái đầu đơn vị trước ct−1 q trình huấn luyện cập nhật tham số Với cấu trúc cổng, LSTM giải phụ thuộc dài hạn phép thơng tin hữu ích qua cổng Có ba cổng đơn vị LSTM cổng đầu vào (input gate) it , cổng quên (forget gate) ft cổng đầu (output gate) ot bước thời gian t Đặc biệt, cổng quên giúp LSTM trở thành mơ hình hiệu mở rộng cho số vấn đề học tập liên quan đến liệu [13] Tại thời điểm t, LSTM tính tốn trạng thái ẩn sau: 20 𝐡𝑡 𝐜𝑡 𝐜𝑡−1 𝑓𝑡 𝑖𝑡 𝑜𝑡 𝐜𝑡 σ σ σ 𝐡𝑡 𝐡𝑡−1 𝐱𝑡 Hình 2.5: Kiến trúc đơn vị nhớ dài ngắn hạn LSTM it = σ xt Wi + ht−1 Ui + bi (2.14) ft = σ xt Wf + ht−1 Uf + bf (2.15) c˜t = (xt Wc + ht−1 Uc + bc ) (2.16) ct = it c˜t + ft ct−1 (2.17) ot = σ (xt Wo + ht−1 Uo + bo ) (2.18) ht = ot (2.19) (ct ) Trong đó, Wi , Ui , Wf , Uf , Wc , Uc , Wo , and Uo tham số huấn luyện mơ hình; bi , bf , bc , bo giá trị bias; σ kí hiệu hàm sigmoid, kí hiệu phép nhân ma trận Đầu cuối lớp LSTM vector với tất đẩu biểu diễn YT = [hT −n , , ht−1 ] Chỉ có phần từ cuối vector đầu hT −1 giá trị cần dự đốn Do đó, giá trị dự đốn (ˆ x) cho bước lặp thời gian T hT −1 Nói cách khác (ˆ x)T = hT −1 2.4.3 Bộ nhớ dài ngắn hạn hai chiều Ý tưởng BiLSTM xuất phát tự mạng nơ ron hồi quy hai chiều [27], xử lý chuỗi liệu với hai chiều xuôi ngược với hai lớp ẩn riêng biệt BiLSTM kết nối hai lớp ẩn tới lớp đầu Kiến trúc mở BiLSTM bao gồm lớp LSTM truyền thẳng lớp LSTM truyền ngược biểu diễn Hình 2.6 21 Hình 2.6: Kiến trúc mở BiLSTM với ba bước thời gian liên tiếp → − Chuỗi đầu lớp truyền thẳng h tính tốn sử dụng chuỗi đầu vào từ thời điểm T − n tới thời điểm T − Cả hai đầu lớp truyền thẳng truyền ngược tính tốn cách suwr dụng biểu thức cập nhật đơn vị LSTM trình bày Mục 2.4.2 BiLSTM sinh vector đầu YT , đó, thành phần tính toán biểu thức sau: → − ← − yt = σ( ht , ht ) (2.20) Trong đó, hàm σ sử dụng để kết hợp hai chuỗi đầu Nó hàm nối, hàm tổng, hàm trung bình hàm nhân Tương tự lớp LSTM, đầu cuối lớp BiLSTM có thẻ biểu diễn vector YT = [yT −n , , yT −1 Giá trị cuối yT −1 giá trị dự đoán cho bước lặp thời gian 2.5 Cơ chế ý Trong năm gần đây, chế ý (Attention Mechanism) nhận nhiều quan tâm gây ý lớn cộng đồng học sâu Cơ chế sử dụng s ốbài tốn chẳng hạn thích hình ảnh, tóm tắt văn bản, Các chế ý mạng lưới thần kinh tương đối dựa chế ý thị giác người Sự ý thị giác người nghiên cứu kỹ dẫn đến mơ hình khác nhau, tất chúng tập trung vào vùng có ’độ phân giải cao’ hình ảnh hình ảnh xung quanh cảm nhận ’độ phân giải thấp’ tiêu cự theo thời gian điều chỉnh 22 Cơ chế ý ban đầu phát triển cách sử dụng mơ hình Seq2Seq liên quan đến dịch máy thần kinh Trước Cơ chế ý, dịch thuật dựa việc đọc toàn câu trước cô đọng tất thông tin vào vectơ dài cố định Kết là, câu có hàng trăm từ đại diện số từ chắn dẫn đến việc thông tin dịch không đủ Vấn đề giải phần chế ý Trình dịch máy nhận biết tất thơng tin có câu gốc sau tạo từ thích hợp theo từ mà hoạt động với ngữ cảnh Nó chí cho phép người dịch ’phóng to thu nhỏ’ (tập trung vào tính cục toàn cục) Cơ chế ý nhiên khơng bí ẩn phức tạp Nó đơn giản vectơ xây dựng tham số toán học tinh vi, thường đầu lớp dày đặc sử dụng hàm softmax Nó đặt đâu phù hợp có khả mà kết nâng cao Tương tự kiến trúc Encoder-Decoder đặt vectơ ngữ cảnh vào khoảng trống Encoder-Decoder Để xây dựng vector ngữ cảnh đơn giản Trước hết, để so sánh trạng thái mục tiêu trạng thái nguồn, lặp qua tất trạng thái mã hóa tạo điểm số cho trạng thái mã hóa Sau đó, hàm sof tmax sử dụng để bình thường hóa tất điểm số, dẫn đến phân phối xác suất dựa trạng thái mục tiêu ¯ s) exp score(ht , h αts = S s =1 exp ¯s ) score(ht , h ¯s αts h ct = [Attention weight] (2.21) [Context vector] (2.22) [Attention vector] (2.23) s at = f (ct , ht ) = ([ct ; ht ]Wc ) 2.6 Cơ chế che dấu Trong thực tế, liệu y tế điện tử thường bị thiếu lượng thông tin đáng kế mà khơng xử lý làm giảm tính hợp lệ kết luận đưa Để giải vấn đề liệu bị thiếu liệu y tế điện tử phức tạp thực tế đơi khó phân biệt liệu bị thiếu giá trị âm Ví dụ, bệnh nhân khơng có tiền sử suy tim thực khơng mắc bệnh bác sĩ lâm sàng đơn giản khơng ghi nhận tình trạng Đối với vấn đề dự đoán dựa mạng LSTM, liệu chuỗi thời gian đầu vào chứa giá trị thiếu hay giá trị null, mơ hình LSTM thất bại giá trị null khơng thể 23 tính q trình huấn luyện mơ hình Nếu giá trị bị thiếu đặt thành số giá trị khác xác định trước, kết huấn luyện kiểm thử mơ hình bị sai lệch cao Hình 2.7: Cơ chế che dấu cho chuỗi thời gian mát liệu Hình 2.7 họa chi tiết chế che dấu Với lớp LSTM, giá trị che dấu ω xác định trước thường Null tất giá trị thiếu chuỗi liệu thời gian đặt ω Cho chuỗi thời gian XT , xt giá trị bị thiếu, trình huấn luyện bước thời gian t bỏ qua Do đó, giá trị tính tốn ô trạng thái bước thời gian t − truyền trực tiếp tới bước thời gian t + Trong trường hợp này, đầu bước bước thời gian t với ω trở thành đầu vào cho lớp Tương tự, giải vấn đề giá trị thiếu liên tiếp sử dụng chế che dấu 24 Kết luận Chương Trong chương này, luận văn giới thiệu mơ hình BiLSTM Đồng thời, luận văn trình bày kiến thức tảng trí tuệ nhân tạo, mơ hình học sâu sở mạng nơ-ron hồi quy, nhờ dài ngắn hạn, chế ý kĩ thuật xử lý liệu sử dụng luận văn chế che dấu Masking Trong chương tiếp theo, luận văn trình bày mơ hình đề xuất để dự đoán kiện cho chuỗi thời gian lâm sàng 25 Chương Mơ hình dự đốn kiện lâm sàng sử dụng chế Attention kết hợp kĩ thuật BiLSTM 3.1 Mơ hình đề xuất Sau tìm hiểu phân tích phương phân tích chuỗi thời gian lâm sàng kĩ thuật học sâu trình bày Chương 2, luận văn đề xuất mơ hình dự đốn kiện lâm sàng sử dụng chế ý (attention mechanism) kết hợp kĩ thuật BiLSTM mô tả Hình 3.1 3.1.1 Dữ liệu đầu vào mơ hình Như trình bày phát biểu tốn cuối Chương 1, luận văn xây dựng mô hình dự đốn kiện lâm sàng sử dụng chuỗi giá trị xét nghiệm, nhân học, thuốc tương ứng với bước thời gian lịch sử liệu đầu vào biểu thị vector sau: XT = xT −n xT −(n−1) xT −2 xT −1 (3.1) Giả sử ICU bao gồm P bệnh nhân cần dự đoán kiện xảy tương ứng thời điểm T sử dụng n khung thời gian lịch sử (các bước), đầu vào đặc trưng ma trận sau: 26 XTP x1 x1T −n x1T −n+1 x1T −2 x1T −1 2 x xT −n x2T −n+1 x2T −2 x2T −1 = = xP (3.2) xPT −n xPT −n+1 xPT −2 xPT −1 Với XPT = xT −n xT −(n−1) xT −2 xT −1 (3.3) vector với m giá trị kết xét nghiệm hay liều lượng thuốc, thông tin bệnh nhân (đặc trưng trích xuất tương ứng với kiện) Vector vector đầu vào mơ hình Hình 3.1: Mơ hình đề xuất 3.1.2 Áp dụng chế che dấu Khi áp dụng mơ hình LSTM để dự đốn, liệu chuỗi thời gian đầu vào chứa giá trị thiếu hay giá trị null, mơ hình LSTM thất bại giá trị null khơng thể tính q trình huấn luyện mơ hình Nếu giá trị bị thiếu đặt thành số giá trị khác xác định trước, kết huấn luyện kiểm thử mơ hình bị sai lệch cao Do đó, luận văn áp dụng chế che giấu để khắc phục vấn đề thiếu giá trị chuỗi thời gian đầu vào 27 Cơ chế che dấu trình bày chi tiết Hình 2.7 Chương Với lớp LSTM, giá trị che dấu ω xác định trước thường Null tất giá trị thiếu chuỗi liệu thời gian đặt ω Cho chuỗi thời gian XT , xt giá trị bị thiếu, trình huấn luyện bước thời gian t bỏ qua Do đó, giá trị tính tốn ô trạng thái bước thời gian t − truyền trực tiếp tới bước thời gian t + Trong trường hợp này, đầu bước bước thời gian t với ω trở thành đầu vào cho lớp Tương tự, giải vấn đề giá trị thiếu liên tiếp sử dụng chế che dấu 3.1.3 Áp dụng chế ý Một vectơ ý học trọng số tương ứng với tính xi để tập trung lớp mơ hình vào đặc trưng định Trong hầu hết ví dụ sử dụng chế ý với lớp LSTM, huấn luyện để tương ứng với trạng thái nhúng đơn vị LSTM thời điểm vectơ trạng thái bên đơn vị có trọng số theo trọng số học chuyển sang lớp đầu mạng Các chế ý chủ yếu tích hợp vào mơ hình dịch máy để cải thiện hiệu suất thay khả biểu diễn Trong trường hợp liệu y tế, việc biểu diễn trực tiếp không gian nhúng thách thức Các đặc trưng thường bao gồm giá trị liên tục giá trị rời rạc, khơng dễ dàng chuyển đổi thành đầu vào riêng biệt Để tạo điều kiện cho khả diễn giải cấp độ biến đầu vào, mơ hình học trọng số Wk để tính tốn ý ak cho đặc trưng qua bước thời gian: ak = sof tmax(Wk xk ) Xk đại diện cho đặc trưng theo thời gian Chuỗi thời gian đặc trưng đầu vào cân vectơ ý học trước cung cấp cho lớp BiLSTM dạng đầu vào: yk = ak 3.1.4 yk Các lớp BiLSTM Tương tự lớp LSTM, đầu cuối lớp BiLSTM biểu diễn vector YT = [yT −n , , yT −1 Giá trị cuối yT −1 giá trị dự đoán cho bước lặp thời gian Chúng ta chồng nhiều lớp BiLSTM lên nhau, đầu lớp đầu vào lớp Cuối cùng, Đầu mơ hình dự báo liên quan đến kiện lâm sàng tương ứng bước thời gian T + xˆT +1 = yT 28 Chi tiết việc xây dựng mạng tham số huấn luyện mơ hình mô tả chi tiết Chương 4: Thực nghiệm kết 3.2 Phương pháp đánh giá 3.2.1 Ma trận nhầm lẫn • TP (true positive) – mẫu mang nhãn dương phân lớp vào lớp dương • FN (false negative) – mẫu mang nhãn dương bị phân lớp sai vào lớp âm • FP (false positive) – mẫu mang nhãn âm bị phân lớp sai vào lớp dương • TN (true negative) – mẫu mang nhãn âm phân lớp vào lớp âm Người ta thường quan tâm đến TPR, FNR, FPR, TNR (R - Rate) dựa ma trận nhầm lẫn mô tả Bảng 3.1 Bảng 3.1: Ma trận nhầm lẫn Được dự đoán Dương Được dự đoán Âm Thực tế: Dương T P R = Thực tế: Âm FPR = TP (T P +F N ) FP (F P +T N ) F NR = T NR = FN (T P +F N ) TN (F P +T N ) Thật khó để so sánh hai mơ hình với độ xác thấp độ hồi tưởng cao ngược lại Vì vậy, để dễ dàng so sánh, độ đo F-Score sử dụng Điểm F giúp đo Recall Precision lúc F-Score gọi độ hài hòa F _Score = 2∗R∗P R+P (3.4) Bên cạnh đó, để đánh giá độ xác phương pháp xét nghiệm, nhà nghiên cứu thường ước tính tỉ lệ dương tính thật (tức sensitivity - TPR) tỷ lệ người có kết xét nghiệm dương tính thực mắc bện (PPV) Sensitivity = PPV = TP TP + FN TP TP + FP 29 (3.5) (3.6) 3.2.2 Đường cong AUC-ROC Đường cong AUC - ROC phép đo hiệu suất cho vấn đề phân loại cài đặt ngưỡng khác ROC đường cong xác suất AUC đại diện cho mức độ thước đo độ phân tách Nó cho biết mơ hình có khả phân biệt lớp AUC cao, mơ hình tốt dự đoán Bằng cách tương tự, AUC cao hơn, mơ hình tốt phân biệt bệnh nhân mắc bệnh khơng có bệnh Đường cong ROC vẽ với Sensitivity so với Specificity TPR nằm trục y FPR nằm trục x 30 Kết luận Chương Trong chương này, luận văn trình bày mơ hình đề xuất để dự đốn kiện cho chuỗi thời gian lâm sàng áp dụng chế ý kết hợp với kĩ thuật BiLSTM Trong chương tiếp theo, luận văn mô tả bước thực nghiệm, kịch thực kết đạt mơ hình đề xuất 31 Chương Thực nghiệm kết 4.1 Môi trường thực nghiệm cài đặt cấu hình 4.1.1 Thư viện xây dựng mơ hình Các mơ hình luận văn triển khai sử dụng Python 3.6 môi trường Anaconda , TensorFlow2 Keras Tensorflow thư viện viết ngôn ngữ C++, Python, kĩ sư dự án Google Brain phát triển xuất tháng 10 năm 2015 TensorFlows thư viện máy học mạnh mẽ sử dụng phổ biến Thư viện hỗ trợ xây dựng mô hình học sâu phức tạp qua API ngắn gọn Các mơ hình học sâu phát triển TensorFlow sử dụng nhiều tảng khác (từ di động thơng minh tới máy tính toán hiệu cao) CPUs lẫn GPUs Keras thư viện xây dựng mơ hình học sâu viết ngơn ngữ Python Nó chạy thư viện Tensorflow, Microsoft Cognitive Toolkit6 Theano7 hay MXNet8 Thư viện cho phép xây dựng nhanh mô hình học sâu cú pháp ngắn gọn mơ-đun mở rộng phong phú Tác giả xây dựng thư viện Francois Chollet – kỹ sư Google Một số thư viện python khác sử dụng để xây dựng mơ hình: • numpy • scipy • sklearn • pandas • h5py • seaborn Anaconda: https://www.anaconda.com/ Tensorflow: https://www.tensorflow.org/about Keras: https://keras.io/ 32 Bảng 4.1: Tham số mô hình Tham số Giá trị Train/Validation/Test 70/10/20 Số lượng bệnh nhân 56841 Time steps 14 Số lượng đặc trưng 0,4ng/dL bệnh nhân khơng có ICD-9 phù hợp với CKD, nói cách khác số CKD = • Nhiễm trùng huyết (SEPSIS) xác định hai tiêu chí SIRS (Nhịp tim > 90; Nhịp hô hấp > 20; Số lượng bạch cầu WBC > 12.000 WBC < 4.000; Nhiệt độ (F)> 100.4 Nhiệt độ (F) < 96.8) bệnh nhân mắc bệnh có mã ICD-9 phù hợp với nhiễm trùng • Quản lý nồng độ Vancomycin huyết thanh, định nghĩa bệnh nhân nhận liều vancomycin nào, nói cách khác, số vancomycin > xác định sử dụng vancomycin Ba mục tiêu chọn để làm bật ba kết y tế khác thúc đẩy phát phịng thí nghiệm, dấu hiệu quan trọng thuốc tương ứng Vì chúng tính tốn hàng ngày, bệnh nhân có giá trị mục tiêu khác vào ngày khác tùy thuộc vào kiện ngày Các biến dự đoán xây dựng tương tự cho bệnh nhân Các đặc trưng xác định từ bảng MIMIC-III dựa mức độ phù hợp lâm sàng biết chúng với điểm cuối mục tiêu chúng tôi, đặc trưng mà chứa lớn 75% giá trị bị thiếu loại bỏ; giá trị bị thiếu đặc trưng xác định cách thay giá trị trung bình đặc trưng Do số đặc trưng liệu MIMIC-III, luận văn kiểm tra giá trị tỷ lệ phần trăm 95% thay giá trị giá trị trung bình Tổng cộng, có 119 đặc trưng (Bảng 4.2) có sẵn để phân tích thêm Chúng bao gồm cơng thức máu tồn (CBC) với khác biệt, dấu hiệu quan trọng, kết phịng thí nghiệm, liệu nhân học thuốc kê đơn 119 tính ban đầu xử lý thành 225 biến 37 dự đoán cách sử dụng phép biến đổi thống kê đơn giản biến có giá trị thực (trung bình, tối đa, tối thiểu, std) chuyển đổi thành biến báo biến phân loại (ví dụ: thuốc ghi quản lý, không 0) Chuẩn hóa thực cách trừ giá trị trung bình chia cho độ lệch chuẩn cho tất 225 biến 4.3 Kết thực nghiệm Luận văn thực kế hoạch thực nghiệm sau: • Thực nghiệm 1: Luận văn trình bày kết AUC cho ba mục tiêu mô tả phần là: nhiễm trùng máu, nhồi máu tim nồng đọ vancomycin huyết mơ hình với biến dự đoán ngày định • Thực nghiệm 2: Luận văn thực chạy thực nghiệm riêng mục tiêu cho dự báo ngày hơm sau sử dụng mơ hình đào tạo để đưa dự đoán, che giấu biến dự đoán khoảng thời gian cho có liệu từ ngày trước sử dụng để dự đốn mục tiêu theo NGÀY • Thực nghiệm 3: Luận văn đánh giá khả tiếp cận mơ hình với mục tiêu ngày cách tính tốn AUC với mức độ sẵn có liệu khác theo thời gian 4.3.1 Kết thực nghiệm 1: Dự đoán ngày Bảng 4.3 mô tả kết dự báo ngày mơ hình cho nhiệm vụ mục tiêu Nhìn vào bảng kết ta thấy, mơ hình đề xuất khóa luận có PPV Sensitivity vượt trội tất nhiệm vụ dự báo mục tiêu so với mơ hình sở Bảng 4.3: Kết dự báo ngày mơ hình cho nhiệm vụ dự báo mục tiêu Phương Pháp SEPSIS MI Vancomycin PPV Sensitivity PPV Sensitivity PPV Sensitivity (%) (%) (%) (%) (%) (%) LSTM 0.88 0.83 0.04 0.59 0.72 0.72 Attention+LSTM 0.7 0.74 0.02 0.54 0.69 0.72 BiLSTM 0.84 0.83 0.04 0.57 0.78 0.8 Attention+BiLSTM 0.93 0.87 0.04 0.87 0.84 0.83 38 4.3.2 Kết thực nghiệm 2: Dự đoán ngày hôm sau Bảng 4.4 mô tả kết dự báo cho ngày mơ hình cho nhiệm vụ mục tiêu Có thể dễ dàng nhận thấy, mơ hình đề xuất khóa luận có PPV Sensitivity vượt trội hầu hết nhiệm vụ dự báo mục tiêu Bảng 4.4: Kết dự báo cho ngày mơ hình cho nhiệm vụ dự báo mục tiêu Phương SEPSIS Pháp MI Vancomycin PPV Sensitivity PPV Sensitivity PPV Sensitivity (%) (%) (%) (%) (%) (%) LSTM 0.84 0 0.84 Attention+LSTM 0.42 0.59 0.02 0.51 0.58 0.55 BiLSTM 0.52 0.61 0.03 0.57 0.68 0.7 Attention+BiLSTM 0.02 0.68 0.68 0.64 0.84 0.83 AUC tính tốn cho mục tiêu tất ngày khả dụng có trọng số (tối đa 14 ngày) Sau đó, ngày cuối đầu vào dự đoán bị ẩn dự đoán thực vào tất ngày Bảng 4.5 mơ tả kết AUC mơ hình dự báo cho ngày nhiệm vụ mục tiêu Bảng 4.5: Kết dự đốn mơ hình nhiệm vụ mục tiêu theo ngày Lag LSTM Attention+LSTM SEPSIS MI Vancomycin SEPSIS MI Vancomycin ngày 0.98 0.84 0.92 0.98 0.85 0.95 ngày 0.97 0.84 0.90 0.98 0.85 0.95 ngày 0.95 0.84 0.87 0.98 0.85 0.95 ngày 0.93 0.84 0.85 0.97 0.85 0.94 ngày 0.90 0.84 0.81 0.97 0.85 0.94 ngày 0.88 0.83 0.78 0.96 0.85 0.93 ngày 0.86 0.83 0.74 0.95 0.85 0.92 ngày 0.83 0.83 0.70 0.94 0.85 0.91 ngày 0.81 0.83 0.66 0.93 0.84 0.90 39 10 ngày 0.79 0.82 0.62 0.91 0.84 0.88 11 ngày 0.76 0.81 0.58 0.89 0.83 0.86 12 ngày 0.71 0.80 0.55 0.84 0.80 0.81 13 ngày 0.64 0.78 0.51 0.78 0.68 0.78 14 ngày 0.59 0.74 0.49 0.71 0.70 0.72 Lag Attention+BiLSTM SEPSIS MI ngày 0.99 0.92 0.96 ngày 0.99 0.92 ngày 0.99 ngày BiLSTM Vancomycin SEPSIS MI Vancomycin 0.95 0.81 0.91 0.96 0.95 0.81 0.91 0.92 0.96 0.95 0.81 0.91 0.98 0.92 0.96 0.94 0.81 0.90 ngày 0.98 0.91 0.95 0.94 0.81 0.90 ngày 0.97 0.91 0.95 0.93 0.81 0.90 ngày 0.97 0.90 0.94 0.93 0.81 0.89 ngày 0.96 0.90 0.93 0.92 0.81 0.88 ngày 0.95 0.89 0.91 0.91 0.81 0.87 10 ngày 0.93 0.88 0.89 0.89 0.81 0.86 11 ngày 0.90 0.87 0.87 0.86 0.79 0.84 12 ngày 0.86 0.82 0.82 0.81 0.75 0.80 13 ngày 0.78 0.72 0.79 0.72 0.71 0.77 14 ngày 0.69 0.68 0.72 0.65 0.69 0.70 Hình 4.2, 4.3, 4.4 trực quan hóa hiệu suất phân loại chuỗi toàn thời gian chiều dài liệu giảm dầ cho mục tiêu dự báo với mơ hình đề xuất luận văn Attention+BiLSTM 4.3.3 Kết thực nghiệm 3: Đánh giá dựa mức độ sẵn có liệu Bảng 4.6, 4.7, 4.8, 4.9 trình bày kết AUC tương ứng mơ hình LSTM, Attention+LSTM, BiLSTM mơ hình đề xuất luận văn Attention+BiLSTM Hình 4.5, 4.6, 4.7 biểu diễn đường cong ROC nhiệm vụ mục tiêu huấn luyện với mơ hình luận văn đề xuất 40 Bảng 4.6: Kết AUC LSTM mức độ liệu khác với đánh giá ngày đánh giá cho ngày LSTM SEPSIS MI Vancomycin No_Lag Lag No_Lag Lag No_Lag Lag 5% 0.98 0.81 0.84 0.76 0.92 0.69 10% 0.98 0.61 0.83 0.64 0.91 0.49 20% 0.97 0.62 0.83 0.56 0.91 0.41 40% 0.96 0.60 0.83 0.52 0.91 0.35 60% 0.95 0.64 0.82 0.51 0.89 0.37 80% 0.94 0.64 0.80 0.53 0.88 0.39 100% 0.92 0.60 0.81 0.49 0.86 0.40 Bảng 4.7: Kết AUC Attention+LSTM mức độ liệu khác với đánh giá ngày đánh giá cho ngày Attention+BiLSTM SEPSIS Vancomycin Vancomycin No_Lag Lag No_Lag Lag No_Lag Lag 5% 0.95 0.84 0.81 0.79 0.91 0.80 10% 0.94 0.80 0.80 0.75 0.90 0.75 20% 0.94 0.76 0.82 0.71 0.89 0.71 40% 0.94 0.74 0.80 0.67 0.88 0.69 60% 0.92 0.71 0.77 0.65 0.86 0.68 80% 0.91 0.69 0.76 0.60 0.85 0.66 100% 0.89 0.67 0.74 0.58 0.80 0.65 41 Bảng 4.8: Kết AUC mô hình BiLSTM mức độ liệu khác với đánh giá ngày đánh giá cho ngày BiLSTM SEPSIS Vancomycin Vancomycin No_Lag Lag No_Lag Lag No_Lag Lag 5% 0.99 0.87 0.92 0.83 0.96 0.96 10% 0.96 0.83 0.90 0.75 0.95 0.95 20% 0.95 0.79 0.87 0.70 0.95 0.95 40% 0.95 0.76 0.86 0.65 0.93 0.93 60% 0.94 0.74 0.84 0.63 0.91 0.91 80% 0.94 0.72 0.84 0.61 0.90 0.90 100% 0.92 0.70 0.83 0.56 0.87 0.87 Bảng 4.9: Kết AUC Attention+BiLSTM mức độ liệu khác với đánh giá ngày đánh giá cho ngày Attention+LSTM SEPSIS Vancomycin Vancomycin No_Lag Lag No_Lag Lag No_Lag Lag 5% 0.98 0.89 0.85 0.84 0.95 0.88 10% 0.97 0.84 0.85 0.79 0.94 0.81 20% 0.97 0.81 0.84 0.75 0.93 0.76 40% 0.96 0.78 0.84 0.72 0.92 0.73 60% 0.94 0.76 0.82 0.71 0.89 0.71 80% 0.92 0.74 0.79 0.66 0.87 0.69 100% 0.89 0.72 0.78 0.66 0.81 0.67 42 Hình 4.2: SEPSIS ROC curves Hình 4.3: MI ROC curves Hình 4.4: Vancomycin ROC curves 43 Hình 4.5: SEPSIS Cross ROC curves Hình 4.6: MI Cross ROC curves Hình 4.7: Vancomycin Cross ROC curves 44 4.3.4 Nghiên cứu mức độ ảnh hưởng đặc trưng lên kiện mục tiêu Để giúp cho việc hỗ trợ định tốt hơn, việc nghiên cứu mức độ ảnh hưởng đặc trưng lên kiện mục tiêu cần thiết Hình 4.8 đưa mức độ ảnh hưởng đặc trưng lên kiện mục tiêu theo thứ tự từ trái qua phải: SEPSIS, MI VANCOMYCIN Biểu đồ nhiệt biểu diễn cho 255 đặc trưng mơ tả trước Màu đậm thể đặc trưng có mức độ ảnh hưởng lớn so với đặc trưng màu nhạt Hình 4.8: Mức độ ảnh hưởng đặc trưng lên kiện mục tiêu theo thứ tự từ trái qua phải bao gồm: SEPSIS, MI VANCOMYCIN Hình 4.9 biểu diễn mức độ ảnh hưởng đặc trưnglên kiện mục tiêu theo ngày Có thể thấy rõ, Sepsis, monocytes_max có ảnh hưởng lớn ngày thứ Tương tự, MI, albuterol wafarin có ảnh hưởng lớn ngày ngày thứ 10 trình điều trị Cuối cùng, với nồng độ Vancomycin, monocytes_max đạt mức cao vào ngày thứ điều trị 4.3.5 Định hướng nghiên cứu tương lai Trong luận văn này, mơ hình đề xuất cịn vài hạn chế Mơ hình đề xuất sử dụng liệu ngày để dự đoán, mức độ tương đối nhỏ Một mức độ phân giải 45 Hình 4.9: Mức độ ảnh hưởng đặc trưng theo ngày lên kiện mục tiêu theo thứ tự từ trái qua phải bao gồm: SEPSIS, MI VANCOMYCIN thời gian cao giúp hỗ trợ định lâm sàng tối ưu ICU tốt ICU, định quan trọng đưa suốt ngày Mức độ phân giải thời gian cao cho phép có đủ liệu để đưa dự đoán khoảng thời gian quan trọng tương lai Điều giúp mơ hình dự báo tốt tương lai 46 Kết luận Chương Chương trình bày đầy đủ phương pháp thực nghiệm kết luận văn Với kịch thực nghiệm đưa ra, luận văn tiến hành thực nghiệm thu kết khả quan so sánh với mơ hình sở 47 Kết luận Trong luận văn này, tơi xây dựng mơ hình học sâu áp dụng chế ý kết hợp với nhớ dài ngắn hạn hai chiều với mục đích dự đốn kiện lâm sàng cho kiện mục tiêu Nhiễm trùngmáu (SEPSIS), Nhồi máu tim (MI), nồng độ VANCOMYCIN huyết sau 24 dùng thuốc VANCOMYCIN hỗ trợ việc định chẩn đoán lâm sàng Đồng thời, luận văn trích xuất đặc trưng tương ứng với kiện mục tiêu từ sở liệu MIMIC-III xây dựng mơ hình sở sử dụng mơ hình độc lập: Mạng nhớ dài ngắn hạn, Cơ chế ý Mạng nhớ dài ngắn hạn hai chiều để làm bật tính hiệu mơ hình kết hợp đề xuất Với kịch thực nghiệm đưa ra, mơ hình đề xuất luận văn đạt kết tốt so với mơ hình sở Luận văn cịn hạn chế chưa tăng độ phân giải thời gian cao giúp cho mơ hình dự báo tốt Trong tương lai, luận văn tiến hành thực nghiệm với độ phân giải thời gian cao để thu kết tốt 48 Danh sách báo Nguyen Ngoc-Vu, Nguyen Thi-Lan, Nguyen Cam-Van Thi, Vu Tran Mai and QuangThuy Ha A Character-level Deep Lifelong Learning Model for Named Entity Recognition in Vietnamese Text ACIIDS (1) 2019: 90-102 49 Tài liệu tham khảo [1] D Bahdanau, K Cho, and Y Bengio, “Neural machine translation by jointly learning to align and translate,” arXiv preprint arXiv:1409.0473, 2014 [2] R A Balk, “Severe sepsis and septic shock: definitions, epidemiology, and clinical manifestations,” Critical care clinics, vol 16, no 2, pp 179–192, 2000 [3] Y Bengio, P Simard, P Frasconi et al., “Learning long-term dependencies with gradient descent is difficult,” IEEE transactions on neural networks, vol 5, no 2, pp 157–166, 1994 [4] J Beran, Mathematical foundations of time series analysis: a concise introduction Springer, 2018 [5] G S Birkhead, M Klompas, and N R Shah, “Uses of electronic health records for public health surveillance to advance public health,” Annual review of public health, vol 36, pp 345–359, 2015 [6] T Botsis, G Hartvigsen, F Chen, and C Weng, “Secondary use of ehr: data quality issues and informatics opportunities,” Summit on Translational Bioinformatics, vol 2010, p 1, 2010 [7] D Charles, M Gabriel, T Searcy et al., “Adoption of electronic health record systems among us non-federal acute care hospitals: 2008-2012,” ONC data brief, vol 9, pp 1–9, 2013 [8] E Choi, M T Bahadori, A Schuetz, W F Stewart, and J Sun, “Doctor ai: Predicting clinical events via recurrent neural networks,” in Machine Learning for Healthcare Conference, 2016, pp 301–318 [9] E Choi, A Schuetz, W F Stewart, and J Sun, “Medical concept representation learning from electronic health records and its application on heart failure prediction,” arXiv preprint arXiv:1602.03686, 2016 50 [10] J Chung, C Gulcehre, K Cho, and Y Bengio, “Empirical evaluation of gated recurrent neural networks on sequence modeling,” arXiv preprint arXiv:1412.3555, 2014 [11] S Ebadollahi, J Sun, D Gotz, J Hu, D Sow, and C Neti, “Predicting patient’s trajectory of physiological data using temporal trends in similar patients: a system for near-term prognostics,” in AMIA annual symposium proceedings, vol 2010 American Medical Informatics Association, 2010, p 192 [12] F A Gers, J Schmidhuber, and F Cummins, “Learning to forget: Continual prediction with lstm,” 1999 [13] K Greff, R K Srivastava, J Koutník, B R Steunebrink, and J Schmidhuber, “Lstm: A search space odyssey,” IEEE transactions on neural networks and learning systems, vol 28, no 10, pp 2222–2232, 2016 [14] H Harutyunyan, H Khachatrian, D C Kale, G V Steeg, and A Galstyan, “Multitask learning and benchmarking with clinical time series data,” arXiv preprint arXiv:1703.07771, 2017 [15] S Hochreiter and J Schmidhuber, “Long short-term memory,” Neural computation, vol 9, no 8, pp 1735–1780, 1997 [16] P B Jensen, L J Jensen, and S Brunak, “Mining electronic health records: towards better research applications and clinical care,” Nature Reviews Genetics, vol 13, no 6, p 395, 2012 [17] M Jiang, Y Chen, M Liu, S T Rosenbloom, S Mani, J C Denny, and H Xu, “A study of machine-learning-based approaches to extract clinical entities and their assertions from discharge summaries,” Journal of the American Medical Informatics Association, vol 18, no 5, pp 601–606, 2011 [18] A E Johnson, T J Pollard, L Shen, H L Li-wei, M Feng, M Ghassemi, B Moody, P Szolovits, L A Celi, and R G Mark, “Mimic-iii, a freely accessible critical care database,” Scientific data, vol 3, p 160035, 2016 [19] M I Jordan and T M Mitchell, “Machine learning: Trends, perspectives, and prospects,” Science, vol 349, no 6245, pp 255–260, 2015 51 [20] G J Kuperman, A Bobb, T H Payne, A J Avery, T K Gandhi, G Burns, D C Classen, and D W Bates, “Medication-related clinical decision support in computerized provider order entry systems: a review,” Journal of the American Medical Informatics Association, vol 14, no 1, pp 29–40, 2007 [21] Y LeCun, Y Bengio, and G Hinton, “Deep learning,” nature, vol 521, no 7553, p 436, 2015 [22] Z C Lipton, D C Kale, C Elkan, and R Wetzel, “Learning to diagnose with lstm recurrent neural networks,” arXiv preprint arXiv:1511.03677, 2015 [23] Z C Lipton, D C Kale, and R Wetzel, “Modeling missing data in clinical time series with rnns,” arXiv preprint arXiv:1606.04130, 2016 [24] S M Meystre, G K Savova, K C Kipper-Schuler, and J F Hurdle, “Extracting information from textual documents in the electronic health record: a review of recent research,” Yearbook of medical informatics, vol 17, no 01, pp 128–144, 2008 [25] R Miotto, L Li, B A Kidd, and J T Dudley, “Deep patient: an unsupervised representation to predict the future of patients from the electronic health records,” Scientific reports, vol 6, p 26094, 2016 [26] W Palma, Time series analysis John Wiley & Sons, 2016 [27] M Schuster and K K Paliwal, “Bidirectional recurrent neural networks,” IEEE Transactions on Signal Processing, vol 45, no 11, pp 2673–2681, 1997 [28] H Song, D Rajan, J J Thiagarajan, and A Spanias, “Attend and diagnose: Clinical time series analysis using attention models,” in Thirty-Second AAAI Conference on Artificial Intelligence, 2018 [29] A Vaswani, N Shazeer, N Parmar, J Uszkoreit, L Jones, A N Gomez, Ł Kaiser, and I Polosukhin, “Attention is all you need,” in Advances in neural information processing systems, 2017, pp 5998–6008 52 Phụ lục Phụ lục 1: Cấu hình máy hiệu cao FIT-HPC • central controller machine · x Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz · x 16 GB DIMM ECC DDR4 @ 2400MHz • 16 computing machines • machine for database system · x Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz · x 16 GB DIMM ECC DDR4 @ 2400MHz • machines with powerful GPU · x Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz · x 16 GB DIMM ECC DDR4 @ 2400MHz · GPU: Tesla K40m • 12 machines with medium RAM capacity · x Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz · x 16 GB DIMM ECC DDR4 @ 2400MHz • machine with high RAM capacity · x Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz · 24 x 16 GB DIMM ECC DDR4 @ 2400MHz • machine for data storage and extended JBOD · x Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz · x 16 GB DIMM ECC DDR4 @ 2400MHz · 24 x 6.0 TB HDD · JBOD: 24 x 6.0 TB HDD 53 Phụ lục 2: Chứng nhận kết đủ điều kiện sử dụng liệu MIMIC-III 54 COLLABORATIVE INSTITUTIONAL TRAINING INITIATIVE (CITI PROGRAM) COMPLETION REPORT - PART OF COURSEWORK REQUIREMENTS* * NOTE: Scores on this Requirements Report reflect quiz completions at the time all requirements for the course were met. See list below for details See separate Transcript Report for more recent quiz scores, including those on optional (supplemental) course elements • Name: • Institution Affiliation: • Institution Email: • Institution Unit: • Phone: Van Nguyen (ID: 8012198) Massachusetts Institute of Technology Affiliates (ID: 1912) vanntc@vnu.edu.vn Department of Information Systems +84969243843 • Curriculum Group: Human Research • Course Learner Group: Data or Specimens Only Research • Stage: Stage 2 - Refresher Course • Record ID: • Completion Date: • Expiration Date: • Minimum Passing: • Reported Score*: 31077000 28-Mar-2019 27-Mar-2022 90 95 REQUIRED AND ELECTIVE MODULES ONLY SBE Refresher 1 – Defining Research with Human Subjects (ID: 15029) SBE Refresher 1 – Privacy and Confidentiality (ID: 15035) SBE Refresher 1 – Assessing Risk (ID: 15034) SBE Refresher 1 – Research with Children (ID: 15036) SBE Refresher 1 – International Research (ID: 15028) Instructions (ID: 764) Biomed Refresher 2 – History and Ethical Principles (ID: 511) Biomed Refresher 2 – Regulations and Process (ID: 512) Biomed Refresher 2 – SBR Methodologies in Biomedical Research (ID: 515) Biomed Refresher 2 – Genetics Research (ID: 518) Biomed Refresher 2 – Records-Based Research (ID: 516) Biomed Refresher 2 - Populations in Research Requiring Additional Considerations and/or Protections (ID: 519) Biomed Refresher 2 – HIPAA and Human Subjects Research (ID: 526) Biomed Refresher 2 – Conflicts of Interest in Research Involving Human Subjects (ID: 17545) Biomed Refresher 2 - Conclusion (ID: 922) DATE COMPLETED 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 28-Mar-2019 28-Mar-2019 28-Mar-2019 28-Mar-2019 SCORE 2/2 (100%) 4/4 (100%) 2/2 (100%) 2/2 (100%) 2/2 (100%) No Quiz 3/3 (100%) 2/2 (100%) 3/4 (75%) 2/2 (100%) 3/3 (100%) 1/1 (100%) 5/5 (100%) 4/5 (80%) No Quiz For this Report to be valid, the learner identified above must have had a valid affiliation with the CITI Program subscribing institution identified above or have been a paid Independent Learner Verify at: www.citiprogram.org/verify/?k1a2a91a7-9cc0-499e-8ca2-5b0e21874938-31077000 Collaborative Institutional Training Initiative (CITI Program) Email: support@citiprogram.org Phone: 888-529-5929 Web: https://www.citiprogram.org COLLABORATIVE INSTITUTIONAL TRAINING INITIATIVE (CITI PROGRAM) COMPLETION REPORT - PART OF COURSEWORK TRANSCRIPT** ** NOTE: Scores on this Transcript Report reflect the most current quiz completions, including quizzes on optional (supplemental) elements of the course. See list below for details. See separate Requirements Report for the reported scores at the time all requirements for the course were met • Name: • Institution Affiliation: • Institution Email: • Institution Unit: • Phone: Van Nguyen (ID: 8012198) Massachusetts Institute of Technology Affiliates (ID: 1912) vanntc@vnu.edu.vn Department of Information Systems +84969243843 • Curriculum Group: Human Research • Course Learner Group: Data or Specimens Only Research • Stage: Stage 2 - Refresher Course • Record ID: • Report Date: • Current Score**: 31077000 28-Mar-2019 95 REQUIRED, ELECTIVE, AND SUPPLEMENTAL MODULES MOST RECENT SCORE Instructions (ID: 764) Biomed Refresher 2 – History and Ethical Principles (ID: 511) Biomed Refresher 2 – Regulations and Process (ID: 512) SBE Refresher 1 – Defining Research with Human Subjects (ID: 15029) Biomed Refresher 2 – SBR Methodologies in Biomedical Research (ID: 515) Biomed Refresher 2 – Records-Based Research (ID: 516) SBE Refresher 1 – Assessing Risk (ID: 15034) SBE Refresher 1 – Privacy and Confidentiality (ID: 15035) Biomed Refresher 2 – Genetics Research (ID: 518) Biomed Refresher 2 - Populations in Research Requiring Additional Considerations and/or Protections (ID: 519) SBE Refresher 1 – Research with Children (ID: 15036) SBE Refresher 1 – International Research (ID: 15028) Biomed Refresher 2 – HIPAA and Human Subjects Research (ID: 526) Biomed Refresher 2 – Conflicts of Interest in Research Involving Human Subjects (ID: 17545) Biomed Refresher 2 - Conclusion (ID: 922) 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 27-Mar-2019 28-Mar-2019 27-Mar-2019 27-Mar-2019 28-Mar-2019 28-Mar-2019 28-Mar-2019 No Quiz 3/3 (100%) 2/2 (100%) 2/2 (100%) 3/4 (75%) 3/3 (100%) 2/2 (100%) 4/4 (100%) 2/2 (100%) 1/1 (100%) 2/2 (100%) 2/2 (100%) 5/5 (100%) 4/5 (80%) No Quiz For this Report to be valid, the learner identified above must have had a valid affiliation with the CITI Program subscribing institution identified above or have been a paid Independent Learner Verify at: www.citiprogram.org/verify/?k1a2a91a7-9cc0-499e-8ca2-5b0e21874938-31077000 Collaborative Institutional Training Initiative (CITI Program) Email: support@citiprogram.org Phone: 888-529-5929 Web: https://www.citiprogram.org This is to certify that: Van Nguyen (Stage) (Course Learner Group) (Curriculum Group) Has completed the following CITI Program course: Human Research Data or Specimens Only Research - Refresher Course Under requirements set by: Massachusetts Institute of Technology Affiliates Completion Date 28-Mar-2019 Expiration Date 27-Mar-2022 Record ID 31077000 Verify at www.citiprogram.org/verify/?w68acdb95-312a-4706-9c76-ca0b176f5d68-31077000 ...ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thị Cẩm Vân CÁC MƠ HÌNH HỌC SÂU TIÊN TIẾN VÀ ỨNG DỤNG TRONG PHÂN TÍCH CHUỖI THỜI GIAN LÂM SÀNG LUẬN VĂN THẠC SĨ Ngành:... gian lâm sàng 1.1 1.2 Giới thiệu phân tích chuỗi thời gian lâm sàng 1.1.1 Giới thiệu chuỗi thời gian 1.1.2 Giới thiệu toán phân tích chuỗi thời gian. .. Chương 1: Khái qt tốn phân tích chuỗi thời gian lâm sàng: Trong chương ngày, luận văn giới thiệu sơ lược tốn phân tích liệu chuỗi thời gian lâm sàng nói chung tốn dự đốn kiện lâm sàng nói riêng Bên