Ứng dụng kỹ thuật học sâu xây dựng chương trình hỗ trợ chẩn đoán rối loạn phổ tự kỷ

i ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA PHẠM THỊ HOÀI ỨNG DỤNG KỸ THUẬT HỌC SÂU, XÂY DỰNG CHƯƠNG TRÌNH HỖ TRỢ CHẨN ĐỐN RỐI LOẠN PHỔ TỰ KỶ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng - Năm 2019 ii ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA PHẠM THỊ HOÀI ỨNG DỤNG KỸ THUẬT HỌC SÂU, XÂY DỰNG CHƯƠNG TRÌNH HỖ TRỢ CHẨN ĐOÁN RỐI LOẠN PHỔ TỰ KỶ Chuyên ngành: Khoa học máy tính Mã số: 8480101 Khóa: K35 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Văn Hiệu Đà Nẵng - Năm 2019 iii LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tác giả Phạm Thị Hoài iv LỜI CÁM ƠN Luận văn thạc sĩ khoa học chuyên ngành khoa học máy tính với đề tài “Ứng dụng kỹ thuật học sâu, xây dựng chương trình hỗ trợ chẩn đốn rối loạn phổ tự kỷ” kết q trình cố gắng khơng ngừng thân giúp đỡ, động viên khích lệ thầy cơ, bạn bè đồng nghiệp người thân Trước hết tơi xin tỏ lịng kính trọng biết ơn sâu sắc thầy giáo TS Nguyễn Văn Hiệu trực tiếp tận tình hướng dẫn cung cấp tài liệu, thông tin khoa học cần thiết cho luận văn Xin gửi lời cảm ơn chân thành tới Lãnh đạo trường Đại học Bách khoa Đà Nẵng, khoa Công nghệ thông tin tạo điều kiện cho tơi q trình học tập Xin bày tỏ lòng biết ơn chân thành tới thầy cô giáo trường Đại học Bách khoa Đà Nẵng trường trực thuộc Đại học Đà Nẵng, người đem lại cho kiến thức vơ có ích năm học vừa qua Tôi xin chân thành cảm ơn lãnh đạo đơn vị công tác, đồng nghiệp tạo điều kiện tốt cho học tập thực luận văn Cuối xin gửi lời cám ơn đến gia đình, bạn bè, người ln bên tơi, động viên khuyến khích tơi trình thực đề tài nghiên cứu Mặc dù cố gắng hoàn thành luận văn phạm vi khả cho phép tránh khỏi thiếu sót Rất mong nhận cảm thơng đóng góp dẫn quý thầy cô Một lần xin chân thành cảm ơn! Học viên Phạm Thị Hồi v TĨM TẮT LUẬN VĂN ỨNG DỤNG KỸ THUẬT HỌC SÂU, XÂY DỰNG CHƯƠNG TRÌNH HỖ TRỢ CHẨN ĐỐN RỐI LOẠN PHỔ TỰ KỶ Học viên: Phạm Thị Hoài Chuyên ngành: Khoa học máy tính Mã số: 8480101 Khóa: K35 Trường Đại học Bách khoa - ĐHĐN Tóm tắt – Hiện nay, số lượng trẻ em bị rối loạn phổ tự kỷ ngày tăng Rối loạn phổ tự kỷ trở thành nỗi lo lắng nhiều gia đình Việt Do đó, việc chẩn đốn để phát sớm rối loạn phổ tự kỷ trẻ em việc làm cần thiết để có biện pháp điều trị kịp thời Tuy nhiên Việt Nam có hệ thống hỗ trợ chẩn đoán rối loạn phổ tự kỷ Nghiên cứu đề xuất với mục tiêu ứng dụng kỹ thuật học sâu để vận dụng xây dựng hệ thống hỗ trợ dự đoán rối loạn phổ tự kỷ Từ kiến thức rối loạn phổ tự kỷ với kỷ thuật học sâu, tác giả đưa quy trình ứng dụng hệ thống mạng học sâu chẩn đoán rối loạn phổ tự kỷ Sau biến đổi triệu chứng bệnh thành thuộc tính liệu vào kết luận bệnh thành thuộc tính liệu tiến hành cài đặt ứng dụng Tác giả tóm tắt đánh giá kết đạt đưa hướng phát triển Từ khóa – rối loạn phổ tự kỷ; chẩn đốn; kỹ thuật học sâu; (3 từ khóa) APPLICATION OF DEEP LEARNING TECHNIQUES, BUILDING THE PROGRAM SUPPORTING DIAGNOSTIC AUTISM SPECTRUM DISORDER Abstract - Currently, the number of children with autism spectrum disorder are constantly increasing Autism spectrum disorder become anxiety of many Vietnamese families Therefore, the diagnosis for the early detection of autism spectrum disorder in children is much needed jobs for timely treatment But in Vietnam there are few support systems autism spectrum disorder diagnosis This research was proposed with the aim of applying deep learning techniques to apply the construction of a support system in predicting autism spectrum disorders From the basic knowledge of autism spectrum disorder along with deep learning techniques, the author has introduced the process of applying deep learning system in diagnosing autism spectrum disorder Then transform the disease symptoms into the attributes of the input and the disease conclusions into the properties of the output data and then proceed to install the application The author summarized the evaluation of the achieved results and gave the next development directions Key words – autism spectrum disorder; diagnostics; deep learning techniques vi MỤC LỤC CHƯƠNG MỞ ĐẦU 1 Lý chọn đề tài .1 Mục tiêu nội dung nghiên cứu 3 Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa khoa học thực tiễn Cấu trúc luận văn .4 CHƯƠNG TỔNG QUAN VỀ RỐI LOẠN PHỔ TỰ KỶ 1.1 Lịch sử rối loạn phổ tự kỷ 1.2 Khái niệm rối loạn phổ tự kỷ 1.3 Nguyên nhân rối loạn phổ tự kỷ .6 1.3.1 Tổn thương não não phát triển do: 1.3.2 Yếu tố di truyền 1.3.3 Yếu tố môi trường 1.3.4 Yếu tố tâm lý thần kinh 1.3.5 Yếu tố hoá chất .8 1.4 Triệu chứng đặc trưng rối loạn phổ tự kỷ 1.4.1 Tự kỷ trầm cảm 1.4.2 Triệu chứng lâm sàng .8 1.5 Các mức độ 11 1.5.1 Theo thời điểm mắc tự kỷ 11 1.5.2 Theo số thông minh 11 1.5.3 Theo mức độ 12 1.6 Các hướng nghiên cứu có 12 CHƯƠNG MƠ HÌNH HỌC SÂU 12 2.1 Deep Learing gì? .13 2.2 Mạng nơ-ron nhân tạo 13 2.2.1 Khái niệm .13 2.2.2 Kiến trúc mạng Nơ-ron nhân tạo 13 2.2.3 Mạng Nơ-ron mờ 15 2.2.4 Mạng Nơ-ron truyền thẳng 15 2.2.5 Mạng Nơ-ron lan truyền ngược 17 2.3 Mơ hình mạng Nơ-ron tích chập (CNN) 19 2.3.1 Giới thiệu mạng Nơ-ron tích chập .19 2.3.2 Kiến trúc mạng nơ-ron tích chập CNN 20 2.3.3 Phục vụ chẩn đoán .21 vii 2.4 Mơ hình mạng RNN – LSTM .22 2.4.1 Mạng nơ-ron hồi quy (RNN) .22 2.4.2 Vấn đề phụ thuộc xa .24 2.4.3 Mạng LSTM .25 2.4.4 Phục vụ chẩn đoán .29 2.5 Mơ hình LSTM-CNN 30 2.5.1 Giới thiệu mơ hình LSTM-CNN 30 2.5.2 Cấu trúc mạng LSTM-CNN 30 2.5.3 Ứng dụng Mơ hình LSTM-CNN 33 CHƯƠNG ỨNG DỤNG MƠ HÌNH VÀO CHẨN ĐOÁN RỐI LOẠN PHỔ TỰ KỶ 34 3.1 Quy trình ứng dụng vào chẩn đoán bệnh tự kỷ 34 3.1.1 Thu thập liệu 34 3.1.2 Phân tích liệu 34 3.1.3 Mơ hình chẩn đốn ………………………………………….….…………… 41 3.1.4 Cấu trúc mạng 42 3.1.5 Ứng dụng mơ hình chẩn đốn bệnh 42 3.2 Phân tích thiết kế hệ thống 42 3.2.1 Xác định yêu cầu 42 3.2.2 Biểu đồ ca sử dụng .43 3.2.3 Biểu đồ hoạt động 45 3.2.4 Biểu đồ .46 3.2.5 Biểu đồ triển khai hệ thống 47 3.3 Xây dựng chương trình .47 Đánh giá mơ hình .49 3.4.1 Độ xác mơ hình 49 3.4.2 Hàm mát mơ hình 49 3.5 Nhận xét 50 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 51 Kết luận 51 Hướng phát triển đề tài 51 TÀI LIỆU THAM KHẢO………………………………………………………… 53 viii BẢNG CÁC TỪ VIẾT TẮT Viết tắt ADDM Đầy đủ Automatic Database Diagnostic Monitor Ý nghĩa Theo dõi chẩn đoán sở liệu tự động Convolutionalal Neural Network Mạng Nơ-ron tích chập Recurrent Neural Network Mạng nơ-ron hồi quy Long Short-Term Memory Mạng nơ-ron cải tiến giải vấn đề phụ thuộc từ dài ASD Autism Spectrum Disorder Rối loạn phổ tự kỷ MRI Magnetic Resonance Imaging Cộng hưởng từ ANN Artificial Neural Network Mạng Nơ-ron nhân tạo ADD/ADHD Attention Deficit Hyperactivity Rối loạn tăng động giảm ý Disorder IEP Individualized Education Chương trình Giáo dục Cá nhân Program NSCH National Survey Of Children’s Khảo sát quốc gia sức khỏe trẻ Health em PDD Pervasive Developmental Rối loạn phát triển lan tỏa Disorders CNN RNN LSTM ix DANH MỤC CÁC BẢNG Số hiệu bảng 3.1 Tên bảng Trang Danh sách mô tả triệu chứng đặc trưng 39 3.2 Đặc tả ca sử dụng đăng nhập 44 3.3 Đặc tả ca sử dụng chẩn đoán rối loạn phổ tự kỷ 44 x DANH MỤC CÁC HÌNH VẼ Số hiệu hình vẽ 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 2.20 2.21 2.22 2.23 2.24 2.25 2.26 2.27 3.1 3.2 3.3 3.4 3.5 3.6 3.7 Tên hình vẽ Trang Kiến trúc tổng qt ANN Mơ hình cấu tạo ANN Hàm chuyển đổi Tính chất mạng Nơ-ron mờ Cấu trúc mạng Nơ-ron truyền thẳng Mô hình mạng nơ-ron lan truyền ngược Mơ hình CNN Kiến trúc mạng nơ-ron tích chập Mơ hình CNN phân loại văn Mơ hình Many to Many mạng RNN Các mơ hình mạng RNN Mạng nơ-ron hồi quy có vịng lặp Mơ hình mạng RNN RNN phụ thuộc short-term RNN phụ thuộc long-term Các module lặp mạng RNN chứa layer Các mô-đun lặp mạng LSTM chứa bốn layer Cell state LSTM giống băng truyền Cổng trạng thái LSTM Cấu trúc mơ hình LSTM Cổng chặn ft (LSTM focus f) Cổng vào it 𝐶𝑡 ̃ (LSTM focus i) Giá trị state Ct (LSTM focus c) Giá trị cổng vector trạng thái ẩn ht (LSTM focus o) Minh họa mơ hình LSTM chúng tơi để phân loại tình cảm Mơ hình CNN Mơ hình LSTM-CNN đa kênh Quy trình chẩn đốn phổ tự kỷ Tỉ lệ mắc bệnh trẻ từ 2-17 tuổi Sơ đồ mô hình chẩn đốn rối loạn phổ tự kỷ trẻ 13 14 14 15 16 17 20 20 22 23 23 24 24 24 25 25 26 26 26 27 27 28 28 29 31 32 33 34 40 41 Cấu trúc mạng học sâu Biểu đồ ca sử dụng Biểu đồ hoạt động đăng nhập người dùng Biểu đồ hoạt động chẩn đoán bệnh 42 43 45 45 50 Hình 3.15 Độ mát mơ hình 3.5 Nhận xét Chương trình bày nội dung sau: Quy trình ứng dụng cấu trúc mạng học sâu chẩn đoán bệnh tự kỷ trẻ em, biến đổi triệu chứng bệnh thành thuộc tính liệu vào kết luận bệnh thành thuộc tính liệu ra, quy trình xây dựng hệ thống hỗ trợ dự đoán bệnh tự kỷ trẻ em Chương trình cài đặt thành cơng cấu trúc mGạng học sâu chẩn đoán rối loạn phổ tự kỷ trẻ em với chức chương trình hỗ trợ chẩn đốn rối loạn phổ tự kỷ Về bản, chương trình đạt mục tiêu đề xây dựng thành công công cụ hỗ trợ chẩn đoán rối loạn phổ tự kỷ với mơ hình học sâu Mơ hình sử dụng giải pháp cơng nghệ thơng tin phù hợp có khả ứng dụng cao thực tế Tuy vậy, liệu mẫu chủ yếu tác giả mua từ với mục đích học tập nghiên cứu Vì việc triển khai thực tế cần phải xin cấp phép từ tác giả 51 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Chẩn đoán để phát sớm rối loạn phổ tự kỷ trẻ em việc làm cần thiết để có biện pháp điều trị kịp thời phù hợp Hiện nay, việc hội chẩn hội chứng rối loạn phổ tự kỷ nên có tham gia chuyên gia nhiều lĩnh vực khác nhau: tâm lý, tâm thần, giáo dục, âm ngữ trị liệu, vật lý trị liệu Yếu tố q trình chẩn đốn tìm hiểu chung trình phát triển trẻ (ghi nhận dấu hiệu phụ huynh cho "đáng ngại", khám lâm sàng thể chất trí tuệ) Với mục tiêu cải tiến mơ hình mạng học sâu để vận dụng xây dựng hệ thống hỗ trợ dự đoán bệnh rối loạn phổ tự kỷ trẻ em, tác giả hoàn thiện luận văn với kết đạt sau: - Trình bày kiến thức hội chứng tự kỷ trẻ em; xây dựng quy trình chẩn đốn - Giới thiệu tổng quan mơ hình học sâu Trình bày cụ thể mơ hình mạng nơron, mơ hình CNN, mơ hình RNN-LSTM, mơ hình LSTM-CNN - Xây dựng trang Web hỗ trợ lưu trữ thông tin trẻ, lưu trữ liệu tập huấn, luật ứng dụng chẩn đoán trẻ tự kỷ - Khi ca bệnh chẩn đoán thành công thêm vào nguồn liệu tập huấn, làm tăng tính xác q trình chẩn đoán - Xây dựng tập triệu chứng đưa vào mơ hình huấn luyện Tuy nhiên hạn chế mặt thời gian kiến thức nên luận văn cịn tồn số thiếu sót mà tác giả cịn phải tiếp tục nghiên cứu, tìm hiểu là: - Bộ liệu mẫu chủ yếu tác giả mua từ với mục đích học tập nghiên cứu, cần bổ sung thêm nguồn liệu mẫu từ chuyên gia uy tín lĩnh vực rối loạn phổ tự kỷ trẻ em - Mới cài đặt chương tình dựa cấu trúc mạng học sâu với mục đích học tập nghiên cứu, nhiên để ứng dụng vào thực tế cần liệu lớn thời gian nghiên cứu nhiều để hoàn chỉnh hệ thống Hướng phát triển đề tài Luận văn thực mục tiêu ban đầu đặt xây dựng thành cơng hệ thống hỗ trợ chẩn đốn bệnh tự kỷ, nhiên nhiều hạn chế Về lý thuyết: - Nghiên cứu mơ hình mạng học sâu hệ thống thông tin không đầy đủ, liệu liên tục không chắn Về thực nghiệm: - Cần bổ sung thêm liệu tập huấn để mô hình mạng học sâu có độ tin cậy cao hoạt động hiệu - Hỗ trợ việc liên kết với bác sĩ, nhà tâm lý học bệnh tự kỷ để tăng thêm tính chuẩn xác q trình chẩn đốn bệnh 52 - Tìm hiểu nhu cầu thực tế để từ cải tiến chương trình, cài đặt lại cấu trúc mạng học sâu nghiên cứu để làm việc tốt với sở liệu lớn 53 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Văn Siêm (2007), Tâm bệnh học trẻ em thiếu niên, Nhà xuất Đại học quốc gia Hà Nội [2] Nguyễn Minh Tiến (2005), Tổng quan tự kỷ, Nhà xuất Y học [3] Trung tâm nghiên cứu giáo dục chăm sóc trẻ em (2011), Những điều cần biết hội chứng tự kỷ, Nhà xuất Đại Học Sư Phạm [4] TS Phạm Toàn, BS Lâm Hiếu Minh (2014), Thấu hiểu hỗ trợ trẻ tự kỷ, Nhà xuất trẻ [5] Phạm Ngọc Thanh (2008), Cách tiếp cận trẻ có rối loạn phổ tự kỷ dựa cộng đồng Bệnh viện Nhi đồng 1, Bệnh tự kỷ trẻ em, Tài liệu hội thảo, tr 1-11 [6] Đỗ Thị Thảo (2010), Đánh giá trị liệu cho trẻ Tự kỷ trẻ khuyết tật phát triển (PEP-R), Tạp chí Khoa học số 8/2010, trang 23-24 [7] Bùi Cơng Cường, Nguyễn Doãn Phước (2001) Hệ mờ, mạng nơ-ron ứng dụng Nhà xuất Khoa học kỹ thuật Hà Nội Tiếng nước [8] Fabien Lauer, ChingY Suen, Gérard Bloch, “A trainable feature extractor for handwritten digit recognition”, Elsevier, october 2006 [9] Y LeCun and Y Bengio.“Convolutional networks for images, speech, and timeseries” In M A Arbib, editor, The Handbook of Brain Theory and Neural Networks MIT Press, 1995 [10] R.W Brause, “Medical Analysis by Neural Networks” in proceeding ISMDA ’01 proceeding of the Second International Symposium on Medical Data Analysis, 2001, pp 1-13 [11] R.W Brause, “Medical Analysis by Neural Networks” in proceeding ISMDA ’01 proceeding of the Second International Symposium on Medical Data Analysis, 2001, pp 1-13 [12] Xue-Wen Chen, Xiaotong Lin, 16 May 2014, “Big Data Deep Learning: Challenges and Perspectives” [13] Hochreiter and Schmidhuber (1997), Long short-term memory [14] B Liu (2009), Handbook Chapter: Sentiment Analysis and Subjectivity Handbook of Natural Language Processing Marcel Dekker, Inc New York, NY, USA [15] B.Liu (2015), Sentiment analysis: mining sentiments, opinions and emotions, Cambridge University Press, ISBN 9781107017894 [16] Kim Y Convolutional Neural Networks for Sentence Classification 2014; 54 Website [17] http://www.tuvantretuky.com [18] http://vov.vn/suc-khoe 55 56 57 58 59 60 61 62 63 64 ... vận dụng xây dựng hệ thống hỗ trợ dự đoán rối loạn phổ tự kỷ Từ kiến thức rối loạn phổ tự kỷ với kỷ thuật học sâu, tác giả đưa quy trình ứng dụng hệ thống mạng học sâu chẩn đốn rối loạn phổ tự kỷ. .. chương trình hỗ trợ chẩn đoán rối loạn phổ tự kỷ 2.2 Nội dung nghiên cứu - Tìm hiểu tổng quan rối loạn phổ tự kỷ - Nghiên cứu kỷ thuật học sâu để ứng dụng vào chẩn đoán rối loạn phổ tự kỷ - Phân... tự kỷ sớm Vì đề tài ? ?Ứng dụng kỹ thuật học sâu, xây dựng chương trình hỗ trợ chẩn đốn rối loạn phổ tự kỷ? ?? đề tài chọn để nghiên cứu Mục tiêu nội dung nghiên cứu 2.1 Mục tiêu Xây dựng chương trình