Hiện nay, Mặc dù hầu hết những người mắc COVID19 trở nên khỏe hơn chỉ trong vòng vài tuần kể từ khi nhiễm bệnh, tuy vậy, có một số người lại gặp phải các tình trạng hậu COVID19. Tác hại sau khi mắc COVID19 là một loạt các vấn đề về sức khỏe mới, chịu tác động rộng và sâu lên các cơ quan, bộ phận cơ thể. Ảnh hưởng đa cơ quan có thể ảnh hưởng đến nhiều hệ thống cơ thể, bao gồm tim, phổi, thận, da và não. Do những ảnh hưởng này, những người mắc COVID19 có thể tiến triển các tình trạng bệnh lý mới như bệnh tiểu đường, bệnh tim, huyết áp hoặc bệnh rối loạn thần kinh …Việc chăm sóc sức khỏe sau đại dịch là việc làm cần thiết, cấp bách với mọi người hơn bao giờ hết. Nắm bắt và hiểu được yêu cầu trên, chúng tôi phát triển ứng dụng theo dõi sức khỏe mang tên Raspberry Pi Health hướng tới đối tượng là người. Ứng dụng cho phép thu thập các thông số sức khỏe như nhịp tim, bước chân, calo… từ đó từ đó đưa ra thông tin tổng quan và cảnh báo cho người dùng về tình trạng sức khỏe hiện tại (có thể kể đến như cảnh báo về nhịp tim, …) để người dùng có sự điều chỉnh phù hợp, giảm nguy cơ mắc bệnh tim, cao huyết áp, cải thiện giấc ngủ, sức khỏe tinh thần,... giúp người dùng duy trì tập luyện và khỏe mạnh hơn, từ đó góp phần hình thành lối sống lành mạnh. Phần mềm với giao diện đơn giản, thân thiện với người dùng, có thể tích hợp với các ứng dụng khác
ĐẠI HỌC CÔNG NGHỆ KHOA CƠ HỌC KỸ THUẬT VÀ TỰ ĐỘNG HĨA BÁO CÁO MƠN HỌC Đồ án 01: Đồ án chuyên ngành Cơ điện tử HỆ THỐNG THEO DÕI VÀ CHĂM SÓC SỨC KHỎE BỆNH NHÂN ỨNG DỤNG TRÍ TUỆ NHÂN TẠO Sinh viên thực : Trần Nhật Tân – MSV: 19021108 – Lớp K64-M-CLC1 Nguyễn Tuấn Hiệp – MSV: 19021043 – Lớp K64-M-CLC1 Giảng viên hướng dẫn: PGS.TS Phạm Mạnh Thắng HÀ NỘI – 2022 MỤC LỤC Đặt vấn đề Tổng quan nội dung nghiên cứu .5 Xây dựng hệ thống theo dõi sức khỏe .6 3.1 Linh kiện sử dụng 3.1.1 Raspberry Pi 3.1.2 Thiết bị làm mát 3.1.3 Thiết bị chiếu sáng .7 3.2 Phần mềm theo dõi sức khỏe Raspberry Pi Health .8 3.2.1 Tổng quan hệ thống .8 3.2.2 Quá trình xử lý liệu sức khỏe 3.3 Hệ thống thu thập xử lý tín hiệu sóng não 11 3.3.1 Kết nối thiết bị EMOTIV Insight 11 3.3.2 Q trinh xử lý tín hiệu sóng não 11 3.3.3 Phân loại tín hiệu 12 3.4 Thu thập xử lý liệu với Raspberry Pi 15 Thiết kế giao diện người dùng 17 4.1 Xây dựng giao diện người dùng JavaScript 17 4.2 Thiết kế giao diện người dùng HTML, CSS 19 4.2.1 Giao diện đăng ký tài khoản người dùng 19 4.2.2 Giao diện hiển thị thông số liệu sức khỏe 20 4.3 Truy cập liệu đa tẳng trực tuyến 21 Kết 21 Kết luận 21 Đặt vấn đề Hiện nay, Mặc dù hầu hết người mắc COVID-19 trở nên khỏe vòng vài tuần kể từ nhiễm bệnh, vậy, có số người lại gặp phải tình trạng hậu COVID-19 Tác hại sau mắc COVID-19 loạt vấn đề sức khỏe mới, chịu tác động rộng sâu lên quan, phận thể Ảnh hưởng đa quan ảnh hưởng đến nhiều hệ thống thể, bao gồm tim, phổi, thận, da não Do ảnh hưởng này, người mắc COVID-19 tiến triển tình trạng bệnh lý bệnh tiểu đường, bệnh tim, huyết áp bệnh rối loạn thần kinh …Việc chăm sóc sức khỏe sau đại dịch việc làm cần thiết, cấp bách với người hết Nắm bắt hiểu yêu cầu trên, phát triển ứng dụng theo dõi sức khỏe mang tên Raspberry Pi Health hướng tới đối tượng người Ứng dụng cho phép thu thập thông số sức khỏe nhịp tim, bước chân, calo… từ từ đưa thông tin tổng quan cảnh báo cho người dùng tình trạng sức khỏe (có thể kể đến cảnh báo nhịp tim, …) để người dùng có điều chỉnh phù hợp, giảm nguy mắc bệnh tim, cao huyết áp, cải thiện giấc ngủ, sức khỏe tinh thần, giúp người dùng trì tập luyện khỏe mạnh hơn, từ góp phần hình thành lối sống lành mạnh Phần mềm với giao diện đơn giản, thân thiện với người dùng, tích hợp với ứng dụng khác 2 Tổng quan nội dung nghiên cứu Hệ thống theo dõi sức khỏe theo thời gian thực Raspberry Pi Health thực lấy liệu thông qua điện thoại di động cá nhân cập nhật lên giao diện người dùng theo thời gian thực Các thông số sức khỏe Raspberry Pi Health xử lý bao gồm : lượng calo tiêu thụ, khoảng cách di chuyển, nhịp tim, số bước chân, thời gian di chuyển tốc độ di chuyển trung bình Các liệu cập nhật lên giao diện người dùng theo thời gian thực Ta theo dõi liệu đâu thông qua website nhà phát triển cung cấp Bên cạnh việc theo dõi hiển thị liệu sức khỏe người dùng, hệ thống thực cảnh báo, nhắc nhở sức khỏe người dùng không ổn định (Nhịp tim tăng mức cho phép ) thông qua việc gửi email cảnh báo đến người dùng bác sĩ cá nhân Với mục tiêu đem lại nhìn tổng thể sức khỏe tiến triển khách quan hoạt động luyện tập người dùng – giảm thiểu việc dựa dẫm vào ứng dụng khác thêm điểm nhiều hoạt động khác lúc 3 Xây dựng hệ thống theo dõi sức khỏe 3.1 Linh kiện sử dụng 3.1.1 Raspberry Pi u cầu: • Thuật tốn điều khiển đơn giản, dễ lập trình • Cấu trúc mạch điều khiển dễ thiết kế, đáp ứng thời gian phản hồi, xử lý phát tín hiệu điều khiển Điều khiển phân cấp: • Ưu điểm: Giảm khối lượng xử lý tín hiệu vi điều khiển, vi điều khiển thực nhiệm vụ riêng • Nhược điểm: Phân bố, thiết kế mạch phức tạp, thời gian đáp ứng chậm dùng chuẩn truyền Điều khiển tập trung: • Ưu điểm: Đơn giản phân bố, thiết kế mạch, thời gian đáp ứng xử lý tín hiệu nhanh, khơng cần dùng chuẩn truyền liệu • Nhược điểm: Một vi điều khiển làm nhiều nhiệm vụ dẫn đến tượng tải Hình Raspberry Pi 3.1.2 Thiết bị làm mát Quản tản nhiệt mô thiết bị làm mát hệ thống Hình Quạt tản nhiệt 3.1.3 Thiết bị chiếu sáng Ở nhóm sử dụng đèn mini LED loại nhỏ để minh hoa cho chức điều khiển thiết bị chiếu sáng Hình LED 3.2 Phần mềm theo dõi sức khỏe Raspberry Pi Health 3.2.1 Tổng quan hệ thống Hệ thống thu thập liệu sức khỏe bệnh nhân dựa API Google tín hiệu sóng não từ thiết bị đeo EMOTIV Insight Dữ liệu xử lý thiết bị Raspberry Pi sau cập nhật lên sở liệu Firebase Ngoài hệ thống bao gồm giao diện theo dõi sức khỏe trực quan xây dựng dựa ngơn ngữ HTML, CSS, JavaScript Hệ thống có chức cảnh báo có tín hiệu bất thường liệu sức khỏe bệnh nhân hỗ trợ bệnh nhân tác vụ hàng ngày bật tắt thiết bị chiếu sang điều khiển thiết bị làm mát phịng Hình Tổng quan hệ thống 3.2.2 Quá trình xử lý liệu sức khỏe Bước 1: Đồng liệu sức khỏe từ Apple Health lên Google Fit, liệu bao gồm liệu theo thời gian thực liệu hiển thị đo nhịp tim Bước 2: Thu thập xử lý liệu với Raspberry Pi Dữ liệu sức khỏe thu thập cập nhật lên Firebase 10 giây Bước 3: Hiển thị thông tin sức khỏe đồng từ Firebase giao diện người dùng Bước 4: Gửi email cảnh báo có nhịp tim khơng ổn định Hình Đồng liệu sức khỏe từ Apple Health lên Google Fit Các liệu đồng lên Google Fit bao gồm liệu theo thời gian thực cập nhật liên tục liệu đo lần gần Cụ thể thông số đồng theo thời gian thực bao gồm: • • • • • Lượng calo tiêu hao trinh vận động thể chất Khoảng cách di chuyển ngày Số bước chân di chuyển Thời gian di chuyển hay thời gian ngoai thời gian điều trị bệnh Tốc độ di chuyển trung bình Các liệu cập nhật liên tục lên Google Fit Ngoài liệu theo dõi nhịp tim cập nhật theo lần đo gần đồng lên Google Fit người dùng xác nhận kết đo Hình Đồng liệu sức khỏe từ Apple Health lên Google Fit 3.3 Hệ thống thu thập xử lý tín hiệu sóng não 3.3.1 Kết nối thiết bị EMOTIV Insight Hình Đồng liệu sức khỏe từ Apple Health lên Google Fit 3.3.2 Quá trinh xử lý tín hiệu sóng não • Bước 1: Thu thập tín hiệu sóng não từ thiết bị EMOTIV Insight Dữ liệu bao gồm tín hiệu Mental Command Performance Metrics • Bước 2: Thu thập xử lý liệu với Raspberry Pi liên tục thời gian bệnh nhân sử dụng thiết bị • Bước 3: Phân tích xử lý tín hiệu điều khiển thiết bị hỗ trợ 3.3.3 Phân loại tín hiệu Tín hiệu Mental Command EMOTIV mang đến hội cho người dùng tạo thực số Lệnh Tâm trí Để cung cấp tính quán phạm vi đơn giản hành động có thể, hồ sơ người dùng chứa khơng gian cho liệu đào tạo cho tối đa 15 lệnh khác nhau, gắn nhãn nội COMMAND1 đến COMMAND15 Mỗi khe LỆNH lưu trữ nhãn (ví dụ: Push, Disappear, Fire Wind) liên kết đến hoạt ảnh tùy chỉnh thực thi Trung tâm điều khiển Emotiv Insight hỗ trợ hoạt ảnh cho Push, Pull, Lift, Drop, … Tuy nhiên nhà phát triển tự xác định lệnh riêng họ cho ứng dụng Hình Đồng liệu sức khỏe từ Apple Health lên Google Fit Q trình huấn luyện mơ hình Các liệu lưu tài khoản cá nhân mã định danh xác định Quá trinh huấn luyện thu nhận tín hiệu sóng não người dùng dựa cảm biến chạm vào vung vỏ não Thời gian cho lần huấn luyện 10 giây Hình Đồng liệu sức khỏe từ Apple Health lên Google Fit Tùy vào cường độ tín hiệu mà độ chinh xác trinh huấn luyện bị ảnh hưởng Tín hiệu Performance Metrics Hình 10 Đồng liệu sức khỏe từ Apple Health lên Google Fit EMOTIV cung cấp sáu thước đo hoạt động tinh thần, bắt nguồn trực tiếp từ hoạt động tinh thần bạn Mỗi biện pháp tự động chia tỷ lệ cho phù hợp với phạm vi bình thường mức điều kiện – hệ thống tìm hiểu trạng thái khả thông thường bạn cung cấp giá trị điều chỉnh cho thấy hiệu suất tương đối bạn trường hợp, so với hành vi tổng thể Căng thẳng (Stress) thước đo mức độ thoải mái với thử thách Căng thẳng cao độ khơng thể hồn thành nhiệm vụ khó khăn, cảm thấy chống ngợp lo sợ hậu tiêu cực không đáp ứng yêu cầu nhiệm vụ Nói chung, mức độ căng thẳng từ thấp đến trung bình cải thiện suất, mức độ cao có xu hướng phá hoại gây hậu lâu dài cho sức khỏe phúc lợi Tập trung (FOC) thước đo ý cố định vào nhiệm vụ cụ thể Tiêu điểm đo mức độ ý tần suất mà ý chuyển đổi tác vụ Mức độ chuyển đổi nhiệm vụ cao dấu hiệu tập trung tập trung Thư giãn (MED) thước đo khả tắt phục hồi sau tập trung cao độ Những người tập thiền đào tạo đạt điểm thư giãn cực cao 3.4 Thu thập xử lý liệu với Raspberry Pi Dữ liệu sau đồng lên Google Fit thu thập xử lý thông qua Raspberry Pi Nhiệm vụ cụ thể Raspberry Pi thu thập liệu từ ứng dụng Google Fit thông qua API Dữ liệu thu thập lưu trữ dạng file JSON Hình 11 Thu thập xử lý liệu với Raspberry Pi Dữ liệu sau thu thập tải lên sở liệu theo thời gian thực Firebase (Real-time database) thơng qua API Hình 12 Thu thập xử lý liệu với Firebase qua Raspberry Pi Thiết kế giao diện người dùng 4.1 Xây dựng giao diện người dùng JavaScript Dữ liệu sau tải lên sở liệu Firebase xử lý hiển thị giao diện web thông qua API Trên thực tế, liệu theo thời gian thực cập nhật 10 giây sau gửi lên sở liệu Firebase Đối với liệu hiển thị nhịp tim cập nhật với thời gian đo gần lên giao diện Sau phân tích liệu, hệ thống gửi cảnh báo đến người dùng trạng thái sức khỏe không ổn định Cụ thể ta thấy trạng thái nhịp tim vượt ngưỡng cho phép, hệ thống thực cảnh báo qua còi đồng thời gửi email đến người dùng Hình 13 Sơ đồ cảnh báo người dùng trạng thái sức khỏe không ổn định Hệ thống gửi thông báo đến địa hộp thư người thân bệnh nhân thay đổi bất thường tinh trạng sức khỏe bệnh nhân Hình 14 Email cảnh báo người dung Thuật toan điều khiển Hình 15 Thuật toán email cảnh báo người dùng 4.2 Thiết kế giao diện người dùng HTML, CSS Giao diện website xây dựng bao gồm phần sau: Giao diện đăng ký tài khoản người dùng, giao diện đăng nhập giao diện hiển thị thông số liệu sức khỏe 4.2.1 Giao diện đăng ký tài khoản người dùng Hình 16 Giao diện đăng ký đăng nhập tài khoản người dung 4.2.2 Giao diện hiển thị thơng số liệu sức khỏe Hình 17 Giao diện người dùng thực tế Hình 18 Giao diện tối màu Các giao diện thiết kế ngôn ngữ lập trình HTML CSS 4.3 Truy cập liệu đa tẳng trực tuyến Kết Trong đồ án nhôm nghiên cứu xây dựng thành công hệ thống theo dõi hỗ trợ sức khỏe bệnh nhân, phát triển hệ thống theo dõi sức khỏe dựa hệ thống ban đầu bổ sung thêm tinh năng: • Thu thập xử lý tín hiệu điện não dựa thiết bị EMOTIV Insight bao gồm tín hiệu Mental Command Performance Metric • Ứng dụng tín hiệu Internet of Things để điều khiển thiết bị ngoại vi bao gồm điều khiển bóng đèn sang phịng bật thiết bị làm mát • Nâng cấp giao diện người dùng, truy cập trực tuyến thiết bị di động, máy tinh xách tay máy tinh bảng • Cập nhật liệu theo thời gian thực nhiều bệnh nhân lên sở liệu sức khỏe lưu trữ tảng Firebase Kết luận Việc nghiên cứu ứng dụng công nghệ Internet of Things, Artificial Intelligence linh vực chăm sóc sức khỏe bệnh nhân ngày căng phát triển quan tâm nhiều Điều giúp nâng cao chất lượng sống dịch vụ, tiện tích cơng cộng, góp phần phát triển kinh tế, xã hội Trong tương lai, với phát triển cơng nghệ, linh vực chăm sóc sức khỏe đóng vai trị quan trọng phát triển mạnh Nhóm nghiên cứu tiếp tục phát triển hoàn thiện hệ thống ... Kết Trong đồ án nhôm nghiên cứu xây dựng thành công hệ thống theo dõi hỗ trợ sức khỏe bệnh nhân, phát triển hệ thống theo dõi sức khỏe dựa hệ thống ban đầu bổ sung thêm tinh năng: • Thu thập xử... liệu Firebase Ngoài hệ thống bao gồm giao diện theo dõi sức khỏe trực quan xây dựng dựa ngơn ngữ HTML, CSS, JavaScript Hệ thống có chức cảnh báo có tín hiệu bất thường liệu sức khỏe bệnh nhân hỗ... .7 3.2 Phần mềm theo dõi sức khỏe Raspberry Pi Health .8 3.2.1 Tổng quan hệ thống .8 3.2.2 Quá trình xử lý liệu sức khỏe 3.3 Hệ thống thu thập xử lý tín hiệu