Ứng dụng thị giác máy tính theo dõi nhịp thở

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA - NGUYỄN THỊ MỸ THANH ỨNG DỤNG THỊ GIÁC MÁY TÍNH THEO DÕI NHỊP THỞ COMPUTER VISION BASED RESPIRATORY RATE MONITORING SYSTEM Chuyên ngành: Kỹ thuật điều khiển Tự động hóa Mã số : 8520216 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 01 năm 2023 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : TS Phạm Việt Cường Cán chấm nhận xét :TS Nguyễn Vĩnh Hảo Cán chấm nhận xét :PGS.TS Lê Mỹ Hà Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 11 tháng 01 năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Chủ tịch: PGS.TS Nguyễn Tấn Lũy Phản biện 1: TS Nguyễn Vĩnh Hảo Phản biện 2: PGS.TS Lê Mỹ Hà Ủy viên: TS Nguyễn Ngọc Sơn Thư ký: TS Nguyễn Trọng Tài Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN-ĐIỆN TỬ ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Thị Mỹ Thanh MSHV: 2070156 Ngày, tháng, năm sinh: 28/07/1993 Nơi sinh: Bình Dương Chuyên ngành: Kỹ thuật Điều khiển Tự động hóa Mã số : 8520216 I TÊN ĐỀ TÀI: Ứng dụng thị giác máy tính theo dõi nhịp thở Computer vision based respiratory rate monitoring system NHIỆM VỤ VÀ NỘI DUNG: − Theo dõi nhịp thở ngủ trẻ em người lớn để phát hiện tượng ngưng thở việc theo dõi chuyển động video thông qua khung ảnh Kết hợp sử dụng mạng thần kinh nhân tạo để xác định đối tượng thuật tốn thị giác máy tính trích xuất đặc trưng, theo dõi chuyển động, giảm chiều liệu để giải toán − Đánh giá độ ổn định hệ thống thay đổi vị trí đối tượng giường ngủ, khoảng cách từ đối tượng đến camera, ánh sáng ngày đêm, tác động bên quạt, chăn mền − Sử dụng phương pháp quan sát trực quan để đánh giá hệ thống kết nhịp thở dự đoán từ phương pháp nhịp thở thực tế đối tượng II NGÀY GIAO NHIỆM VỤ : 05/09/2022 III NGÀY HOÀN THÀNH NHIỆM VỤ: 18/12/2022 IV.CÁN BỘ HƯỚNG DẪN : TS Phạm Việt Cường Tp HCM, ngày tháng năm 2023 i CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ (Họ tên chữ ký) ii LỜI CẢM ƠN Để hoàn thành luận văn, với nỗ lực thân, nhận hỗ trợ giúp đỡ nhiều người Đầu tiên, chân thành cảm ơn cán hướng dẫn, TS Phạm Việt Cường Luận văn hồn thành khơng có hướng dẫn Thầy Những ý kiến chuyên môn Thầy giúp triển khai tốt nội dung nghiên cứu, góp ý chỉnh sửa nội dung báo cáo giúp tơi hồn thiện mặt hình thức kỹ trình bày Tơi cảm ơn Trường Đại Học Bách Khoa, phòng Đào tạo sau đại học tất Giảng viên môn học truyền đạt kiến thức chuyên môn, làm tảng vững cho nghiên cứu nghiên cứu tương lai Tôi cảm ơn Trường Đại Học Quốc Tế Miền Đông, Khoa Kỹ Thuật tạo điều kiện mặt thời gian để tơi tham gia đầy đủ khóa học cao học Tơi cảm ơn Thầy, Cô, anh, chị, em đồng nghiệp cho tơi lời khun hữu ích q trình học làm luận văn Hơn hết, gửi lời cảm ơn sâu sắc đến chồng, anh Nguyễn Thành Ngọc, gái Nguyễn Ngọc Thanh An Anh phía sau động viên, khích lệ chăm sóc gia đình để em tập trung cho việc học Con gái mẹ ngoan, làm động lực để mẹ cố gắng nỗ lực ngày Mẹ yêu ba gái Do hạn chế mặt thời gian, kiến thức kinh nghiệm nên luận văn nhiều thiếu sót Tơi mong nhận góp ý Thầy, Cơ hội đồng đánh giá để phát triển kết giai đoạn nghiên cứu iii TÓM TẮT LUẬN VĂN Nhịp thở đột ngột bất thường ngưng thở báo hiệu nguy hiểm, đặc biệt ngủ trẻ sơ sinh người có nguy đột quỵ Các phương pháp theo dõi nhịp thở không tiếp xúc phù hợp cho việc theo dõi nhịp thở nhà, không gây thoải mái sinh hoạt, phù hợp theo dõi trẻ sơ sinh người có bệnh lý Luận văn đề xuất phương pháp theo dõi nhịp thở không tiếp xúc ứng dụng thị giác máy tính nhằm phát hiện tượng ngưng thở ngủ trẻ sơ sinh người có nguy đột quỵ Luận văn giải tốn theo dõi chuyển động nhỏ góc ảnh lớn cách kết hợp thuật toán xử lý ảnh tảng ngôn ngữ Python Khu vực ảnh hưởng trực tiếp hoạt động hô hấp xác định YOLOv4 Các điểm đặc trưng hô hấp trích xuất theo dõi phương pháp Dịng quang học (Optical flow) Phân tích thành phần (PCA) Nhịp thở số lần biên độ tín hiệu thở đạt đỉnh phút Kết thực nghiệm cho thấy hệ thống phát hiện tượng ngưng thở, nhịp thở người bình thường đo có sai số nhỏ nhịp thở/ phút (10%) trẻ sơ sinh, nhịp thở/ phút (5%) người lớn Kết đóng góp tích cực việc ứng dụng khoa học kỹ thuật đại vào lĩnh vực chăm sóc sức khỏe ABSTRACT Sudden abnormal breathing or sleep apnea is dangerous signal, especially sleep breathing in infants and people at risk of stroke Non-contact breathing monitoring method is suitable for home breathing monitoring, without causing discomfort in daily life This thesis proposes a non-contact breathing monitoring method using computer vision to determine sleep apnea phenomenon of infants and people at risk of stroke while sleeping The thesis solves the problem of tracking small movements in frames with large angle of view by combining image processing algorithms based on Python language Areas of direct influence of respiratory activity were determined using YOLOv4 The respiratory feature points were extracted and monitored using Optical flow and Principal Component Analysis (PCA) The respiratory rate is the time difference between two consecutive peaks of the breath signal Experimental results show that the measurement error is less than breaths/minute (10%) for infants, breath/minute (5%) for adults Although it is still limited in the effectiveness of object identification, measuring under infrared light or not being able to monitor the breathing rate of people at the same time The thesis has solved the problem of tracking small movements in frames with large angle of view in real time, making a positive contribution to the application of modern science and technology to the field of healthcare iv LỜI CAM ĐOAN CƠNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH Tơi xin cam đoan cơng trình nghiên cứu riêng tơi hướng dẫn khoa học TS Phạm Việt Cường, nội dung nghiên cứu, kết đề tài trung thực chưa cơng bố hình thức trước Những số liệu bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá tác giả thu thập từ mô thực nghiệm thân thực Ngồi ra, luận văn này, tác giả có tham khảo số tài liệu ngồi nước, tất có ghi cụ thể Nếu phát có gian lận tơi xin chịu hồn tồn trách nhiệm nội dung luận văn Trường Đại học Bách khoa thành phố Hồ Chí Minh khơng liên quan đến vi phạm tác quyền, quyền gây q trình thực (nếu có) TP Hồ Chí Minh, ngày tháng năm 2023 Nguyễn Thị Mỹ Thanh v MỤC LỤC Chương MỞ ĐẦU 1.1 Lý chọn đề tài 1.2 Mục tiêu nhiệm vụ đề tài 1.3 Đối tượng phạm vi nghiên cứu 1.4 Ý nghĩa đề tài 1.5 Tình hình nghiên cứu công bố 1.6 Cấu trúc luận văn Chương CƠ SỞ LÝ THUYẾT 11 2.1 Nhận dạng vật thể 11 2.1.1 Convolutional Neural Network-CNN 11 2.1.2 YOLO 13 2.2 Theo dõi chuyển động 16 2.2.1 Điểm đặc trưng 16 2.2.2 Thuật toán Lucas-Kanade việc theo dõi chuyển động 18 2.3 Kỹ thuật phân tích thành phần (PCA) 20 Chương QUÁ TRÌNH THỰC HIỆN 25 3.1 Cấu trúc hệ thống 26 3.1.1 Lắp đặt camera 27 3.1.2 Yêu cầu đối tượng 28 3.1.3 Trung tâm xử lý 29 3.2 Giải thuật theo dõi nhịp thở 30 3.2.1 Xác định đối tượng khu vực xảy nhịp thở 31 3.2.2 Trích xuất theo dõi chuyển động 34 3.2.3 Đo nhịp thở 41 3.3 Phương pháp đánh giá 43 3.3.1 Phương pháp đo trực quan 44 3.3.2 Đánh giá sai số 44 Chương KẾT QUẢ VÀ ĐÁNH GIÁ 46 4.1 Kết nhận dạng đối tượng YOLOv4 46 4.2 Kết đo nhịp thở trẻ em 48 vi 4.2.1 Môi trường ban ngày 48 4.2.2 Môi trường ban đêm 50 4.2.3 Giả ngưng thở 52 4.2.4 Đánh giá 53 4.3 Kết đo nhịp thở người lớn 55 4.3.1 Môi trường ban ngày 55 4.3.2 Môi trường ban đêm 57 4.3.3 Giả ngưng thở 59 4.3.4 Đánh giá 59 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 62 5.1 Kết luận 62 5.2 Đóng góp 63 5.3 Hạn chế 64 5.4 Hướng phát triển 65 Danh mục tài liệu tham khảo 67 PHỤ LỤC 71 vii DANH SÁCH HÌNH ẢNH Hình 1.1 Tỷ lệ tử vong trẻ sơ sinh, Mỹ, 1990-2016 [1] Hình 1.2 Ý nghĩa đề tài đời sống y học lâm sàng Hình 1.3 Phương pháp đo nhịp thở có tiếp xúc [14] Hình 1.4 Khung hình ảnh đầu vào nghiên cứu trước [13][21] Hình 1.5 Sơ đồ tổng quan hướng giải đề tài Hình 1.6 Cấu trúc luận văn 10 Hình 2.1 Sơ đồ mạng CNN [25] 11 Hình 2.2 Cách hoạt động lớp tích chập 12 Hình 2.3 Max Pooling với lọc 2x2 stride [25] 13 Hình 2.4 So sánh YOLOv4 phương pháp xác đính đối tượng khác [27] 14 Hình 2.5 Vùng đặc trưng góc từ λ1 λ2 [30] 18 Hình 2.6 Vector dịng quang học 19 Hình 3.1 Sơ đồ cấu trúc hệ thống 26 Hình 3.2 Góc lắp đặt camera so với hướng di chuyển hô hấp 27 Hình 3.3 Mơ góc lắp đặt camera hướng đến đối tượng 27 Hình 3.4 Áo có họa tiết tương phản 28 Hình 3.5 Cách xác định điểm đặc trưng 28 Hình 3.6 Hình ảnh đối tượng ánh sáng hồng ngoại 29 Hình 3.7 Sơ đồ khối trình theo dõi nhịp thở 30 Hình 3.8 Kiến trúc mạng YOLOv4-tiny [36] 31 Hình 3.9 Tập liệu ảnh dùng để huấn luyện mạng YOLOv4 32 Hình 3.10 Tín hiệu nhịp thở khung hình gốc khung hình phóng to đối tượng 33 Hình 3.11 Trích xuất khu vực thở mạng YOLOv4 33 Hình 3.12 Sơ đồ khối quy trình trích xuất theo dõi nhịp thở 34 Hình 3.13 Các điểm đặc trưng tìm thấy ảnh 35 Hình 3.14 Chênh lệch tọa độ di chuyển hơ hấp theo thời gian 36 Hình 3.15 Độ di chuyển điểm đặc trưng sau áp dụng PCA 38 Hình 3.16 Tín hiệu hơ hấp 39 Hình 3.17 Tín hiệu nhịp thở với tốc độ 20fps 4fps 40 Hình 3.18 Tín hiệu thở trước sau lọc 41 Hình 3.19 Đỉnh biên độ tín hiệu hô hấp 42 Hình 3.20 Màn hình hiển thị kết theo dõi nhịp thở 43 Hình 3.21 Màn hình hiển thị kết ngưng thở 43 Hình 4.1 Kết huấn luyện mạng YOLOv4 47 Hình 4.2 Kết nhận dang đối tượng YOLOv4 47 Hình 4.3 Các trường hợp ngủ trẻ môi trường ban ngày 49 Hình 4.4 Các trường hợp ngủ trẻ môi trường ban đêm 51 Hình 4.5 Biên độ tín hiệu thở sử dụng chăn, không sử dụng chăn ngưng thở 52 Hình 4.6 Kết giả ngưng thở trẻ sơ sinh 53 viii Sai số đo đối tượng nằm sấp cao trường hợp khác dãn nở lồng ngực bị che khuất Mặc dù vậy, kết đo đạt kết tốt với sai số 0.6 nhịp/phút Dễ nhìn thấy, co giãn lồng ngực bị nén nằm làm thân thể bị nâng lên hạ xuống theo nhịp thở, từ đó, điểm đặc trưng tồn phần lưng đối tượng di chuyển theo, dao động thở trích xuất rõ ràng Độ xác phương pháp chủ yếu bị ảnh hưởng tư nằm, không ảnh hưởng môi trường sáng – tối Giống trẻ sơ sinh, độ xác phương pháp kiểm tra trường hợp không đắp chăn cao trường hợp lại, nằm sấp độ xác giảm (Hình 4.13) 100.00 99.00 98.00 97.00 96.00 95.00 94.00 Chăn Không quạt Ngày Quạt Nằm sấp Đêm Hình 4.13 Độ xác so sánh trường hợp đo người lớn môi trường ngày đêm So sánh nhịp thở người lớn trẻ sơ sinh Hình 4.14 thể độ xác theo dõi nhịp thở trung bình trường hợp trẻ sơ sinh người lớn Độ xác theo dõi nhịp thở người lớn cao trẻ em, trừ trường hợp nằm sấp Phần hình ảnh người lớn chiếm diện tích lớn khung hình đầu vào, từ độ di chuyển thể hô hấp gây lớn so với trẻ sơ sinh, kết theo dõi nhịp thở tốt Đối với trường hợp nằm sấp, trọng lượng thể người lớn lớn nhiều so với trẻ sơ sinh làm cho tác động lên xuống hô hấp gây bị giảm 60 100.00 98.00 96.00 94.00 92.00 90.00 Chăn Không quạt Trẻ sơ sinh Quạt Nằm sấp Người lớn Hình 4.14 Độ xác nhịp thở trẻ sơ sinh người lớn Pixel 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 10 15 Người lớn 20 25 30 Trẻ sơ sinh 35 Giây Hình 4.15 Biên độ dao động thở người lớn trẻ sơ sinh 61 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Ngưng thở ngủ dấu hiệu lâm sàng nguy hiểm ảnh hưởng trực tiếp đến tính mạng người không phát cấp cứu kịp thời, đặc biệt nhóm người có nguy cao trẻ sơ sinh người có nguy đột quỵ Việc theo dõi nhịp thở liên tục ngủ giúp ngăn ngừa, cấp cứu cho đối tượng kịp thời giảm áp lực cho người chăm sóc Các phương pháp đo nhịp thở ngủ chưa đủ bao quát để đo nhịp thở nhiều trường hợp khác nhau, đặc biệt chưa phù hợp với môi trường ngủ Việt Nam Luận văn phát triển phương pháp đo nhịp thở sử dụng thị giác máy tính cách sử dụng mơ hình học sâu, mạng nơ-ron nhân tạo kết hợp với nhiều thuật toán xử lý ảnh để theo dõi chuyển động video Quá trình thực kết trình bày chương chương Mặc dù hệ thống thành công việc đo nhịp thở nhiều trường hợp khác tạo nên hạn chế Chương đưa kết luận tổng quan nội dung luận văn, sau trình bày đóng góp mà luận văn mang lại cho khoa học, đời sống y học, đồng thời nêu hạn chế hướng phát triển đề tài Việc sử dụng mạng thần kinh nhân tạo, độ lớn vị trí đối tượng (bounding box) khung ảnh xác định [38] Khu vực bên bounding box phóng to trước đưa vào thuật toán xử lý ảnh Điều giúp phóng to thay đổi nhịp thở gây khu vực xảy dao động thở (vùng ngực – bụng) Việc phóng to khu vực chứa đặc trưng thở giúp quan sát rõ khác biệt hoạt động hô hấp xảy Mạng YOLOv4 với tốc độ xử lý thời gian thực (real time) đáp ứng yêu cầu thời gian [38] Bài toán theo dõi chuyển động đối tượng video giải việc kết hợp thuật toán theo dõi vật thể (object tracking) [23] Đầu tiên việc sử dụng 62 luồng quang học [32] để theo dõi điểm đặc trưng từ kỹ thuật tìm góc đặc trưng Shi-Tomasi [37] Tọa độ điểm đặc trưng thông qua khung ảnh xác định thơng qua thuật tốn luồng quang học (optical flow) [32] Chênh lệch tọa độ điểm khung hình, di chuyển hơ hấp, xử lý PCA [34] để xác định chiều chuyển động hô hấp Luận văn thực nghiệm đo nhịp thở ngủ cho trẻ sơ sinh người lớn Kết theo dõi nhịp thở cho thấy sai số tuyệt đối phương pháp nhịp thở/phút, sai số tương đối 3% Độ xác giữ ổn định tư ngủ, khoảng cách, ánh sáng khác Hình 5.1 Kết tổng quát trình theo dõi nhịp thở Đối với đời sống, việc theo dõi nhịp thở dễ dàng thực nhà riêng, tạo thoải mái cho người tham gia, giảm chi phí điều trị giảm áp lực chăm sóc cho người bảo hộ Phương pháp đo nhịp thở không tiếp xúc giải hạn chế phương pháp có tiếp xúc Đeo kháng trở ngực, cảm biến, thiết bị điện tử người liên tục gây khó chịu, khó cử động, đặc biệt gây khó chịu, kích ứng da dễ làm trẻ sơ sinh quấy khóc Phương pháp luận văn sử dụng camera giám sát thông thường, dễ lắp đặt, chi phí thấp 63 Đối với y học, luận văn ứng dụng công nghệ kỹ thuật tiên tiến vào việc chăm sóc sức khỏe Đây xu hướng phát triển khoa học đại Phương pháp kết mở rộng tiềm cho nghiên cứu việc theo dõi sức khỏe hình thức khơng tiếp xúc Việc theo dõi sức khỏe khơng cịn bó buộc phạm vi sở y tế nguồn nhân lực có kiến thức y học Đối với khoa học, luận văn giải quyến toán theo dõi chuyển động nhỏ khung hình có góc ảnh lớn đáp ứng thời gian thực Phương pháp đề xuất ứng dụng mơ hình trí tuệ nhân tạo kết hợp kỹ thuật xử lý ảnh để phóng to khu vực có chuyển động nhỏ video, sau tiến hành trích xuất theo dõi điểm đặc trưng chứa dao động hô hấp Kết nghiên cứu đề tài trình bày hội nghị khoa học gồm: − "Hội nghị Nghiên cứu Khoa học Trường Đại học Quốc tế Miền Đông lần thứ nhất, năm 2022", với chủ đề báo “Respiratory rate monitoring during sleep using camera”[39] (Theo dõi nhịp thở ngủ sử dụng camera) Hội nghị diễn vào ngày 14/12/2022 trước tiểu ban “Kỹ Thuật” − Hội nghị quốc tế “9th International Conference in Vietnam on the Development of Biomedical Engineering (BME9)” năm 2022, với nội dung báo cáo “Computer vision-based breathing rate detection for infant and people at risk of strokeBME9”[40] (Phát nhịp thở dựa thị giác máy tính trẻ sơ sinh người có nguy đột quỵ) Hội nghị diễn vào ngày 27-29 tháng 12/2022 phiên “Medical Instrumentations” (thiết bị đo y tế) Mặc dù luận văn thành công đưa phương pháp đo nhịp thở ngủ trẻ sơ sinh người lớn có nguy đột quỵ Tuy nhiên hạn chế mặt thời gian, kết nghiên cứu cịn hạn chế sau: - Mơ hình mạng YOLO chưa phân biệt xác đối tượng trẻ sơ sinh hay người lớn Hạn chế số lượng liệu huấn luyện cịn ít; hình ảnh 64 chưa có đa dạng màu sắc, kích thước, vị trí Thu thập thêm đa dạng liệu huấn luyện việc làm cần thiết để nâng cao kết - Thuật toán thực đo nhịp thở người khung hình thu Khi có đối tượng nằm ngủ gần nhau, thuật toán chưa đưa kết luận nhịp thở cho người riêng biệt Thực tế, kết thuật toán YOLOv4 đưa kết nhãn, vị trí kích thước đường bao đối tượng Việc trích xuất theo dõi chuyển động đường bao (bounding box) đối tượng thực riêng biệt Hiệu hướng giải phụ thuộc vào kết nhận dạng đối tượng Theo dõi nhịp thở phương pháp không tiếp xúc xu hướng khoa học kỹ thuật y học đại Luận văn nghiên cứu ban đầu chứng minh tính cấp thiết, ý nghĩa khoa học, tính khả thi cho việc kết hợp triển khai nhiều thuật toán khác để theo dõi nhịp thở ứng dụng thị giác máy tính Kết thực nghiệm cho thấy phương pháp có nhiều tiềm để phát triển giai đoạn Từ hạn chế tại, thuật toán điều chỉnh thay đổi, phát triển để kết theo dõi nhịp thở trở nên tốt Đầu tiên mơ hình xác định đối tượng sử dụng YOLOv4 tối ưu cách tăng cường liệu huấn luyện Kết thực nghiệm cho thấy việc phân lớp (classes) mơ hình mạng YOLO khơng thật cần thiết việc xác định đối tượng trẻ sơ sinh hay người lớn xác định ban đầu Do đó, mơ hình nhận dạng có hay khơng có đối tượng phóng đại khu vực đối tượng, không nhận dạng cụ thể đối tượng Sau đó, kết hợp thêm nhiều kỹ thuật xử lý ảnh tốt để kết trích xuất theo dõi đặc trưng tốt điều kiện thiếu sáng (ban đêm) Tiếp theo triển khai mơ hình theo dõi nhịp thở người lúc Phát triển luận văn thành thiết bị theo dõi nhịp thở dễ dàng lắp đặt, khởi động di chuyển nhiều ngữ cảnh khác nhau, không tư nằm mà tư ngồi Luận văn đến tập trung giải toán theo dõi chuyển động video 65 đáp ứng thời gian thực tảng ngơn ngữ Python Hệ thống địi hỏi người vận hành thao tác máy tính Tín hiệu nhịp thở ngõ chưa xuất bên kết nối với thiết bị âm cảnh báo nguy hiểm Chuyển nghiên cứu thành đề tài cấp sở trường Đại học Quốc Tế Miền Đông năm 2022 – 2023 Mục đích đề tài khắc phục điểm tồn luận văn Giai đoạn tối ưu thuật tốn nhằm có kết đo tốt Giai đoạn phát triển nghiên cứu thành thiết bị đo nhịp thở di động mà người dùng dễ dàng lắp đặt sử dụng Xuất thành báo cáo khoa học đăng tạp chí khoa học quốc tế Hiện tại, luận văn trình bày tóm tắt (abstract) "Hội nghị Nghiên cứu Khoa học Trường Đại học Quốc tế Miền Đông lần thứ nhất, năm 2022" hội nghị “The 9th International Conference in Vietnam on the Development of Biomedical Engineering BME9” năm 2022 66 Danh mục tài liệu tham khảo [1] M A Cretikos, R Bellomo, K Hillman, J Chen, S Finfer, and A Flabouris, “Respiratory rate: the neglected vital sign,” Medical Journal of Australia, vol 188, no 11, pp 657–659, 2008 [2] E S Katz, R B Mitchell, and C M D’Ambrosio, “Obstructive sleep apnea in infants,” Am J Respir Crit Care Med, vol 185, no 8, pp 805–816, 2012 [3] M Heron, “National vital statistics reports,” National vital statistics reports, vol 70, no 3, 2021 [4] H K Yaggi, J Concato, W N Kernan, J H Lichtman, L M Brass, and V Mohsenin, “Obstructive sleep apnea as a risk factor for stroke and death,” New England Journal of Medicine, vol 353, no 19, pp 2034–2041, 2005 [5] M Prince et al., “No health without mental health,” The lancet, vol 370, no 9590, pp 859–877, 2007 [6] I M Costanzo, D Sen, L Rhein, and U Guler, "Respiratory Monitoring: Current State of the Art and Future Roads," Biomedical Engineering, vol 15, IEEE Reviews, 2022, pp 103-121 [7] H Liu, J Allen, D Zheng, and F Chen, “Recent development of respiratory rate measurement technologies,” Physiol Meas, vol 40, no 7, p 07TR01, 2019 [8] J J Gibson, The perception of the visual world Houghton Mifflin, 1950, pp 235 [9] A John, B Cardiff, and D John, “A 1D-CNN based deep learning technique for sleep apnea detection in iot sensors,” in 2021 IEEE International Symposium on Circuits and Systems (ISCAS), 2021, pp 1–5 [10] D S Morillo, J L R Ojeda, L F C Foix, and A L Jiménez, “An accelerometer-based device for sleep apnea screening,” IEEE transactions on information technology in biomedicine, vol 14, no 2, pp 491–499, 2009 [11] E Dafna, T Rosenwein, A Tarasiuk, and Y Zigel, “Breathing rate estimation during sleep using audio signal analysis,” in 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 2015, pp 5981–5984 [12] V Thorey, A B Hernandez, P J Arnal, and E H During, “AI vs Humans for the diagnosis of sleep apnea,” in 2019 41st Annual International Conference of 67 the IEEE Engineering in Medicine and Biology Society (EMBC), 2019, pp 1596–1600 [13] C Massaroni, A Nicolò, D lo Presti, M Sacchetti, S Silvestri, and E Schena, “Contact-based methods for measuring respiratory rate,” Sensors, vol 19, no 4, p 908, 2019 [14] I M Costanzo, D Sen, L Rhein, and U Guler, “Respiratory monitoring: Current state of the art and future roads,” IEEE Rev Biomed Eng, vol 15,p 103121, 2022 [15] W Li, B Tan, and R J Piechocki, “Non-contact breathing detection using passive radar,” in 2016 IEEE International Conference on Communications (ICC), 2016, pp 1–6 [16] M H Li, A Yadollahi, and B Taati, “A non-contact vision-based system for respiratory rate estimation,” in 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2014, pp 2119–2122 [17] F Q AL‐Khalidi, R Saatchi, D Burke, H Elphick, and S Tan, “Respiration rate monitoring methods: A review,” Pediatr Pulmonol, vol 46, no 6, pp 523– 529, 2011 [18] T.-N Nguyen, S Dakpe, M.-C H B Tho, and T.-T Dao, “Kinect-driven patient-specific head, skull, and muscle network modelling for facial palsy patients,” Comput Methods Programs Biomed, vol 200, p 105846, 2021 [19] A Al-Naji, K Gibson, S.-H Lee, and J Chahl, “Real time apnoea monitoring of children using the Microsoft Kinect sensor: a pilot study,” Sensors, vol 17, no 2, p 286, 2017 [20] K S Tan, R Saatchi, H Elphick, and D Burke, “Real-time vision based respiration monitoring system,” in 2010 7th International Symposium on Communication Systems, Networks & Digital Signal Processing (CSNDSP 2010), 2010, pp 770–774 [21] M H Li, A Yadollahi, and B Taati, “A non-contact vision-based system for respiratory rate estimation,” in 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2014, pp 2119–2122 [22] C.-Y Fang, H.-H Hsieh, and S.-W Chen, “A vision-based infant respiratory frequency detection system,” in 2015 International Conference on Digital Image Computing: Techniques and Applications (DICTA), 2015, pp 1–8 68 [23] B Cyganek, Object detection and recognition in digital images: theory and practice John Wiley & Sons, 2013 [24] S Albawi, T A Mohammed, and S Al-Zawi, “Understanding of a convolutional neural network,” in 2017 international conference on engineering and technology (ICET), 2017, pp 1–6 [25] K O’Shea and R Nash, “An introduction to convolutional neural networks,” arXiv preprint arXiv:1511.08458, 2015 [26] A Bochkovskiy, C.-Y Wang, and H.-Y M Liao, “Yolov4: Optimal speed and accuracy of object detection,” arXiv preprint arXiv:2004.10934, 2020 [27] R Padilla, S L Netto, and E A B da Silva, “A survey on performance metrics for object-detection algorithms,” in 2020 international conference on systems, signals and image processing (IWSSIP), 2020, pp 237–242 [28] C Harris and M Stephens, “A combined corner and edge detector,” in Alvey vision conference, 1988, vol 15, no 50, pp 10–5244 [29] J Shi, “Good features to track,” in 1994 Proceedings of IEEE conference on computer vision and pattern recognition, 1994, pp 593–600 [30] H A Kadhim and W A Araheemah, “A comparative between corner-detectors (Harris, Shi-Tomasi & FAST) in images noisy using non-local means filter,” Journal of Al-Qadisiyah for computer science and mathematics, vol 11, no 3, p Page-86, 2019 [31] B D Lucas and T Kanade, An iterative image registration technique with an application to stereo vision, vol 81 Vancouver, 1981 [32] S Baker and I Matthews, “Lucas-kanade 20 years on: A unifying framework,” Int J Comput Vis, vol 56, no 3, pp 221–255, 2004 [33] N Sharmin and R Brad, “Optimal filter estimation for Lucas-Kanade optical flow,” Sensors, vol 12, no 9, pp 12694–12709, 2012 [34] S P Mishra et al., “Multivariate statistical data analysis-principal component analysis (PCA),” International Journal of Livestock Research, vol 7, no 5, pp 60–78, 2017 [35] T Carneiro, R V M da Nóbrega, T Nepomuceno, G.-B Bian, V H C de Albuquerque, and P P Reboucas Filho, “Performance analysis of google colaboratory as a tool for accelerating deep learning applications,” IEEE Access, vol 6, pp 61677–61685, 2018 69 [36] H Wu, C Du, Z Ji, M Gao, and Z He, “SORT-YM: An algorithm of multiobject tracking with YOLOv4-tiny and motion prediction,” Electronics (Basel), vol 10, no 18, p 2319, 2021 [37] J Shi, “Good features to track,” in 1994 Proceedings of IEEE conference on computer vision and pattern recognition, 1994, pp 593–600 [38] A Bochkovskiy, C.-Y Wang, and H.-Y M Liao, “Yolov4: Optimal speed and accuracy of object detection,” arXiv preprint arXiv:2004.10934, 2020 [39] V.-C Pham, V.-L Tran, X.-Q Dao, and T.-M.-T Nguyen, “Respiratory rate monitoring during sleep using camera” presented at Eastern International University Scientific Research Conference (EIUSRC2022), Eastern International University, 2022 [40] T.-M.-T Nguyen and V.-C Pham, “Computer vision-based breathing rate detection for infant and people at risk of stroke,” presented at 9th International Conference in Vietnam on the Development of Biomedical Engineering (BME9), 2022 70 PHỤ LỤC Kết đo nhịp thở theo phút trẻ sơ sinh Mỗi hình kết trường hợp ứng với chữ in hoa (A, B, C,…) Kết nhịp thở đo trực quan nằm cột Manual, đo theo luận văn cột Thesis ứng với phút cột Minute Cột Video cho biết nhịp thở đo từ Video video thực nghiệm B A Video 1 1 1 1 1 Time BR Minute Manual Thesis 24 21 25 18 25 23 24 23 24 23 23 22 24 22 23 23 25 22 23 23 Video 2 3 3 3 3 D C Video 4 4 Time BR Minute Manual Thesis 23 20 22 22 21 21 22 20 21 21 Video 47 47 47 47 22 22 22 22 22 22 22 22 22 22 BR Time Minute Manual Thesis 20 21 21 21 19 20 18 18 18 20 22 23 21 22 17 18 21 23 20 21 Time BR Minute Manual Thesis 24 23 23 23 24 23 23 23 24 23 F E Video Time BR Minute Manual Thesis 21 21 22 20 21 21 23 22 23 22 22 21 22 22 21 21 21 21 21 21 Video 24 BR Time Minute Manual Thesis 20 21 21 21 20 20 18 20 21 21 20 21 21 21 21 21 20 20 20 20 71 G BR Time Video Minute Manual Thesis 26 22 22 26 21 21 26 23 22 26 20 20 26 20 21 26 20 21 26 22 22 26 21 22 26 20 20 26 20 20 P BR Time Video Minute Manual Thesis 21 21 20 21 21 20 19 20 20 20 20 21 21 21 20 20 8 21 20 20 20 Kết đo nhịp thở theo phút người lớn Mỗi hình kết trường hợp ứng với chữ in hoa (A, B, C,…) Kết nhịp thở đo trực quan nằm cột Manual, đo theo luận văn cột Thesis ứng với phút cột Minute Cột Video cho biết nhịp thở đo từ Video video thực nghiệm I M Video 15 15 15 15 15 Time BR Minute Manual Thesis 16 15 14 13 16 15 16 16 15 15 Video 11 11 12 12 12 BR Time Minute Manual Thesis 21 20 17 17 18 18 16 16 19 20 H Video 12 12 12 12 12 Time BR Minute Manual Thesis 17 17 16 16 16 17 17 17 17 17 72 K Video N BR Time Minute Manual Thesis Video 16 18 16 16 19 17 16 18 17 16 18 19 16 17 17 16 17 17 16 17 18 16 17 17 16 17 17 16 17 16 50 50 50 50 50 50 50 50 50 50 L Video 50 50 50 50 50 50 50 50 50 50 Time BR Minute Manual Thesis 22 20 22 20 20 21 21 21 21 21 20 20 20 19 22 22 21 22 23 22 Time BR Minute Manual Thesis 21 20 20 20 20 21 23 22 23 22 22 21 21 21 20 20 20 20 20 20 O Video 25 25 25 25 25 25 25 25 25 25 Time BR Minute Manual Thesis 23 22 20 22 20 21 20 21 23 22 22 22 21 21 20 22 20 21 22 22 Q Video 25 25 25 25 25 25 25 25 25 25 Time BR Minute Manual Thesis 22 22 23 22 22 21 23 21 22 22 22 22 21 21 22 21 22 21 22 21 73 LÝ LỊCH TRÍCH NGANG Họ tên: Nguyễn Thị Mỹ Thanh Ngày, tháng, năm sinh: 28/07/1993 Nơi sinh: Bình Dương Địa liên lạc: Lai Uyên – Bàu Bàng – Bình Dương QUÁ TRÌNH ĐÀO TẠO Thời gian 2011-2017 2020-2023 Cơ quan đào tạo Địa điểm Trường đại học Quốc Tế Đường Nam Kỳ Khởi Nghĩa, Miền Đơng Phường Hịa Phú, Thủ Dầu Một, tỉnh Bình Dương Trường đại học Bách Khoa – 268 Lý Thường Kiệt, Phường 14, Đại học Quốc Gia TP Hồ Quận 10, Thành phố Hồ Chí Chí Minh Minh Q TRÌNH CƠNG TÁC Thời gian 09/201602/2018 03/20189/2018 09/20189/2019 10/2019Hiện Cơ quan công tác Công ty Iwai plant Tech Việt Nam Công ty Mabuchi Motor Việt Nam Cơng ty Nidec servo Việt Nam Địa điểm Vị trí Khu cơng nghiệp Mỹ Kỹ sư quy trình Phước 3, Bình Dương KCN Biên Hịa, TP Biên Kỹ sư cải tiến Hịa, Đồng Nai Khu Cơng nghệ cao, TP Kỹ sư tự động Thủ Đức, TP Hồ Chí Minh, Việt Nam Trường đại học Đường Nam Kỳ Khởi Trợ giảng Quốc Tế Miền Nghĩa, Phường Hịa Phú, Đơng Thủ Dầu Một, tỉnh Bình Dương 74