Luận văn thạc sĩ Kỹ thuật điều khiển và tự động hóa: Ứng dụng thị giác máy tính theo dõi nhịp thở

TÊN ĐỀ TÀI: Ứng dụng thị giác máy tính theo dõi nhịp thở Computer vision based respiratory rate monitoring system NHIỆM VỤ VÀ NỘI DUNG: − Theo dõi nhịp thở khi ngủ của trẻ em và người

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH

TRƯỜNG ĐẠI HỌC BÁCH KHOA

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM

Cán bộ hướng dẫn khoa học : TS Phạm Việt Cường

4 Ủy viên: TS Nguyễn Ngọc Sơn

5 Thư ký: TS Nguyễn Trọng Tài

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có)

CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN-ĐIỆN TỬ

ĐẠI HỌC QUỐC GIA TP.HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: Nguyễn Thị Mỹ Thanh MSHV: 2070156

Ngày, tháng, năm sinh: 28/07/1993 Nơi sinh: Bình Dương Chuyên ngành: Kỹ thuật Điều khiển và Tự động hóa Mã số : 8520216

I TÊN ĐỀ TÀI:

Ứng dụng thị giác máy tính theo dõi nhịp thở Computer vision based respiratory rate monitoring system

NHIỆM VỤ VÀ NỘI DUNG:

− Theo dõi nhịp thở khi ngủ của trẻ em và người lớn để phát hiện hiện tượng ngưng thở bằng việc theo dõi chuyển động của video thông qua các khung ảnh kế tiếp nhau Kết hợp sử dụng mạng thần kinh nhân tạo để xác định đối tượng và các thuật toán thị giác máy tính như trích xuất đặc trưng, theo dõi chuyển động, giảm chiều dữ liệu để giải quyết bài toán

− Đánh giá độ ổn định của hệ thống khi thay đổi vị trí đối tượng trên giường ngủ, khoảng cách từ đối tượng đến camera, ánh sáng ngày hoặc đêm, tác động bên ngoài như quạt, chăn mền

− Sử dụng phương pháp quan sát trực quan để đánh giá hệ thống giữa kết quả nhịp thở dự đoán từ phương pháp và nhịp thở thực tế của đối tượng

II NGÀY GIAO NHIỆM VỤ : 05/09/2022

III NGÀY HOÀN THÀNH NHIỆM VỤ: 18/12/2022

IV.CÁN BỘ HƯỚNG DẪN : TS Phạm Việt Cường

LỜI CẢM ƠN

Để hoàn thành luận văn, cùng với sự nỗ lực của bản thân, tôi đã nhận được sự hỗ trợ

và giúp đỡ của nhiều người

Đầu tiên, tôi chân thành cảm ơn cán bộ hướng dẫn, TS Phạm Việt Cường Luận văn này không thể hoàn thành nếu không có sự hướng dẫn của Thầy Những ý kiến chuyên môn của Thầy giúp tôi triển khai tốt nội dung nghiên cứu, những góp ý chỉnh sửa nội dung báo cáo giúp tôi hoàn thiện hơn về mặt hình thức và kỹ năng trình bày Tôi cảm ơn Trường Đại Học Bách Khoa, phòng Đào tạo sau đại học và tất cả Giảng viên các môn học đã truyền đạt kiến thức chuyên môn, làm nền tảng vững chắc cho nghiên cứu này và các nghiên cứu trong tương lai

Tôi cảm ơn Trường Đại Học Quốc Tế Miền Đông, Khoa Kỹ Thuật đã tạo điều kiện

về mặt thời gian để tôi có thể tham gia đầy đủ khóa học cao học Tôi cảm ơn các Thầy, Cô, anh, chị, em đồng nghiệp đã cho tôi những lời khuyên hữu ích trong quá trình học và làm luận văn

Hơn hết, tôi gửi lời cảm ơn sâu sắc đến chồng, anh Nguyễn Thành Ngọc, và con gái Nguyễn Ngọc Thanh An Anh đã luôn ở phía sau động viên, khích lệ và chăm sóc gia đình để em tập trung cho việc học Con gái của mẹ đã ngoan, đã làm động lực

để mẹ cố gắng nỗ lực từng ngày Mẹ yêu ba và con gái

Do hạn chế về mặt thời gian, kiến thức và kinh nghiệm nên luận văn còn nhiều thiếu sót Tôi rất mong nhận được góp ý của Thầy, Cô và hội đồng đánh giá để có thể phát triển kết quả trong những giai đoạn tiếp theo của nghiên cứu này

TÓM TẮT LUẬN VĂN

Nhịp thở đột ngột bất thường hoặc ngưng thở báo hiệu nguy hiểm, đặc biệt là khi ngủ ở trẻ sơ sinh và người có nguy cơ đột quỵ Các phương pháp theo dõi nhịp thở không tiếp xúc phù hợp cho việc theo dõi nhịp thở tại nhà, không gây mất thoải mái sinh hoạt, phù hợp theo dõi trẻ sơ sinh và người có bệnh lý

Luận văn này đề xuất một phương pháp theo dõi nhịp thở không tiếp xúc ứng dụng thị giác máy tính nhằm phát hiện hiện tượng ngưng thở khi ngủ ở trẻ sơ sinh và người có nguy cơ đột quỵ Luận văn giải quyết bài toán theo dõi chuyển động nhỏ trong góc ảnh lớn bằng cách kết hợp các thuật toán xử lý ảnh trên nền tảng ngôn ngữ Python Khu vực ảnh hưởng trực tiếp của hoạt động hô hấp được xác định bằng YOLOv4 Các điểm đặc trưng hô hấp được trích xuất theo dõi bằng phương pháp Dòng quang học (Optical flow) và Phân tích thành phần chính (PCA) Nhịp thở là

số lần biên độ tín hiệu thở đạt đỉnh trong một phút Kết quả thực nghiệm cho thấy

hệ thống đã phát hiện được hiện tượng ngưng thở, nhịp thở người bình thường đo được có sai số nhỏ hơn 2 nhịp thở/ phút (10%) đối với trẻ sơ sinh, 1 nhịp thở/ phút (5%) đối với người lớn Kết quả này đóng góp tích cực trong việc ứng dụng khoa học kỹ thuật hiện đại vào lĩnh vực chăm sóc sức khỏe

ABSTRACT

Sudden abnormal breathing or sleep apnea is dangerous signal, especially sleep breathing in infants and people at risk of stroke Non-contact breathing monitoring method is suitable for home breathing monitoring, without causing discomfort in daily life

This thesis proposes a non-contact breathing monitoring method using computer vision to determine sleep apnea phenomenon of infants and people at risk of stroke while sleeping The thesis solves the problem of tracking small movements in frames with large angle of view by combining image processing algorithms based on Python language Areas of direct influence of respiratory activity were determined using YOLOv4 The respiratory feature points were extracted and monitored using Optical flow and Principal Component Analysis (PCA) The respiratory rate is the time difference between two consecutive peaks of the breath signal Experimental results show that the measurement error is less than 2 breaths/minute (10%) for infants, 1 breath/minute (5%) for adults

Although it is still limited in the effectiveness of object identification, measuring under infrared light or not being able to monitor the breathing rate of 2 people at the same time The thesis has solved the problem of tracking small movements in frames with large angle of view in real time, making a positive contribution to the application of modern science and technology to the field of healthcare

LỜI CAM ĐOAN CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi và được hướng dẫn khoa học của TS Phạm Việt Cường, các nội dung nghiên cứu, kết quả trong đề tài này trung thực và chưa công bố bất kỳ hình thức nào trước đây Những số liệu trong các bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá được chính tác giả thu thập từ mô phỏng và thực nghiệm do chính bản thân thực hiện

Ngoài ra, trong luận văn này, tác giả có tham khảo một số tài liệu trong và ngoài nước, tất cả đều có ghi chú cụ thể

Nếu phát hiện có bất kỳ gian lận nào tôi xin chịu hoàn toàn trách nhiệm về nội dung luận văn của mình Trường Đại học Bách khoa thành phố Hồ Chí Minh

không liên quan đến những vi phạm tác quyền, bản quyền do tôi gây ra và trong quá trình thực hiện (nếu có)

TP Hồ Chí Minh, ngày tháng năm 2023

Nguyễn Thị Mỹ Thanh

MỤC LỤC

Chương 1 MỞ ĐẦU 1

1.1 Lý do chọn đề tài 1

1.2 Mục tiêu và nhiệm vụ của đề tài 3

1.3 Đối tượng và phạm vi nghiên cứu 3

1.4 Ý nghĩa của đề tài 4

1.5 Tình hình nghiên cứu đã công bố 5

1.6 Cấu trúc luận văn 9

Chương 2 CƠ SỞ LÝ THUYẾT 11

2.1 Nhận dạng vật thể 11

2.1.1 Convolutional Neural Network-CNN 11

2.1.2 YOLO 13

2.2 Theo dõi chuyển động 16

2.2.1 Điểm đặc trưng 16

2.2.2 Thuật toán Lucas-Kanade trong việc theo dõi chuyển động 18

2.3 Kỹ thuật phân tích thành phần chính (PCA) 20

Chương 3 QUÁ TRÌNH THỰC HIỆN 25

3.1 Cấu trúc của hệ thống 26

3.1.1 Lắp đặt camera 27

3.1.2 Yêu cầu về đối tượng 28

3.1.3 Trung tâm xử lý 29

3.2 Giải thuật theo dõi nhịp thở 30

3.2.1 Xác định đối tượng và khu vực xảy ra nhịp thở 31

3.2.2 Trích xuất và theo dõi chuyển động 34

3.2.3 Đo nhịp thở 41

3.3 Phương pháp đánh giá 43

3.3.1 Phương pháp đo trực quan 44

3.3.2 Đánh giá sai số 44

Chương 4 KẾT QUẢ VÀ ĐÁNH GIÁ 46

4.1 Kết quả nhận dạng đối tượng bằng YOLOv4 46

4.2 Kết quả đo nhịp thở ở trẻ em 48

4.2.1 Môi trường ban ngày 48

4.2.2 Môi trường ban đêm 50

4.2.3 Giả ngưng thở 52

4.2.4 Đánh giá 53

4.3 Kết quả đo nhịp thở ở người lớn 55

4.3.1 Môi trường ban ngày 55

4.3.2 Môi trường ban đêm 57

4.3.3 Giả ngưng thở 59

4.3.4 Đánh giá 59

Chương 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 62

5.1 Kết luận 62

5.2 Đóng góp 63

5.3 Hạn chế 64

5.4 Hướng phát triển 65

Danh mục tài liệu tham khảo 67

PHỤ LỤC 71

DANH SÁCH HÌNH ẢNH

Hình 1.1 Tỷ lệ tử vong ở trẻ sơ sinh, Mỹ, 1990-2016 [1] 1

Hình 1.2 Ý nghĩa đề tài đối với đời sống và y học lâm sàng 5

Hình 1.3 Phương pháp đo nhịp thở có tiếp xúc [14] 6

Hình 1.4 Khung hình ảnh đầu vào trong nghiên cứu trước đây [13][21] 6

Hình 1.5 Sơ đồ tổng quan hướng giải quyết đề tài 9

Hình 1.6 Cấu trúc luận văn 10

Hình 2.1 Sơ đồ mạng CNN [25] 11

Hình 2.2 Cách hoạt động của lớp tích chập 12

Hình 2.3 Max Pooling với bộ lọc 2x2 và stride 2 [25] 13

Hình 2.4 So sánh YOLOv4 và các phương pháp xác đính đối tượng khác [27] 14

Hình 2.5 Vùng đặc trưng góc từ λ1 và λ2 [30] 18

Hình 2.6 Vector dòng quang học 19

Hình 3.1 Sơ đồ cấu trúc hệ thống 26

Hình 3.2 Góc lắp đặt camera so với hướng di chuyển hô hấp 27

Hình 3.3 Mô phỏng góc lắp đặt camera hướng đến đối tượng 27

Hình 3.4 Áo có họa tiết tương phản 28

Hình 3.5 Cách xác định điểm đặc trưng 28

Hình 3.6 Hình ảnh đối tượng dưới ánh sáng hồng ngoại 29

Hình 3.7 Sơ đồ khối quá trình theo dõi nhịp thở 30

Hình 3.8 Kiến trúc mạng YOLOv4-tiny [36] 31

Hình 3.9 Tập dữ liệu ảnh dùng để huấn luyện mạng YOLOv4 32

Hình 3.10 Tín hiệu nhịp thở trên khung hình gốc và khung hình phóng to đối tượng 33

Hình 3.11 Trích xuất khu vực thở bằng mạng YOLOv4 33

Hình 3.12 Sơ đồ khối quy trình trích xuất và theo dõi nhịp thở 34

Hình 3.13 Các điểm đặc trưng tìm thấy trên ảnh 35

Hình 3.14 Chênh lệch tọa độ di chuyển hô hấp theo thời gian 36

Hình 3.15 Độ di chuyển của các điểm đặc trưng sau khi áp dụng PCA 38

Hình 3.16 Tín hiệu hô hấp 39

Hình 3.17 Tín hiệu nhịp thở với tốc độ 20fps và 4fps 40

Hình 3.18 Tín hiệu thở trước và sau khi lọc 41

Hình 3.19 Đỉnh biên độ tín hiệu hô hấp 42

Hình 3.20 Màn hình hiển thị kết quả theo dõi nhịp thở 43

Hình 3.21 Màn hình hiển thị kết quả ngưng thở 43

Hình 4.1 Kết quả huấn luyện mạng YOLOv4 47

Hình 4.2 Kết quả nhận dang đối tượng bằng YOLOv4 47

Hình 4.3 Các trường hợp ngủ của trẻ môi trường ban ngày 49

Hình 4.4 Các trường hợp ngủ của trẻ môi trường ban đêm 51

Hình 4.5 Biên độ tín hiệu thở khi sử dụng chăn, không sử dụng chăn và ngưng thở 52

Hình 4.6 Kết quả giả ngưng thở ở trẻ sơ sinh 53

Hình 4.7 Độ chính xác so sánh giữa các trường hợp đo ở trẻ sơ sinh trong môi

trường ngày và đêm 53

Hình 4.8 Đặc trưng tìm thấy trong môi trường ngày và đêm 54

Hình 4.9 Biên độ khi có nhịp thở và không có nhịp thở ở trẻ sơ sinh 54

Hình 4.10 Các trường hợp ngủ của người lớn môi trường ban ngày 57

Hình 4.11 Các trường hợp ngủ của người lớn môi trường ban đêm 58

Hình 4.12 Kết quả giả ngưng thở ở người lớn 59

Hình 4.13 Độ chính xác so sánh giữa các trường hợp đo ở người lớn trong môi trường ngày và đêm 60

Hình 4.14 Độ chính xác nhịp thở giữa trẻ sơ sinh và người lớn 61

Hình 4.15 Biên độ dao động thở ở người lớn và trẻ sơ sinh 61

Hình 5.1 Kết quả tổng quát quá trình theo dõi nhịp thở 63

DANH SÁCH BẢNG

Bảng 1 Ví dụ về độ di chuyển của các điểm đặc trưng (pixel) 36

Bảng 2 Thời gian và độ di chuyển tương ứng của điểm đặc trưng 38

Bảng 3 Cách đo nhịp thở thực tế 44

Bảng 4 Kết quả đánh giá mô hình mạng YOLOv4 47

Bảng 5 Kết quả đo nhịp thở ở trẻ sơ sinh trong ánh sáng ngày 50

Bảng 6 Kết quả đo nhịp thở trẻ sơ sinh ban đêm 51

Bảng 7 So sánh kết quả đo của luận văn và phương pháp khác 55

Bảng 8 Kết quả đo nhịp thở ở người lớn ban ngày 56

Bảng 9 Kết quả theo dõi nhịp thở ở người lớn ban đêm 58

DANH MỤC TỪ VIẾT TẮT

CNN Convolutional Neural Networks

YOLO You Only Look Once

YOLOv4 You Only Look Once version 4

PCA Principal Component Analysis

AI Artificial Intelligence

Chương 1 MỞ ĐẦU

Nhịp thở là dấu hiệu sinh tồn quan trọng của mỗi con người, thường được xem xét đầu tiên khi con người có vấn đề về sức khỏe Giá trị nhịp thở (tần số hô hấp) vượt khỏi một ngưỡng nhất định là báo hiệu bất thường liên quan đến bệnh lý như ngừng tim phổi, suy tim cấp, viêm phổi, cũng có thể là dấu hiệu ngưng thở tử vong Những dấu hiệu này cần được can thiệp y tế kịp thời để phòng bệnh và cứu người [1], [2] Việc này trở nên quan trọng hơn ở trẻ sơ sinh và người có nguy cơ đột quỵ Nghiên cứu y

tế tại Hoa Kỳ 2019 cho thấy rằng 6% trẻ sơ sinh có nguy cơ đột tử ở trên giường,

khoảng 10% trẻ sơ sinh có hội chứng đột tử [1] Điều này làm gia tăng sự lo ngại cho hầu hết các bậc cha mẹ, đặc biệt là tăng nguy cơ mất ngủ, trầm cảm ở các mẹ sau sinh nói chung và các mẹ sinh con lần đầu nói riêng bởi sự thiếu kinh nghiệm trong việc chăm sóc con và ảnh hưởng bởi nhiều thông tin trên mạng xã hội Ở người lớn, 4-6% người chết nguyên nhân do đột quỵ ở Mỹ năm 2019 [3] Số người mắc nguy cơ đột quỵ mới được xác định mỗi năm là 795,000 người, trong đó 20-40% các cơn đột quỵ xảy ra vào ban đêm Nguy cơ tử vong của người đột quỵ khi ngủ cao hơn những trường

hợp khác do thiếu sự phát hiện hoặc giám sát của người xung quanh Trong khi những

cá nhân được chuẩn đoán có nguy cơ đột quỵ cần được giám sát liên tục, sức khỏe và

sự liên tục của người thân là hạn chế, do đó, việc theo dõi nhịp thở liên tục khi ngủ mà không gây tác động khó ngủ đến đối tượng được quan tâm [4] Trong thời đại có quá nhiều thông tin tiêu cực trên báo điện tử, mạng xã hội như hiện nay, người bị ảnh hưởng tâm lý không chỉ người bệnh mà còn những người thân Phương pháp đo nhịp thở liên tục khi ngủ tạo cảm giác an tâm cho người bệnh và thân nhân Đây được xem

là phương pháp gia tăng tinh thần tích cực cho người bệnh Các phương pháp trị liệu tinh thần đã nghiên cứu chứng minh rằng có tác động tích cực đến bệnh lý của người bệnh [5]

Hiện nay, nhiều phương pháp theo dõi nhịp thở đã và đang nghiên cứu, được chia thành 2 nhóm chính là có tiếp xúc và không tiếp xúc [6], [7] Hai phương pháp này được so sánh, cân nhắc điều kiện áp dụng Chi phí cao và bất tiện khi gắn thiết bị trực tiếp trên người làm cho việc theo dõi nhịp thở tiếp xúc chỉ có thể thực hiện đối với những ca bệnh nghiêm trọng, cần theo dõi chỉ số sinh tồn liên tục Các phương pháp theo dõi nhịp thở sử dụng cảm biến không tiếp xúc lại hạn chế về độ ổn định như tiếng

ồn, nhiễu, ánh sáng, độ rung và phạm vi lắp đặt [6] Mặc dù vậy, nhu cầu theo dõi nhịp thở ở nhóm người có nguy cơ như người có bệnh lý về hơi thở, người có nguy cơ đột quỵ, đột tử ở trẻ sơ sinh khi ngủ, người rối loạn giấc ngủ cao Hệ thống theo dõi hô hấp không dây phù hợp để sử dụng lâu dài, giúp nâng cao sức khỏe và hạnh phúc của mọi người ở mọi lứa tuổi

Cùng lúc đó, khoa học máy tính ngày càng chiếm vai trò quan trọng trong sự phát triển của khoa học kỹ thuật Trong đó, Thị giác máy tính (Computer Vision) là một trong những lĩnh vực được sự quan tâm lớn của các nhà nghiên cứu về khoa học máy tính

và trí tuệ nhân tạo Mặc dù chúng không thể so sánh với mắt người nhưng với những tiềm năng về độ ổn định, thị giác máy tính đang tạo ra những công nghệ có ứng dụng hữu ích trong đời sống con người Phân tích hình ảnh thông qua video thu được từ camera đang ngày càng được ứng dụng trong nhiều lĩnh vưc, từ sản xuất công nghiệp đến đời sống con người [8]

Từ những điểm quan trọng trên, luận văn này đưa ra một phương pháp theo dõi nhịp thở không tiếp xúc sử dụng thị giác máy tính dùng để theo dõi nhịp thở của trẻ sơ sinh

và người có nguy cơ đột quỵ nhằm xác định các trường hợp ngưng thở khi ngủ Camera được lắp đặt hướng về đối tượng để thu video ngủ, Luồng video (video stream) sẽ được đưa về máy tính và xử lý trên nền tảng ngôn ngữ Python Thông qua mô hình mạng thần kinh nhân tạo và các giải thuật xử lý hình ảnh, đặc trưng thở được trích xuất và theo dõi liên tục theo thời gian để phát hiện nhịp thở và đưa ra cảnh báo khi đối tượng tham gia có nhịp thở bất thường

Hệ thống theo dõi nhịp thở tập trung xử lý 3 vấn đề sau:

- Vấn đề 1, xác định đối tượng và khu vực trọng tâm xảy ra nhịp thở Để nhận dạng

đối tượng theo thời gian thực, mô hình mạng nơ-ron tích chập (YOLOv4) được sử dụng

- Vấn đề 2, theo dõi chuyển động thở Để giải quyết vấn đề này, các thuật toán xử

lý ảnh như xác định đặc trưng góc (Corner feature detector), Dòng quang học (optical flow), Phân tích thành phần chính (Pinciple component analysis) được tích hợp sử dụng

- Vấn đề 3, đo nhịp thở Nhịp thở là tổng số lần biên độ tín hiệu thở đạt cực đại trong

một phút Khoảng cách giữa hai điểm cực đại là thời gian giữa hai lần hít vào liên tục, là một nhịp thở

Mục tiêu: đo và phát hiện hiện tượng ngưng thở khi ngủ ở hai đối tượng chính là trẻ

sơ sinh và người đang có nguy cơ đột quỵ

Nhiệm vụ: kết hợp các phương pháp, thuật toán trong xử lý ảnh để theo dõi các điểm

đặc trưng giữa các khung ảnh kế tiếp nhau trong video; đánh giá và đưa ra đề xuất, giải pháp cho kết quả của phương pháp hiện tại

Đối tượng: trẻ sơ sinh và người có nguy cơ đột quỵ đang ngủ tại nhà riêng

Phạm vi nghiên cứu: các mẫu dữ liệu được trích xuất và theo dõi tại nhà riêng Do sự

linh hoạt về môi trường nằm ngủ, luận văn này chỉ nghiên cứu:

− Đối tượng nằm ngửa, nằm nghiêng, nằm sấp trong môi trường sáng (ngày/đêm), không trùm kín chăn qua đầu

− Chỉ một đối tượng ngủ trên giường gắn camera theo dõi

− Đối tượng cần theo dõi mặc áo có nhiều điểm tương phản màu sắc

Đối với đời sống, việc phát triển một biện pháp y tế theo dõi sức khỏe không tiếp xúc tạo cảm giác thoải mái cho người tham gia; giảm áp lực chăm sóc cho người bảo hộ; rút ngắn thời gian lưu trú của bệnh nhân tại cơ sở y tế; giảm chi phí điều trị và có thể thực hiện lâu dài (Hình 1.2)

Đối với khoa học, luận văn giải quyết bài toán theo dõi chuyển động rất nhỏ giữa các khung hình kế tiếp nhau trong video có góc ảnh lớn thông qua việc theo dõi các điểm ảnh theo thời gian Luận văn đã thành công trong việc sử dụng mô hình trí tuệ nhân tạo kết hợp với các thuật toán xử lý ảnh để theo dõi chuyển động Khi muốn tối ưu kết quả kiểm tra chỉ cần thay đổi giải thuật mềm trên máy tính mà không cần thay đổi thiết

bị phần cứng

Đối với y học lâm sàng, luận văn mở ra tiềm năng ứng dụng khoa học kỹ thuật hiện đại vào lĩnh vực chăm sóc sức khỏe, xóa bỏ giới hạn y tế chỉ tại cơ quan y tế dưới sự giám sát của đội ngũ y, bác sĩ Hệ thống theo dõi nhịp thở này có thể tích hợp phát triển để theo dõi thêm nhiều chức năng khác của con người như hiện tượng rối loạn giấc ngủ ở người lớn tuổi, phát hiện sớm và ngăn ngừa các bệnh lý bằng cách thu thập

và phân tích dữ liệu ngủ của đối tượng theo thời gian hoặc giữa đối tượng bình thường với các đối tượng có bệnh lý

Ứng dụng thị giác máy tính vào việc theo dõi nhịp thở con người là một bước tiến về khoa học Đo nhịp thở khi ngủ đã và đang được quan tâm của nhiều nhà nghiên cứu [6], [7]

Các phương pháp theo dõi nhịp thở có tiếp xúc [9]–[13] đưa ra kết quả với độ chính xác cao Tuy nhiên, chi phí lắp đặt và quá trình theo dõi cần sự giám sát liên tục của người giám hộ nên phương pháp này chỉ thực hiện ở những trường hợp bệnh lý nghiêm trọng Hơn nữa, việc đeo các thiết bị trên người tạo cảm giác không thoải mái cho người tham gia, đặc biệt khi đối tượng là trẻ em và người lớn có nguy cơ đột quỵ Do

đó, các phương pháp đo nhịp thở không tiếp xúc được nghiên cứu phát triển Tuy nhiên đây chủ yếu là các nghiên cứu ngoài nước

Hình 1.3 đưa ra hình ảnh ví dụ đo nhịp thở bằng phương pháp có tiếp xúc bao gồm (a)

đo nồng độ CO2 thở ra, (b) đo chỉ số SpO2 trên đầu ngón tay, (c) đo trở kháng gắn trên lồng ngực, (d) đo điện áp của thiết bị gắn dưới mũi đối tượng [14] Các phương pháp

Không lưu trú bệnh

viện

Thoải mái cho người chăm sóc Tiết kiệm chi phí

Ứng dụng kỹ thuật vào chăm sóc sức khỏe

Hình 1.2 Ý nghĩa đề tài đối với đời sống và y học lâm sàng

này phù hợp đối với những ca bệnh nghiêm trọng, cần theo dõi tại cơ quan y tế nhưng khó có thể áp dụng trong cuộc sống hằng ngày, đặc biệt là đối với trẻ em

Đối với các phương pháp đo nhịp thở không tiếp xúc Bên cạnh việc sử dụng các loại cảm biến từ xa như cảm biên âm thanh [11], radar [15], phương pháp sử dụng camera cũng được quan tâm [16] Trong bối cảnh ngày càng nhiều người sử dụng camera để giám sát trong nhà, phương pháp đo nhịp thở bằng camera được nghiên cứu nhiều hơn bởi tiện ích dễ tiếp cận người dùng Trong phương pháp này, các nghiên cứu liên quan đến camera hồng ngoại [17], camera đo độ sâu Kinect [18], [19] và camera giám sát thông thường [20] cũng được nghiên cứu Hô hấp được xác định là sự di chuyển của các điểm ảnh, màu sắc hoặc độ sâu ảnh của chuỗi video thu được Cảm biến đo độ sâu ảnh Kinect đưa ra kết quả tốt tuy nhiên chi phí cao hơn so với camera giám sát thông

Hình 1.4 Khung hình ảnh đầu vào trong nghiên cứu trước đây [13][21]

Hình 1.3 Phương pháp đo nhịp thở có tiếp xúc [14]

thường và số người dùng tiếp cận với cảm biến Kinect thấp hơn camera giám sát thông thường

Phương pháp theo dõi nhịp thở bằng camera xác định nhịp thở dựa trên sự di chuyển của điểm đặc trưng khu vực thở (ngực – bụng) Theo dõi nhịp thở đã được nghiên cứu qua hai phương pháp chính yếu Đó là theo dõi chuyển động của Dòng quang học (optical flow) và giải thuật Trừ nền (background subtraction) Nghiên cứu [21] năm

2014, thực hiện theo dõi các điểm đặc trưng bằng thuật toán Dòng quang học kết hợp thuật toán Phân tích thành phần chính để trích xuất hướng chuyển động chính Kết quả của phương pháp đề xuất có sai số dưới 1 nhịp thở/ phút, tuy nhiên đây là kết quả thực nghiệm trên 1 đối tượng giả ngủ Camera lắp đặt phía trên đối tượng và có ống kính góc hẹp, khó đáp ứng thực tế khi đối tượng đổi vị trí, tư thế ngủ (Hình 1.4) Nghiên cứu [22] đo nhịp thở để phát hiện đột tử ở trẻ sơ sinh bằng phương pháp so sánh sự khác nhau không gian qua cường độ sáng giữa hai khung ảnh kế tiếp nhau Tác giả kết hợp giải thuật trừ nền và nhiều thuật toán khác nhau để đưa ra kết quả nhịp thở, độ chính xác trung bình khoảng 91.5% Ngoài ra, nghiên cứu sử dụng mô hình mạng nơ-ron nhân tạo để phát hiện nhịp thở cũng được nghiên cứu trong [9] Dữ liệu từ mô hình này thu thập từ tín hiệu điện tâm đồ của thiết bị đeo Do đó đây được xem là phương pháp có tiếp xúc Thách thức của hệ thống là sự thay đổi do nhịp thở gây ra giữa các khung ảnh là rất nhỏ, trong khi các thay đổi không phải do nhịp thở xảy ra với biên độ lớn hơn Hơn nữa, việc theo dõi giấc ngủ cần được thực hiện trực tiếp khi đối tượng đang ngủ nên xử lý thời gian thực (real time) là khó khăn mà hầu hết các nhà nghiên cứu trước đây gặp phải Ngoài ra, sự linh hoạt về môi trường ngủ tại nhà cũng là một trở ngại hiện tại Đối tượng nằm ngủ trong các tư thế khác nhau như nằm ngửa, nằm nghiêng, nằm sấp trong điều kiện ánh sáng khác nhau, thường diễn ra trong tối Hạn chế của những phương pháp đo nhịp thở không tiếp xúc trên là camera quay góc hẹp, chỉ tập trung vào đối tượng đang ngủ cố định một vị trí, khi đối tưởng thay đổi vị trí (lăn sang chổ khác) thì không thể theo dõi nữa (Hình 1.4) Do đó, không phù hợp môi trường ngủ tại nhà ở Việt Nam (đối tượng nằm trên giường rộng)

Từ những lý do trên, luận văn này đưa ra một phương pháp đo nhịp thở không tiếp xúc nhằm phát hiện tình trạng đột tử ở trẻ sơ sinh và người có nguy cơ đột quỵ bằng camera giám sát thông thường để xác định hiện tượng ngưng thở khi ngủ Chuyển động hô hấp được theo dõi bằng thuật toán Dòng quang học (Optical flow) Phương pháp này theo dõi chuyển động dựa trên sự di chuyển của các điểm đặc trưng là các góc tương phản màu sắc trên áo của đối tượng Tuy nhiên, do sự linh hoạt của đối tượng khi ngủ

và môi trường ngủ tại Việt Nam Khi ngủ, thường một người sẽ ngủ trên giường có kích thước lớn, có thể thay đổi tư thế, lăn, xoay đến các vị trí khác nhau, đặc biệt là trẻ em, đối tượng thường xuyên thay đổi tư thế ngủ Do đó, camera quan sát cần có góc ảnh rộng nhằm quan sát bao quát toàn bộ giường ngủ Cá nhân sẽ luôn nằm trong khung hình camera dù nằm ở vị trí nào trên giường Điều này tạo nên thách thức khi giám sát độ di chuyển của đặc trưng hô hấp vì diện tích đối tượng và vùng di chuyển

do hô hấp gây ra trở nên nhỏ lại trong khung hình Để giải quyết vấn đề này, trước khi thực hiện theo dõi sự di chuyển của các điểm đặc trưng hô hấp, khu vực chứa hô hấp (vùng ngực – bụng của đối tượng) sẽ được xác định và phóng to Mạng noron nhân tạo có vai trò xác định đối tượng và vị trí của đối tượng trong trong khung hình đang ngủ Phần ảnh chứa đối tượng trong toàn bộ khung ảnh sẽ được cắt và phóng to nhằm mục đích phóng to chuyển động hô hấp

Hình 1.5 thể hiện sơ đồ tổng quan cách thức giải quyết đề tài, được chia thành ba phần

là xác định đối tượng, theo dõi chuyển động và đo nhịp thở Đối tượng được xác định thông qua mô hình đào tạo mạng nơ-ron nhân tạo (YOLO) Sau đó, các đặc trưng góc trên đối tượng được trích xuất và theo dõi bằng Luồng quang học (optical flow) Từ

đó, chiều chuyển động được xác định bằng việc so sánh tương quan của dữ liệu thông qua thuật toán Phân tích thành phần chính (PCA) Vẽ dữ liệu ngõ ra sau PCA theo thời gian ta thu được tín hiệu thở Cuối cùng, nhịp thở được tính toán dựa trên thời gian giữa hai lần đạt đỉnh liên tục của biên độ tín hiệu

Luận văn gồm 5 chương, mỗi chương thực hiện các nội dung chính được minh họa như Hình 1.6

Chương 1 Mở đầu Chương này trình bày tổng quan về lý do chọn đề tài, mục tiêu và nhiệm vụ của đề tài, cũng như đối tượng và phạm vi nghiên cứu Bên cạnh đó, phần này tổng hợp các nghiên cứu đã công bố liên quan đến đề tài, hạn chế của những nghiên cứu đó, cũng như trình bày tổng quát nội dung cấu trúc của luận văn

Chương 2 Cơ sở lý thuyết Chương này trình bày lý thuyết về các thuật toán sử dụng trong luận văn Đây là các thuật toán liên quan đến xử lý ảnh bao gồm nhận dạng vật thể bằng mô hình mạng nơ-ron nhân tạo (YOLO), thuật toán tìm đặc trưng góc (Shi-

Hình 1.5 Sơ đồ tổng quan hướng giải quyết đề tài

Theo dõi Giảm chiều Đặc trưng

Tomasi corner detector), luồng quang học (optical flow), phân tích thành phần chính (principal component analysis)

Chương 3 Quá trình thực hiện Chương này thể hiện quá trình thực hiện đề tài, bao gồm cấu trúc phần cứng và giải thuật xử lý ảnh để đạt được mục tiêu đề tài Toàn bộ chương trình bày cụ thể phương pháp đo nhịp thở mà luận văn đề xuất

Chương 4 Kết quả và đánh giá Chương này đưa ra kết quả thực hiện đề tài, bao gồm kết quả nhận dạng đối tượng, sai số khi theo dõi nhịp thở ở trẻ sơ sinh và người lớn có nguy cơ đột quỵ trong các điều kiện môi trường khác nhau

Chương 5 Kết luận và hướng phát triển Chương này tổng hợp kết luận về phương pháp đề xuất, đóng góp của phương pháp đối với đời sống, khoa học và y học Đồng thời, trình bày hướng phát triển đề tài

Chương 1 Chương 2 Chương 3 Chương 4

Hình 1.6 Cấu trúc luận văn

Chương 2 CƠ SỞ LÝ THUYẾT

Chương này trình bày các lý thuyết sử dụng trong luận văn bao gồm: nhận dạng vật thể trong xử lý ảnh, mạng nơ-ron nhân tạo trong việc nhận dạng vật thể và mô hình mạng YOLO; thuật toán theo dõi chuyển động vật thể trong ảnh (Optical flow), thuật toán giảm chiều dữ liệu (PCA)

Nhận dạng vật thể là một trong những bài toán cơ bản của thị giác máy tính, một phần quan trọng trong lĩnh vực trí tuệ nhân tạo [23] Đây là cách thức máy móc bắt bước cách thức hoạt động từ não bộ con người để tìm kiếm các mối quan hệ cơ bản trong tập hợp các dữ liệu [24]

2.1.1 Convolutional Neural Network-CNN

CNN là mạng nơ-ron tích chập, đây là một mô hình học sâu (deep learning) tiên tiến trong lĩnh vực trí tuệ nhân tạo, dùng để giải quyết các bài toán liên quan đến xử lý ảnh [25] Quá trình xử lý của mạng CNN bắt đầu từ hình ảnh đầu vào, xem nó là một mảng pixel có độ lớn phụ thuộc vào độ phân giải của hình ảnh Vector phẳng (ví dụ 9x1) từ

ma trận ảnh được đưa vào mạng nơ-ron suy luận (feedforward) và phương pháp truyền ngược (backpropagation) để áp dụng cho quá trình huấn luyện Qua một loạt lần lặp,

mô hình có thể phân biệt giữa các đặc trưng cốt lõi và các đặc trưng không quan trọng trong hình ảnh và phân loại chúng

Hình 2.1 Sơ đồ mạng CNN [25]

Cấu trúc CNN gồm 3 lớp: lớp tích chập (convolutional layers), lớp gộp (pooling layers) và lớp kết nối đầy đủ (fully-connected layers) Hình 2.1 là mô hình cơ bản của mạng CNN [25]

Lớp tích chập Convolution layer

Convolution layer đóng vai trò trích xuất các đặc trưng của đối tượng trên ảnh Mạng học các đặc trưng này để nhận ra nó dù ở đâu trên ảnh Convolution layer thực hiện phép tích chập bằng việc sử dụng các bộ lọc Kernal có kích thước 3x3 hoặc 5x5 để trượt trên ảnh đầu vào và tích chập Bộ lọc bao gồm các tham số về kích thước F, độ trượt (stride) S và P là số lượng zero padding Kết quả thu được bản đồ đặc trưng Feature Map

Mục tiêu của phép tính tích chập là trích xuất các đặc trưng cấp cao như các cạnh (edges), từ hình ảnh đầu vào Mạng nơron tích chập không nhất thiết chỉ giới hạn trong một lớp tích chập Thông thường, lớp tích chập đầu tiên chịu trách nhiệm nắm bắt các đặc trưng cấp thấp như màu sắc (colors), hướng dốc (gradient orientation), v.v Với các lớp tích chập được thêm vào, mô hình cũng nắm bắt các đặc trưng cấp cao, mang đến mạng lưới nơron tích chập có sự hiểu biết toàn diện về hình ảnh trong bộ dữ liệu, tương tự như con người hiểu về hình ảnh

Ảnh đầu vào Bộ lọc

Bản đồ đặc trưng

Hình 2.2 Cách hoạt động của lớp tích chập

Lớp gộp Pooling layer

Pooling layer thường được xếp sau các convolution layer để làm giảm thông số tích chập nhằm mục đích để giảm tính toán cần phải có để xử lý dữ liệu thông qua việc giảm kích thước tính năng đầu vào Có 2 dạng phép gộp đặc biệt là phép gộp cực đại (max pooling) và phép gộp trung bình (average pooling), tương ứng giá trị lớn nhất và giá trị trung bình được lấy ra Phép gộp cực đại hoạt động như một công cụ khử nhiễu, loại bỏ các nguồn nhiễu và thực hiện khử nhiễu song song với giảm kích thước Phép gộp trung bình thực hiện giảm kích thước như một cơ chế khử nhiễu

Hình 2.3 Max Pooling với bộ lọc 2x2 và stride 2 [25]

YOLO đã phát triển qua nhiều phiên bản, trong đó phiên bản YOLO version 4 có tốc

độ xử lý nhanh, đáp ứng yêu cầu thời gian thực (real time) [26]

Ngõ ra của mạng YOLO là một vector thể hiện kết quả dự đoán yT Trong đó, P0 là xác xuất dự báo vật thể xuất hiện trong khung hình bao chứa vật thể; t t t x, ,y w,t h là thông số của bounding box gồm tọa độ tâm và kích thước chiều rộng – dài của bounding box; p p1, 2, ,p c là vector phân phối xác xuất dự báo của phân lớp

Max pool với bộ lọc 2x2 và stride 2

0, , , , , 1, 2, ,

T

Hình 2.4 So sánh YOLOv4 và các phương pháp xác đính đối tượng khác [27]

Độ chính xác nhận dạng đối tượng được xác định thông qua các thông số đo

Bounding box là khung hình bao chứa vật thể được xác định trong quá trình huấn

luyện Ground truth box là khung hình được xác định trước từ bộ dữ liệu thông qua tọa độ xác định vật thể IoU (Intersection of Union) là tỷ lệ đo lường mức độ giao nhau

giữa khung hình dự báo (Bp) và khung hình ground truth (Bgt) để nhằm xác định hai khung hình có chồng lên nhau (overlap) không Bằng cách so sánh IoU với một ngưỡng nhất định, ta xác định phân loại là đúng hoặc sai

Precision là độ chính xác nhận diện, là tỷ lệ dự đoán đúng trên tất cả các dự đoán Recall là khả năng nhìn thấy tất cả ground truth box, là tỷ lệ dự đoán đúng trong tất cả

các ground truth box AP (average precision) là precision- recall cure, là đường cong

thể hiện sự thay đổi ngưỡng và quan sát giá trị của Precision và Recall Các giá trị này được xác định như sau:

Tỷ lệ giao:

(2.4)

TP (True positive): Số lần mô hình dự đoán chính xác mẫu đầu vào positive là positive

FP (false positive): Số lần mô hình dự đoán sai mẫu đầu vào negative là positive

FN (false negative): Số lần mô hình dự đoán sai mẫu đầu vào positive là negative

TN (True negative): Số lần mô hình dự đoán chính xác mẫu đầu vào negative là negative

2.2.1 Điểm đặc trưng

Đặc trưng (features) là 1 vùng nhất định của ảnh (như điểm, cạnh) Xác định đặc trưng

là một trong những khâu quan trọng của nhiều bài toán xử lý ảnh như cân chỉnh hình ảnh, nhận dang vật thể, theo dõi chuyển động, điều hướng Mục đích của việc xác định đặc trưng là giảm lượng tính toán của các thuật toán mà vẫn đảm bảo độ chính xác Nhiều kỹ thuật trích xuất đặc trưng được đưa ra như đặc trưng cạnh (edge detector), đặc trưng góc (corners detector), đặc trưng vùng (region of interest point detector) Mỗi kỹ thuật có phương pháp phát hiện khác nhau

Harris corner detector

Đây là thuật toán tìm đặc trưng góc được giới thiệu bởi Chris Harris and Mike Stephens vào năm 1988 [28] Phương pháp Harris dựa vào sự biến đổi cường độ sáng tại một vùng lân cận Một vùng nhỏ xung quanh các đặc trưng sẽ có một sự thay đổi lớn về cường độ sáng nếu một cửa sổ dịch chuyển một đoạn (u,v) từ điểm (x,y) theo bất kì hướng nào

Công thức tính lượng thay đổi cường độ sáng khi dịch chuyển một đoạn [u, v], chính

là tổng trọng số nhân với chênh lệch cường độ cho tất cả các pixel trong cửa sổ w(x,y)

(2.6)

Trong đó:

w(x,y) là trọng số các pixel trên cửa sổ trượt tại vị trí (x,y)

I(x,y) là cường độ sáng tại điểm (x,y)

I(x+u,y+v) là cường độ sáng sau khi di chuyển đến điểm (x+u, y+v)

[I(x+u,y+v)-I(x,y)] là sự khác biệt về cường độ của dịch chuyển cửa sổ Tại điểm góc, mức chênh lệch cường độ sáng dịch chuyển lớn

Khai triển Taylor:

Tùy thuộc vào giá trị của R, 1 điểm được coi là góc nếu λ1 và λ2 đều lớn (λ1 ≃ λ2), tức

là E tăng trong tất cả các hướng

Thuật toán Shi-Tomasi

Thuật toán Shi-Tomasi là biên bản cải tiến của thuật toán tìm góc Harris cho kết quả tìm điểm đặc trưng tốt hơn, được Shi và Tomasi đưa ra vào năm 1994 [29]

Thuật toán Shi-Tomasi phát hiện một góc sử dụng hai giá trị riêng giống như thuật toán Harris-Stephen, nhưng nó tính toán R hoạt động khác nhau Shi- Tomasi chứng

minh rằng các đặc trưng theo dõi tốt hơn có kết quả là giá trị nhỏ nhất của 2 giá trị riêng lớn hơn ngưỡng tối thiểu

2.2.2 Thuật toán Lucas-Kanade trong việc theo dõi chuyển động

Luồng quang học (optical flow) ra đời năm 1940 bởi nhà tâm lý học người Mỹ James

J Gibson [31], là một thuật toán ước lượng chuyển động tương đối giữa các điểm giữa các ảnh liên tiếp nhau trong ảnh Đây là kỹ thuật được sử dụng nhiều trong các bài toán xử lý ảnh, mục đích phát hiện chuyển động, tính toán chuyển động giữa hai khung ảnh tại thời điểm hiện tại t và thời điểm tiếp theo t + dt[32]

Điều kiện áp dụng kỹ thuật Optical flow:

- Cường độ sáng tại các pixel không thay đổi giữa các khung hình kế tiếp nhau

- Các pixel lân cận có chuyển động tương tự nhau

Thuật toán Optical flow theo dõi các điểm ảnh theo không gian - thời gian ở các cấp

độ pixel, thu vector dịch chuyển của các đối tượng qua các frame ảnh Vị trí của điểm ảnh thời điểm t là I(x,y,t) sau thời gian dt là I(x,y,t+dt) Cách tiếp cận dựa trên độ dốc (gradient-based) này sử dụng ràng buộc về cường độ điểm ảnh không đổi:

I x y t =I x+dx y+dy t+dt (2.11) Biển đổi Taylor của phương trình dòng quang trên, ta thu được:

𝐼𝑥𝑣𝑥+ 𝐼𝑦𝑣𝑦+ 𝐼𝑡 = 0 (2.12)

Ix, Iy và It là đạo hàm I(x, y) theo x, y và t Vectơ V=(vx,vy) xác định vectơ vận tốc theo phương x và y

Phương trình dòng quang giả định là được sử dụng cho tất cả các pixel trong một cửa

sổ có tâm là pixel p Vectơ luồng quang cục bộ (vx, vy) phải thỏa mãn ràng buộc luồng quang cho một vùng pixel cùng vận tốc, được biểu thị bằng:

Hình 2.6 Vector dòng quang học

1 1 1 1 1 1

( , ) ( , ) ( , )( , ) ( , ) ( , )

b A

Vector V=(vx,vy) là vector vận tốc của điểm đặc trưng theo chiều x và y [33], thể hiện

sự thay đổi vị trí của điểm ảnh từ khung hình thứ t sang khung hình thứ t+1

Phân tích thành phần chính (Principal component analysis – PCA) là kỹ thuật phân tích dữ liệu với mục tiêu là trích xuất các thông tin quan trọng từ dữ liệu thống kê, ứng dụng phổ biến trong việc giảm chiều dữ liệu [34]

Ý tưởng trung tâm của phương pháp này là dùng các phép biến đổi không gian vector

để giảm kích thước tập dữ liệu mà trong đó có lượng lớn các biến liên quan lẫn nhau Việc này được thực hiện bằng cách xác định mẫu dữ liệu và thể hiện dữ liệu để làm nổi bật điểm giống và khác nhau giữa chúng Việc tính toán các thành phần chính là bài toán tính trị riêng của ma trận đối xứng bán xác định dương

Phương pháp PCA thực hiện theo các bước sau để phân tích thành phần chính (giảm chiều dữ liệu)

1 Nhận dữ liệu Dữ liệu gồm nhiều biến (chiều) trong đó có chiều chính cần trích xuất

2 Trừ trung bình Giá trị trung bình của toàn bộ dữ liệu trừ cho mỗi giá trị dữ liệu Điều này tạo ra tập dữ liệu có giá trị trung bình bằng 0

3 Tính toán ma trận hiệp phương sai

4 Tính toán Eigenvectors (vector riêng) và Eigenvalues (giá trị riêng) của ma trận hiệp phương sai

5 Chọn thành phần và chọn vector đặc trưng

6 Tạo tập dữ liệu mới

Có thể hiểu rằng PCA chiếu dữ liệu theo các hướng mà dữ liệu thay đổi nhiều nhất Các hướng này được xác định bằng các giá trị riêng của ma trận hiệp phương sai tương ứng với các giá trị riêng lớn nhất Độ lớn của các giá trị riêng tương ứng với phương sai của dữ liệu

Độ lệch chuẩn (Standard Deviation)

Độ lệch chuẩn là căn bậc hai dương của trung bình cộng các bình phương của tất cả

độ lệch so với giá trị trung bình cộng Độ lệch chuẩn thường được ký hiệu là σ Bình phương của độ lệch chuẩn gọi là phương sai Vì vậy phương sai được ký hiệu là σ2

Xi là phần tử thứ i của mẫu

n là tổng số mẫu

Phương sai (variance)

Phương sai là thước đo về sự lan truyền dữ liệu trong một tập dữ liệu, là giá trị trung bình của độ lệch ở mỗi số hạng so với giá trị trung bình cộng của toàn bộ dữ liệu

Hiệp phương sai (covariance)

Hiệp phương sai là độ đo sự biến thiên cùng nhau của hai biến ngẫu nhiên X và Y, kí hiệu là Cov(X,Y)

Ma trận hiệp phương sai (covariance matrix)

Ma trận hiệp phương sai của tập hợp n biến ngẫu nhiên (chiều), kí hiệu CM*N, là một

ma trận vuông (n × n), trong đó các phần tử nằm trên đường chéo (từ trái sang phải,

từ trên xuống dưới) lần lượt là phương sai tương ứng của các biến này

với Dimx là chiều thứ x

Ma trận hiệp phương sai của dữ liệu 2 chiều (x và y) gồm 2 hàng, 2 cột như sau:

( ) ( , )( , ) ( )

Eigenvectors and Eigenvalues

Eigenvectors and Eigenvalues là số và vector được liên kết với ma trận vuông cung cấp sự phân rã riêng (eigen) dùng để tìm tối đa hoặc tối thiểu của các hàm liên quan đến ma trận PCA thu được từ sự phân rã eigen của hiệp phương sai và ma trận hiệp phương sai

Có nhiều cách để xác định eigenvectors và eigenvalues, cách phổ biến nhất để xác định eigenvector là xem nó như vector u của ma trận A nếu độ dài của nó thay đổi khi nhân với A

Au=hay (A−I u) = 0 (2.20)

λ chính là đại lượng vô hướng eigenvalue được liên kết với eigenvector

Sau khi tìm thấy các eigenvalue từ ma trận hiệp phương sai, sắp xếp chúng theo thứ

tự từ cao nhất đến thấp nhất Eigenvector có eigenvalue cao nhất là thành phần chính của tập dữ liệu Tức là, ta chỉ chọn eigenvector đầu tiên ứng với eigenvalue cao nhất

Nếu dữ liệu ban đầu có 2 chiều, thì ta có 2 eigenvectors Ta loại bỏ vector đặc trưng (feature vector) có giá trị nhỏ hơn Sau đó thực hiện giảm chiều dữ liệu bằng cách chuyển vị vector đặc trưng (ta được Row Feature Vector) và nhân nó với bên trái của tập dữ liệu ban đầu (Row Data Adjust)

Final Data = Row Feature Vector × Row Data Adjust

Chương 3 QUÁ TRÌNH THỰC HIỆN

Chương 1 đã trình bày sự cần thiết của việc theo dõi nhịp thở, cũng như tóm tắt các phương pháp và kỹ thuật theo dõi nhịp thở đã được nghiên cứu thực nghiệm và những hạn chế của nó Khó khăn của các phương pháp hiện tại là sự hạn chế về kỹ thuật theo dõi chuyển động nhỏ trong khung hình có góc ảnh lớn, nên hầu hết các nghiên cứu đã

sử dụng camera với góc hẹp để dễ theo dõi chuyển động do thu được hình ảnh đối tượng lớn Hơn nữa các nghiên cứu này khó ứng dụng vào môi trường ngủ ở Việt Nam bởi vì giường kích thước lớn được bố trí ở các phòng ngủ để tạo cảm giác thoải mái Chương này tập trung vào việc giải quyết bài toán theo dõi nhịp thở sử dụng camera góc rộng nhằm theo dõi nhịp thở khi đối tượng linh hoạt thay đổi tư thế, vị trí khác nhau trên giường

Phương pháp theo dõi nhịp thở trong luận văn dựa trên việc theo dõi chuyển động lên xuống của các điểm đặc trưng ở khoang ngực (vùng ngực – bụng) của đối tượng Việc

sử dụng camera góc rộng làm cho vùng ngực bụng của đối tượng trở nên nhỏ lại trong khung hình, từ đó các chuyển động thở do khoang ngực gây ra có độ di chuyển rất nhỏ, khó giám sát Để giải quyết vấn đề này, khu vực chứa đối tượng trong khung hình được phóng to nhằm phóng to độ di chuyển lên xuống của khoang ngực khi hô hấp Các đặc trưng ảnh trong khu vực phóng to được trích xuất, theo dõi và đo tần số để đưa ra dự đoán nhịp thở

Chương này trình bày cụ thể cấu trúc của hệ thống và giải thuật xử lý để đo nhịp thở của đối tượng đang ngủ (trẻ sơ sinh và người có nguy cơ đột quỵ) Cấu trúc của hệ thống đưa ra bức tranh tổng quát về thiết bị, cách lắp đặt, trung tâm xử lý của hệ thống Giải thuật theo dõi nhịp thở là quá trình xử lý hình ảnh bằng cách kết hợp các giải thuật thị giác máy tính, bao gồm nhận dạng đối tượng bằng mô hình mạng thần kinh nhân tạo YOLOv4, trích xuất và theo dõi đặc trưng bằng thuật toán luồng quang học (optical flow) và phương pháp phân tích thành phần chính (PCA) để xác định chiều

chuyển động thở Cuối cùng, nhịp thở được đo thông qua việc tính toán số lần tín hiệu thở đạt đỉnh trong 1 phút

Hệ thống theo dõi nhịp thở bao gồm một camera thu video đối tượng ngủ đưa về máy tính và một máy tính để xử lý video đưa kết quả nhịp thở Dữ liệu video từ camera đến máy tính được truyền qua mạng cục bộ (LAN) (Hình 3.1)

Đối tượng nằm trên giường kích thước 1.6m x 2m hoặc 1.8m x 2m (chiều dài x chiều rộng)

Video đối tượng ngủ được thu bằng IPC-C22EP-A-IMOU camera, độ phân giải 2 megapixel (1920×1080), tốc độ 20 khung hình/ giây

Video được xử lý trên máy tính thông qua nền tảng ngôn ngữ Python, với sự hỗ trợ của thư viện OpenCV, tensorflow và các gói hỗ trợ khác

Hình 3.1 Sơ đồ cấu trúc hệ thống

Máy tính

Camera Đối tượng

3.1.1 Lắp đặt camera

Nhịp thở được theo dõi dựa trên sự dịch chuyển lên xuống có chu kỳ của vùng ngực – bụng và khu vực bị ảnh hưởng bởi dao động này của đối tượng Do đó, camera cần được lắp đặt xéo góc so với hướng di chuyển lên xuống này để có thể nhìn thấy nhiều

Hình 3.2 Góc lắp đặt camera so với hướng di chuyển hô hấp