Thiết kế phần mềm phát hiện người té ngã sử dụng camera

Thiết kế phần mềm phát hiện người té ngã sử dụng camera

Mục lục

Lời nói đầu 1

Tóm tắt đồ án 2

Danh sách hình vẽ 4

Danh sách các bảng biểu 7

Phần mở đầu 8

Chương 1: Tổng quan vấn đề phát hiện té ngã ở những người cao tuổi 10

1.1 Thực trạng vấn đề ngã ở người cao tuổi 10

1.2 Vai trò của hệ thống phát hiện té ngã ở người lớn tuổi 11

1.3 Các hệ thống Phát hiện té ngã đã có trên thế giới 12

1.3.1 Tổng quan các hệ thống hiện có 12

1.3.2 Thiết bị phát hiện té ngã sử dụng cảm biến 15

1.3.3 Thiết bị phát hiện té ngã sử dụng camera 22

1.3.4 So sánh các hệ thống hiện có 30

1.4 Phương pháp thực hiện đề tài 31

Chương 2: Cơ sở lý thuyết 33

2.1 Giới thiệu về hệ thống xử lý ảnh 33

2.2 Thu nhận ảnh 35

2.2.1 Các thiết bị thu nhận ảnh 35

2.2.2 Lấy mẫu và lượng tử hóa 37

2.2.3 Một số phương pháp biểu diễn ảnh 39

2.2.4 Các định dạng ảnh cơ bản 40

2.3 Xử lý nâng cao chất lượng ảnh 40

2.3.1 Cải thiện ảnh sử dụng các toán tử điểm 41

2.3.2 Cải thiện ảnh dùng toán tử không gian (Spatial Operators) 44

2.3.3 Các phép toán hình thái học 47

2.3.4 Khôi phục ảnh 49

2.4 Phương pháp phát hiện biên 51

2.4.1 Kỹ thuật phát hiện biên 51

2.4.2 Phương pháp phát hiện biên cục bộ 52

ii

2.4.3 Phát hiện biên gián tiếp 55

2.5 Phân vùng ảnh 56

2.5.1 Phân vùng ảnh dựa vào lấy ngưỡng 56

2.5.2 Phân vùng dựa vào đường biên 57

2.5.3 Phân vùng dựa theo miền/vùng 58

2.6 Nhận dạng ảnh và nén ảnh 60

2.6.1 Nhận dạng ảnh 60

2.6.2 Nén ảnh 60

2.7 Các kỹ thuật hậu xử lý 61

2.7.1 Rút gọn số lượng điểm biểu diễn 61

2.7.2 Xấp xỉ đa giác bởi các hình cơ sở 63

Chương 3: Xây dựng hệ thống phát hiện té ngã ở người lớn tuổi 66

3.1 Các công cụ sử dụng 66

3.1.1 Microsoft Visual C++ 66

3.1.2 OpenCV trên nền Visual C++ 67

3.2 Xây dựng hệ thống phát hiện té ngã 69

3.2.1 Thu nhận Video 69

3.2.2 Tách đối tượng ra khỏi khung nền 70

3.2.3 Xác định tỉ lệ khung, góc 75

3.2.4 Xác định ngã dựa vào tỉ lệ khung, góc 75

3.2.5 Phát tín hiệu cảnh báo 78

3.2.6 Lưu đồ thuật toán 79

3.3 Kết quả thu được 80

3.3.1 Giao diện của hệ thống 80

3.3.2 Tổng thể hệ thống – Kết quả 83

Chương 4: Kết luận 87

4.1 Các kết quả đã đạt được 87

4.2 Những tồn tại và hướng phát triển 87

Tài liệu tham khảo 88

Lời nói đầu

Chúng em xin chân thành cảm ơn Thầy giáo, Thạc sĩ Nguyễn Việt Dũng, người

đã hướng dẫn tận tình chỉ bảo chúng em rất nhiều trong suốt quá trình tìm hiểu nghiên cứu và hoàn thành đồ án này từ lý thuyết đến ứng dụng Sự hướng dẫn của thầy đã giúp chúng em có thêm kiến thức về lập trình và kiến thức về xử lý ảnh Đồng thời chúng em xin chân thành cám ơn các thầy cô trong Viện Điện tử - Viễn thông trường Đại học Bách Khoa Hà Nội, cũng như các thầy cô trong trường

đã trang bị cho chúng em những kiến thức cơ bản cần thiết trong suốt thời gian học tập tại trường để chúng em có thể hoàn thành tốt đồ án này

Trong quá trình học cũng như trong suốt thời gian làm tốt nghiệp không tránh khỏi những thiếu sót, chúng em rất mong được sự góp ý quý báu của các thầy cô cũng như tất cả các bạn để kết quả của em được hoàn thiện hơn

Sau cùng, chúng em xin gửi lời cảm ơn đến gia đình bạn bè đã tạo mọi điều kiện để chúng em xây dựng thành công đồ án này

Chúng em xin chân thành cảm ơn!

Hà Nội, ngày 10 tháng 06 năm 2013

Nhóm Sinh viên

2

Tóm tắt đồ án

Trong khuôn khổ đề tài tốt nghiệp, cùng với việc tìm hiểu các bài báo trong và ngoài nước, tìm hiểu các sản phẩm thương mại liên quan đến phát hiện té ngã, kết hợp với lý thuyết xử lý ảnh, nhóm em nghiên cứu và đưa ra phần mềm phát hiện té ngã sử dụng một camera quan sát Nội dung của đồ án gồm có:

Chương 1: Tổng quan vấn đề phát hiện té ngã ở những người lớn tuổi

Chương này đưa ra vấn đề nguy cơ ngã và vai trò của hệ thống phát hiện té ngã

ở người lớn tuổi Nhóm nghiên cứu sơ đồ khối chức năng của hệ thống phát hiện té ngã nói chung và một số sản phẩm thương mại liên quan Từ đó đưa ra phương pháp nghiên cứu, thực hiện đề tài của nhóm

Chương 2: Cơ sở lý thuyết

Chương này nói về cơ sở lý thuyết xử lý ảnh, bao gồm các kỹ thuật nâng cao chất lượng ảnh, các phương pháp phát hiện biên, phân vùng ảnh và các kỹ thuật hậu

xử lý ảnh Đây đều là những lý thuyết xử lý ảnh quan trọng mà nhóm đã nghiên cứu

để áp dụng vào đề tài

Chương 3: Xây dựng hệ thống phát hiện té ngã ở người lớn tuổi

Chương này đưa ra các công cụ mà nhóm sử dụng để nghiên cứu đề tài, bao gồm Microsoft Visual C++ và OpenCV Dựa vào 2 công cụ trên, nhóm xây dựng nên hệ thống phát hiện té ngã ở người lớn tuổi dùng một camera quan sát Chương 3 còn đề cập đến cấu trúc hệ thống nhóm đã làm và các kết quả đạt được

Chương 4: Kết luận

Sau 3 tháng nghiên cứu nhóm đã hoàn thành đề tài với kết quả cao Phần mềm phát hiện té sử dụng một camera quan sát của nhóm thực hiện được với độ chính xác lên tới 90% Trong tương lai, nhóm hy vọng có thể phát triển phần mềm thành sản phẩm thương mại

3

ABSTRACT

In the framework of the thesis, along with the understanding of the paper at home and abroad, the refering of the trade products related to detecting falls combined with theoretical image processing, we researched and provided a software

to detect falls using a single camera The content of our project include:

Chapter 1: Overview of the problems of Fall Dectection at older people

This chapter find out some fall risks and a role of Fall detection systems at senior citizen We find out about som function block diagram and some commercial products involved of the Fall detection system Since then we provide the research methods, to implement our project

Chapter 2: Theoretical Foundations

This chapter is about the image processing theoretical basis, including the techniques for improving the quality of digital image, edge detection methods, image segmentation and image post-processing techniques Those are the important theories of image processing that we research to apply for our project

Chapter 3: Building Fall detection system for elderly people

This chapter offers the tools that we used to research, including Microsoft Visual C + + and OpenCV Based on them, we built the Fall detection system for elderly people using a single camera Chapter 3 also refers to the system architecture that we has made and the results we achieved

Chapter 4: Conclusion

After 3 months of the studying, we completed our project with a good results The Fall detection software using a single camera have an accuracy up to 90% In the future work, we hope to develop this software into the commercial products

4

Danh sách hình vẽ

Hình 1.1: Sơ đồ khối tổng quan hệ thống kết hợp cảm biến và camera 14

Hình 1.2: Mô tả hệ thống SmartCane 15

Hình 1.3 Cấu trúc hệ thống, tương tác dữ liệu giữa các nút cảm biến 19

và nút giám sát 19

Hình 1.4 Kết quả phân loại dựa trên mô hình SVM 21

Hình 1.5 Minh họa vector Vv và Vh 24

Hình 1.6 Tổng quan về thuật toán phát hiện té ngã 25

Hình 1.7 Mô tả hình elip bao quanh người 28

Hình 2.1 Các bước cơ bản trong xử lý ảnh 33

Hình 2.2 Sơ đồ phân tích và xử lý ảnh, và lưu đồ thông tin giữa các khối 35

Hình 2.3 Hệ tọa độ RGB 37

Hình 2.4 Các dạng mẫu điểm ảnh 38

Hình 2.5 Hướng các điểm biên và mã tương ứng : A11070110764545432 39

Hình 2.6 Dãn độ tương phản 41

Hình 2.7 Tách nhiễu và phân ngưỡng 42

Hình 2.8 Biến đổi âm bản 42

Hình 2.9 Thực hiện gần đúng cân bằng mức xám đồ 43

Hình 2.10 Ảnh sau Dilation 48

Hình 2.11 Ảnh sau phép erosion 48

Hình 2.12 Ảnh sau open và close 49

Hình 2.13 Quá trình phát hiện và lưu trữ ảnh 50

Hình 2.14 Kỹ thuật lọc ngược 51

Hình 2.15 Dạng phân bố (profile) độ sáng và vi phân bậc nhất (gradien) của đường viền 1 chiều thông thường 52

Hình 2.16 Mô hình phát hiện đường biên dùng toán tử Gradient 53

Hình 2.17 Profile độ sáng, vi phân bậc nhất và bậc hai (Laplace) của đường viền 1 chiều thông thường 54

Hình 2.18 Mô hình phát hiện đường biên dùng toán tử Laplace 55

Hình 2.19 Phân vùng ảnh 56

5

Hình 2.20 Các bước phân vùng dựa vào đường biên 57

Hình 2.21 Phát triển vùng liên kết trọng tâm (CLRG) 59

Hình 2.22 Sơ đồ tổng quát hệ thống nhận dạng ảnh 60

Hình 2.23: Đơn giản hóa đường công theo thuật toán Douglas Peucker 61

Hình 2.24: Đơn giản hóa đường cong với thuật toán Band Width 62

Hình 2.25: Đơn giản hóa đường cong với thuật toán Angles 63

Hình 2.26: Xấp xỉ đa giác bằng đường tròn 64

Hình 2.27: Xấp xỉ đa giác bằng hình chữ nhật 65

Hình 3.1: Sơ đồ khối hệ thống 69

Hình 3.2: Sơ đồ khối tiền xử lý 70

Hình 3.3: Ảnh RGB và ảnh mức xám của nền và khung hình 71

Hình 3.4: Lọc trung vị 71

Hình 3.5: hình ảnh thử nghiệm thuật toán tìm sự sai khác giữa hai ảnh mức xám 72

Hình 3.6: Kết quả tìm sự sai khác giữa ảnh nền và khung hình trong video 72

Hình 3.7: Ảnh sai khác sau khi lọc trung vị 73

Hình 3.8: Nhị phân hóa với các mức ngưỡng khác nhau 73

Hình 3.9: Lấp đầy lỗ trống bằng phép toán hình thái học đóng ảnh 74

Hình 3.10: Xác định hình chữ nhật và elip bao quanh đối tượng 75

Hình 3.11: thống kê tỉ lệ khung của trạng thái đứng 75

Hình 3.12: thống kê tỉ lệ khung của trạng thái ngồi 76

Hình 3.13: thống kê tỉ lệ khung của trạng thái ngã 76

Hình 3.14: thống kê góc trạng thái đứng 76

Hình 3.15: thống kê góc trạng thái ngồi 77

Hình 3.16 Thống kê góc trạng thái ngã 77

Hình 3.17: Các mức ngưỡng nhận diện các trạng thái 78

Hình 3.18: Cảnh báo trên màn hình 78

Hình 3.19: Giao diện báo đứng 80

Hình 3.20: Giao diện báo ngồi 81

Hình 3.21 Giao diện cảnh báo ngã 81

82

6

Hình 3.22: Giao diện báo ngã 82

Hình 3.23: Thử nghiệm ngoài trời sân D4 – Đại học Bách Khoa Hà Nội 83

Hình 3.24: Thử nghiệm ngoài trời sân thượng gia đình 83

Hình 3.25: Thử nghiệm hành lang tối – sảnh D4, ĐH BK HN 84

Hình 3.26: Thử nghiệm trong nhà 85

Hình 3.27: Thử nghiệm trong nhà 85

7

Danh sách các bảng biểu

Bảng 1.1 Thông tin của đối tượng thí nghiệm 17

Bảng 1.2 Tỉ lệ phát hiện té ngã của bốn loại ngã khác nhau 17

Bảng 1.3 Tỷ lệ khẳng định sai của các hành động 18

Bảng 1.4: Bảng thống kê độ chính xác của các đặc tính ngã 29

Bảng 3.1: Các khái niệm 86

Bảng 3.2: Thống kê thử nghiệm 86

8

Phần mở đầu

Tuổi thọ cao đi đôi với chăm sóc sức khỏe tăng cao Việc kéo giảm những yếu

tố nguy cơ dễ gây tai nạn cho người cao tuổi là hết sức quan trọng Nếu như chúng

ta cho rằng tuổi già là một thách thức của nhân loại thì tai nạn té ngã ở người già là một thách thức to lớn Mỗi năm, trên thế giới có đến 1/3 đến ½ dân số ở độ tuổi trên

65 bị ngã Trong số đó, một nửa bị ngã tái diễn nhiều lần Ngã là nguyên nhân hàng đầu cho các chấn thương của người già và cũng là nguyên nhân chủ yếu dẫn tới các

ca tử vong do tại nạn của người già trên 75 tuổi, ước tính khoảng 70% số các ca tử vong do tai nạn Hơn 90% các ca gãy xương chậu xảy ra do bị ngã, với hầu hết các

ca gãy xương đều xảy ra ở người trên 70 tuổi Và tại Việt Nam, ước tính có khoảng 1,5-1,9 triệu người cao tuổi té ngã mỗi năm Với sự phát triển của xã hội, khi những người trẻ không có đủ thời gian chăm sóc cho người già thì những tai nạn về ngã sẽ tiếp tục tăng trong những năm tiếp theo

Nhiều người cao tuổi sống một mình do con cái đi xa hoặc phải ở nhà một mình khi con họ đi làm Có rất nhiều trường hợp người cao tuổi sau khi ngã thì không thể

tự đứng lên hoặc gọi được sự giúp đỡ từ người khác Vì vậy, trên thế giới đã có rất nhiều nhà sản xuất đưa ra sản phẩm phát hiện té ngã dành cho người cao tuổi Nhiệm vụ trước tiên đặt ra của một hệ thống phát hiện người già ngã là họ có thể qua đó gọi được sự giúp đỡ ngay cả khi đã rơi vào tình trạng vô thức hoặc không thể tự đứng dậy sau khi ngã

Để phát hiện người bị ngã một cách chính xác nhất cần một hệ thống sử dụng đồng thời hai thiết bị là cảm biến gia tốc gắn trên người và camera quan sát kết nối với máy tính gắn trong phòng của người già Hệ thống sử dụng các thuật toán phân tích dựa trên các dữ liệu nhận được từ cảm biến và camera đồng thời nhận biết các trạng thái “ngã” và “không ngã” Nếu phát hiện người bị ngã sau một khoảng thời gian nhất định không thấy đứng lên hệ thống sẽ đưa ra cảnh báo cho người sử dụng

là người thân hoặc bác sỹ, chăm sóc viên…

Hiện tại, ở Việt Nam có rất ít các sản phẩm hỗ trợ phát hiện té ngã Sau khi đã nghiên cứu các phương pháp phát hiện té ngã trên thế giới và nhận thấy tầm quan

có bị ngã hay không

Đồ án được chia làm các chương như sau:

Chương 1: Tổng quan về các phương pháp phát hiện té ngã Chương này

đưa ra một số phương pháp phát hiện té ngã đã được ứng dụng trên thế giới Đồng thời đưa ra các ưu, nhược điểm của các phương pháp đó Từ đó đưa ra phương pháp phát hiện té ngã được sử dụng trong đề tài của nhóm

Chương 2: Cơ sở lý thuyết Chương này đưa ra các cơ sở lý thuyết chung

được sử dụng để làm đề tài của nhóm

Chương 3: Xây dựng hệ thống phát hiện té ngã ở người cao tuổi Chương

này giới thiệu các công cụ sử dụng để thực hiện đề tài, đưa ra các thuật toán áp dụng để xây dựng được chương trình phát hiện té ngã, cuối cùng là trình bày kết quả thu được của quá trình nghiên cứu và thực hiện đề tài

Chương 4: Đưa ra các Kết luận công việc đã hoàn thành, các hạn chế và dự

định nghiên cứu trong tương lai của nhóm

10

Chương 1: Tổng quan vấn đề phát hiện té ngã ở những người

cao tuổi

1.1 Thực trạng vấn đề ngã ở người cao tuổi

Ngã là một nguy cơ lớn ảnh hưởng đến sức khỏe, làm giảm chất lượng cuộc sống những người cao tuổi Mỗi năm, trên thế giới có từ 1/3 đến 1/2 dân số ở độ tuổi trên 65 bị ngã Trong số đó, một nửa bị ngã tái diễn nhiều lần Ngã là nguyên nhân hàng đầu của các chấn thươngvà cũng là nguyên nhân chủ yếu dẫn tới các ca

tử vong do tại nạn ở người già trên 75 tuổi, con số ước tính khoảng 70% Hơn 90% các ca gãy xương chậu xảy ra do bị ngã, và hầu hết đều xảy ra ở người trên 70 tuổi[1][2]

Với sự phát triển của xã hội,

khi những người trẻ không có

đủ thời gian chăm sóc cho ông

bà, cha mẹ, nhiều người cao tuổi

phải sống một mình do con cái

đi xa hoặc ở nhà một mình khi

con họ đi làm Có rất nhiều

trường hợp người cao tuổi sau khi ngã thì không thể tự đứng lên hoặc không thể gọi

sự giúp đỡ từ người khác Còn với những người già trong nhà dưỡng lão, các nhà nghiên cứu ước tính có đến 50% người già ngã mỗi năm và hơn 40% trong số họ ngã nhiều lần[3] Không chỉ gây ra những vết thương thể xác như gãy xương, trật

[1] Koen Milisen, Els Detroch, Kim Bellens, Tom Braes, Katrien Dierickx, Willy Smeulders, Stefan Teughels, Eddy Dejaeger, Steven Boonen, and Walter Pelemans, “Falls among community-dwelling elderly: a pilot

study of prevalence, circumstances and consequences in flanders,” Tijdschr Gerontol Geriatr, vol 35, no 1,

pp 15 20, 2004

[2] M E Tinetti, ”Preventing falls in elderly persons,” New England Journal of Medicine, vol 348, no 1, pp

42 49, 2003, 57 MASSACHUSETTS MEDICAL SOC/NEJM WALTHAM 630WY

[3] P A Stalenhoef, J P M Diederiks, J A Knottnerus, A D M Kester, and Hfjm Crebolder, “A risk model for the prediction of recurrent falls in community-dwelling elderly: A prospective cohort study,”

Journal of Clinical Epidemiology, vol 55, no 11, pp 1088 1094, 2002, 39 PERGAMON-ELSEVIER

1.2 Vai trò của hệ thống phát hiện té ngã ở người lớn tuổi

Một hệ thống phát hiện té ngã phải đảm bảo các yếu tố sau:

 Luôn theo sát các hoạt động của người cao tuổi

 Phát hiện chính xác tình trạng của người già, điển hình ở hệ thống này là hai trạng thái “Ngã” và “Không ngã”

 Đưa ra cảnh báo kịp thời

Sử dụng một hệ thống phát hiện té ngã sẽ mang lại các lợi ích:

 Đối với người cao tuổi:

o Kịp thời can thiệp vào những tình huống khẩn cấp

o Thay người già đưa ra lời gọi giúp đỡ khi họ không thể tự mình làm điều đó

o Tạo cảm giác an toàn, tâm lý thoải mái khi sử dụng

 Đối với người trẻ:

o Dù không phải là sự thay thế hoàn toàn cho việc chăm sóc người cao tuổi, nhưng đây là một giải pháp để tăng tính an toàn khi những người con, cháu không thể dành sự theo dõi trực tiếp, liên tục tới ông bà, cha mẹ

o Tạo cảm giác yên tâm khi luôn theo sát và giải quyết được những tình huống khẩn cấp của người cao tuổi

SCIENCE LTD OXFORD 628TM

Một số sản phẩm phát hiện té ngã:

Fall detector ZigBee™ Blue Alert Fall Detection Sensor[4]

Các dòng sản phẩm Phát hiện té ngã được chia ra làm 2 nhóm chính: Nhóm sản phẩm sử dụng cảm biến gắn trên người và nhóm sản phẩm sử dụng camera theo dõi

[4] http://www.bluealertalarm.com/index.cfm?page=equipment

13

Thiết bị Phát hiện té ngã sử dụng cảm biến được đeo trên cơ thể người cao tuổi-

ở đây thường sử dụng cảm biến gia tốc - để phát hiện hướng, độ lớn gia tốc dọc theo một trục nhất định - thường là ba trục x, y, z,từ đó có thể tính toán được góc độ của một người so với mặt đất và phát hiện người đó bị ngã hay không Thiết bị sẽ tự động gọi giúp đỡ khi người đó ngã hoặc khi xuất hiện một khoảng thời gian bất thường không có chuyển động – cho thấy đó có thể là một trạng thái khẩn cấp Bên cạnh đó, như một thiết bị y tế, sản phẩm có một nút để gọi sự giúp đỡ từ người thân giống như nút nhấn SOS trên điện thoại người già đã được một số nhà mạng viễn thông Việt Nam ứng dụng trên sản phẩm của họ

Thiết bị Phát hiện té ngã sử dụng camera theo dõi lại thường được ứng dụng trong nhà.Camera được gắn trong khu vực sinh hoạt, chịu trách nhiệm ghi lại hình ảnh theo thời gian thực và gửi cho máy tính xử lý nhằm phân loại người già ngã hay không Với sản phẩm này chi phí sẽ thấp hơn, thêm vào đó người cao tuổi không phải vướng bận việc quên mang theo bên người như khi sử dụng cảm biến, dĩ nhiên

ở chiều ngược, nhược điểm của nó lại chính là chỉ sử dụng được trong một phạm vi nhất định

Nêu trên là hai nhóm sản phẩm đang được ứng dụng và nghiên cứu trên thế giới, bên cạnh đó nếu sử dụng đồng thời cảm biến gắn trên người và camera theo dõi để Phát hiện té ngã, chắc chắn kết quả sẽ chính xác hơn Đó là sự kết hợp tốt nhất để giải quyết những trường hợp người già đi vào khu vực camera không quan sát được thì vẫn có thể xác định trạng thái thông qua cảm biến Tuy nhiên với hệ thống này chi phí sẽ cao hơn nhiều, đồng thời khả năng tối ưu thương mại sẽ gặp nhiều trở ngại Dưới đây là sơ đồ khối chức năng của hệ thống phát hiện té ngã dựa vào cảm biến gia tốc và camera quan sát

14

Hình 1.1: Sơ đồ khối tổng quan hệ thống kết hợp cảm biến và camera

Nêu trên là tổng quan về các hệ thống Phát hiện té ngã đã được nghiên cứu và thực hiện trên thế giới Các phương pháp và sản phẩm cụ thể sẽ được trình bày ở phần dưới đây

So sánh với góc được quy định là “ngã”

Đếm thời gian không trở về trạng thái “Không ngã”

Quá thời gian truyền tín hiệu đến

15

1.3.2 Thiết bị phát hiện té ngã sử dụng cảm biến

Trên thế giới, các thiết bị Phát hiện té ngã sử dụng cảm biến đã trở nên rất thông dụng Sau đây là hai sản phẩm nổi bật trong nhóm này: chiếc gậy SmartFall và máy

hỗ trợ Vector

a) SmartFall

Giới thiệu

Các nhà nghiên cứu đã chỉ ra rằng: chân yếu, rối loạn dáng đi, rối loạn cân bằng

là nguyên nhân chính của các sự cố té ngã Phần lớn người cao tuổi sử dụng gậy để khắc phục các vấn đề này Sản phẩm SmartFall được phát triển từ nền tảng trước đó: SmartCane - một chiếc gậy được thiết kế hiện đại, bao gồm một bộ cảm biến và một bộ phát tín hiệu wireless.Dữ liệu cảm biến sẽ được chuyển tới một thiết bị cá nhân ở xa Mục tiêu của hệ thống này là để tự động cảnh báo khẩn cấp cho người thân khi người sử dụng gậy ngã và không thể gọi sự giúp đỡ

Cấu trúc hệ thống

Hình 1.2: Mô tả hệ thống SmartCane

Mô tả Hình 1.2: Hệ thống SmartCane bao gồm ba thành phần cơ bản:

● Một bộ cảm biến (sensors) với tín hiệu đầu ra là tín hiệu biểu thị chuyển động, lực, và áp lực

16

● Một bộ phận thu nhận tín hiệu từ bộ cảm biến(acquisition unit) và giao tiếp với các thiết bị bên ngoài thông qua một liên kết không dây wireless

● Một thiết bị cá nhân (personal device)thu thập và xử lý dữ liệu được gửi từ

bộ phận thu nhận tín hiệu từ bộ cảm biến

Diễn giải Hình 1.2:

Cảm biến trên gậy SmartCane bao gồm một gia tốc kế ba trục, ba trục con quay

hồi chuyển tín hiệu và hai cảm biến áp lực Các con quay hồi chuyển đặt vuông góc với nhau để đo tốc độ góc trong không gian ba chiều, và gia tốc kế được gắn gần tay cầm của gậy với góc nghiêng 30 từ hướng của trọng lực Hai cảm biến áp lực được gắn vào tay cầm và đầu gậy Ngoài ra nhà sản xuất còn kết hợp thêm cảm biến đo vận tốc rơi của gậy để tăng tính chính xác khi phân biệt các hoạt động bình thường với té ngã

Bộ phận thu nhận tín hiệu bao gồm một bộ xử lý MicroLEAP bảng Bluetooth

trên bề mặt Mỗi kênh đầu vào cảm biến có thể lấy mẫu tại một tỉ lệ lên đến 300Hz Đối với ứng dụng SmartCane, lấy mẫu được chọn ở 26Hz Đơn vị này rất hiệu quả trong việc hỗ trợ lấy mẫu liên tiếp trong hơn 20 giờ Bluetooth truyền tải dữ liệu bằng cách sử dụng 6 pin cỡ AA-2200mAh

Thiết bị cá nhân có thể là thiết bị di động bất kì mà có hỗ trợ Bluetooth Ở đây,

chọn một máy tính bảng cho dễ dàng lập trình và hiển thị dữ liệu, thuật toán có thể

dễ dàng được gửi tới điện thoại di động hoặc PDA Tín hiệu gửi đến được nhận và ghép thành một file Phần mềm SmartFall sau đó đọc trực tiếp từ file và thực hiện các thuật toán phát hiện trong một thời gian thực gần nhất

Kết quả

Hiệu quả của SmartFall được đo thông qua một loạt các thí nghiệm Những thí nghiệm này được xây dựng để đánh giá tỉ lệ phát hiện té ngã (khẳng định đúng) và khả năng phân biệt các hoạt động trong cuộc sống không phải là té ngã (khẳng định sai)

Các nhà sản xuất đã chọn ba đối tượng khám sức khỏe để thực hiện thí nghiệm

Hồ sơ của họ được thể hiện trong bảng 1.1 Các đối tượng được chọn để nghiên cứu khả năng ảnh hưởng của trọng lượng và chiều cao tớikết quả cuối cùng

 Ngã về phía trước: ngã xuống do vấp, hoặc sẩy chân

 Ngã về đằng sau: ngã do trượt chân

 Ngã về một bên: ngã do mất cân bằng

 Ngã tự do: ngã không có vật cản trở do mất kiểm soát

Mỗi loại ngã được thực hiện 30 lần Các kết quả được liệt kê trong Bảng 1.2 cho thấy một tỉ lệ phát hiện gần 100% cho bốn loại ngã được thực hiện bởi ba đối tượng,

sự khác biệt về trọng lượng và chiều cao giữa các đối tượng ít ảnh hưởng đến kết quả cuối cùng

Bảng 1.2 Tỉ lệ phát hiện té ngã của bốn loại ngã khác nhau

 Đi chậm: đi bộ với gậy ở tốc độ nhỏ hơn một bước/giây

18

 Đi nhanh: đi bộ với gậy ở tốc độ khoảng 2 bước/giây

 Ngồi và Đứng: đứng lên với sự giúp đỡ của gậy từ trạng thái ngồi

 Đứng: Vẫn đứng yên với một phần nhỏ trọng lượng dồn vào gậy

 Rung gậy: đong đưa gậy với tần suất khoảng 1Hz với một góc nhỏ hơn 30 độtừ trục thẳng đứng

 Đặt lên đùi: cầm gậy đang ở hướng thẳng đứng và đặt trên đùi khi ngồi Tất cả các trường hợp(trừ Đứng) vẫn được thực hiện 30 lần với cả 3 đối tượng thí nghiệm Riêng trường hợp Đứng được thí nghiệm trong 30 giây đứng yên Tỉ lệ khẳng định saiđược thể hiện trong Bảng 1.3

 Nó là hình ảnh thu nhỏ của một hệ thống y tế không dây (PNI)

 SmartFall có 1 tỉ lệ phát hiện té ngã cao hơn và chi phí thấp hơn so với các hình thức phát hiện té ngã PNI khác Ví dụ như: dãy cảm biến tia hồng ngoại, cảm biến rung, hệ thống phân tích âm thanh-hình ảnh,

 Quan trọng hơn, hệ thống SmartFall không yêu cầu thiết lập các khu vực giám sát đặc biệt và do đó ít bị ảnh hưởng bởi sự di động của người dùng

Kết luận

Trên đây là chiếc gậy SmartFall, một thiết bị tự động phát hiện té ngã, phát triển dựa trên nền tảng SmartCane.SmartFall sử dụng bộ cảm biến gia tốc và bộ phát

19

bluetooth để phát hiện té ngã Một số thí nghiệm mô phỏng té ngã đã được thực hiện để đánh giá hiệu quả của SmartFall, kết quả đã chỉ ra rằng các thuật toán có thể phát hiện hầu hết các trường hợp té ngã và đạt được tỉ lệ báo động sai rất thấp

b) Máy hỗ trợ vector

Giới thiệu

Trong phương pháp này, việc phát hiện té ngã của người cao tuổi dựa trên các

dữ liệu của máy đo gia tốc Bộ cảm biến thu thập các dữ liệu chuyển động và truyền tải đến đơn vị giám sát thông qua đường truyền không dây Việc phân loại dữ liệu được thực hiện bởi máy hỗ trợ vector, có thể phân loại các hoạt động thanh ba loại: ngã, đi bộ và chạy Sau đó, việc xác địnhtrạng thái dựa trên các hoạt động trước đó

có thể cho phép mã hóa và truyền tải hình ảnh video từ bệnh nhân đến các đơn vị giám sát từ xa

20

sát Dữ liệu được chuyển đổi sang các định dạng đã được định nghĩa từ trước, từ đó

sẽ phát hiện được tình trạng của bệnh nhân Một mạng lưới giám sát module xác định chất lượng cơ sở hạ tầng mạng cơ bản sẽ quyết định các mã hóa thích hợp và truyền tải hình ảnh bệnh nhân bằng cách sử dụng H.263 nén video

 Đi bộ thường và chạy

Hệ thống sẽ phân tích dữ liệu đo gia tốc có được Mỗi trường hợp tăng tốc, giá trị trên các trục X, Y, Z đã được xác nhận thời gian chạy và một loại chuyển động tương ứng đã được liên kết với nó Căn cứ vào số lượng xuất hiện tuần tự của một loại chuyển động cụ thể, quyết định về té ngã của bệnh nhân được thực hiện.Để tăng tính chính xác của quyết định, bộ lọc Kalman đã được sử dụng trong hệ thống Kết quả phân loại từ các thí nghiệm được tiến hành bằng cách sử dụng mô hình Máy hỗ trợ Vector Bộ lọc Kalman cải thiện việc phát hiện bằng cách làm mịn sự xuất hiện tình huống Chạy hoặc các sự cố Ngã Sử dụng Máy hỗ trợ Vector thì các

sự cố Ngã đã được phát hiện với độ chính xác trung bình 98.2%, trong khi tình huống Chạy đã được phát hiện với 96.72%

21

Hình 1.4 Kết quả phân loại dựa trên mô hình SVM

cho 3 loại chuyển động khác nhau (a) đi bộ thường, (b) đi bộ thường và ngã,

22

môn, trong tương lai, cần tăng cường phát hiện té ngã bằng cách sử dụng camera của máy tính, việc này sẽ mang lại kết quả còn chính xác hơn

1.3.3 Thiết bị phát hiện té ngã sử dụng camera

Ở phần này sẽ giới thiệu các thiết bị Phát hiện té ngã sử dụng – hay nói cách khác là sử dụng hệ thống Thị giác máy (Computer Vision) Dưới đây là hai công trình nghiên cứu điển hình trong lĩnh vực này: Phương pháp theo dõi quỹ đạo đầu người [1] và Phát hiện té ngã sử dụng camera đơn [2]

a) Phương pháp thực hiện dựa trên quỹ đạo 3D của đầu người

Giới thiệu

Phương pháp này thực hiện bằng cách sử dụng dữ liệu 3D quỹ đạo đầu người, cho phép theo dõi chuyển động của sự té ngã và phân biệt được việc té ngã từ các hành động bình thường

Cấu trúc thuật toán

Phương pháp thực hiện dựa trên ba bước:

 Head Tracking: theo dõi vị trí của đầu – bộ phận cơ thể luôn nhìn thấy trên khung hình và sẽ chuyển động nhanh trong quá trình ngã

 3D Tracking: Đầu người được theo dõi bằng bộ lọc riêng phần “Particle Filter” [3] để tách ra một quỹ đạo 3D

[ 1 ] C Rougier, J Meunier, A St-Arnaud and J Rousseau, ”3D Trajectory to Detect Falls of the Elderly Using a Monocular Camera”, International Conference of the IEEE Engineering in Medicine and Biology Society, New York, September 2006 (4 pages - submitted).

[ 2 ] Glen DEBARD, Peter KA RSMAKERS, Mieke DESCHODT, Ellen VLA EYEN, Jonas VAN DEN BERGH, Eddy DEJAEGER, Koen MILISEN, Toon GOEDEMÉ, Tinne TUYTELAARS, Bart VANRUMSTE, “CAMERA BASED FALL DETECTION USING REAL-LIFE VIDEO”, MOBILAB: Biosciences and Technology Department, K.H.Kempen, Belgium; Center for Health Services and Nursing Research, K.U.Leuven, Belgium; Lessius, Campus De Nayer, Belgium; U.Z.Leuven, Belgium; ESAT-PSI, K.U.Leuven, Belgium; ESAT-SCD, K.U.Leuven, Belgium

[ 3 ] M Isard and A Blake, ”Condensation – conditional density propagation for visual tracking”, in International Journal of Computer Vision, vol 29, no 1, 1998, pp 5-28

23

 Fall Detection: Quá trình té ngã được phát hiện bằng cách sử dụng vận tốc 3D được tính toán từ quỹ đạo 3D của đầu người

Cách xác định vị trí của đầu (Head Localization): Đầu người có dạng hình

trái xoan trong mặt phẳng 3D và có hình elip trong mặt phẳng 2D Đầu người được xác định bằng thuật toán Dementhon [4], nó có ba thông số đầu vào: các điểm 3D của mô hình đầu, các điểm 2D tương ứng trong ảnh và các thông số nội tại của camera Đầu ra của thuật toán ở dạng 3D trong hệ tọa độ của máy ảnh, có thể chuyển đổi trong hệ tọa độ chuẩn gắn liền với mặt phẳng đất XY Để phục hồi các quỹ đạo 3D sử dụng một bộ lọc riêng phần

Theo dõi 3D: Lợi thế của các bộ lọc riêng phần là chúng cho phép sự thay đổi

đột ngột trên quỹ đạọ và có thế đối phó với những lỗi nhỏ Phương pháp thông thường để theo dõi dầu là sử dụng những bộ lọc riêng phần làm việc tốt với những chuyển động nhỏ Trong trường hợp này, chuyển động có thể rất lớn khi ngã, do vậy cần điều chỉnh phương pháp hiện tại dể giải quyết vấn đề này Bộ lọc riêng phần được điều chỉnh thành ba bước Đầu tiên một bộ lọc riêng phần tìm lân cận của vị trí cuối cùng hình elip Nếu nó không tìm thấy đầu, một bộ lọc thứ hai được

sử dụng để tìm kiếm vị trí gần đúng của đầu người trong ảnh mới và bộ lọc riêng phần thứ ba lọc ra các vị trí Các bộ lọc riêng phần được dựa trên mức xám xung quanh chu vi hình elip và khả năng thay đổi màu nền trong đó

Phát hiện té ngã:Tiến hành lấy mẫu [5] sử dụng vector Vv theo phương thẳng đứng và vector Vh theo phương nằm ngang trong hệ tọa độ chuẩn để phân biệt Ngã với các hoạt động bình thường Quỹ đạo 3D được trích xuất từ tín hiệu video được

sử dụng để đưa ra những nét đặc trưng Bằng cách lấy ngưỡng vector Vv và Vh có thể xác định Ngã Một ví dụ về vận tốc thu được từ một quỹ đạo 3D được hiển thị trong Hình 1.5

[ 4 ] D.F Dementhon and L.S Davis, ”Model-based object pose in 25 lines of code”,

International Journal of Computer Vision, vol 15, no 1-2, June 1995, pp 123-141

[ 5 ] G Wu, ”Distinguishing fall activities from normal activities by velocity characteristics”,

in Journal of Biomechanics, vol 33, no 11, 2000, pp 1497-1500

24

Hình 1.5 Minh họa vector Vv và Vh

Các hành động của người (a) đứng lên, (b) ngồi xuống, (c) đang ngồi, (d) đứng

lên lần nữa, (e) đứng, (f) ngã

Hệ thống phát hiện ngã bao gồm môt camera duy nhất được đặt trong một góc trên của căn phòng Để giảm chi phí, hệ thống được xây dựng dựa trên một webcam USB có góc quan sát rộng khoảng 70 độ đủ để quan sát toàn bộ căn phòng Camera này cho chất lượng hình ảnh thấp và ảnh bị biến dạng do góc rộng

Kết luận

Với hệ thống này, chúng ta xây dựng được một tập hợp các video với các tình huống té ngã và các tình huống bình thường như đang ngồi xuống hoặc đứng Hình ảnh có độ phân giải 640x480 pixel và tốc độ 30 khung hình/s Các biểu hiện sẽ đưa

ra những kết quả theo dõi vị trí đầu trong video và đưa ra một số kết quả phát hiện ngã sử dụng các đặc tính vận tốc

Vector vận tốc 3D lấy ra từ một camera cung cấp một phương pháp phát hiện té ngã mới Việc theo dõi đầu người cung cấp cho ta một quỹ đạo 3D, hữu dụng khi phân biệt ngã với các tình huống bình thường Tuy nhiên vẫn còn một số điểm cần phải được cải thiện Hiện nay, các hình elip đại diện cho đầu người trong hình ảnh đầu tiên là phải tự khởi tạo, do đó cần phát triển một phương pháp phát hiện đầu người tự động khi có người bước vào phòng Tăng cường hệ thống nhận biết ngã

Cấu trúc hệ thống

Hình 1.6 Tổng quan về thuật toán phát hiện té ngã

Mô tả Hình 1.6:

● Theo dõi đối tượng (Person Tracking):

Xác định đối tượng (Foreground Detection):

Đầu tiên cần biết vùng nền của ảnh, để làm được điều này cần sử dụng kĩ thuật trừ nền dựa trên bộ lọc trung bình Lý thuyết được phát triển năm 1995 bởi

26

McFarlane và Schofield nhằm theo dõi đàn lợn [6] Kĩ thuật này sử dụng việc dự đoán vùng nền Vùng được dự đoán sẽ được so sánh từng pixel của khung hình hiện tại với những khung hình được cập nhật sau đó Trong trường hợp pixel ở khung hình hiện tại sáng hơn pixel ở vùng nền, vùng nền sẽ được lớn thêm pixel đó và ngược lại

Đối tượng có thể được xác định bằng cách tính toán sự khác biệt giữa khung hình hiện tại và vùng nền Trong trường hợp nó lớn hơn một ngưỡng nhất định, pixel đó là pixel đối tượng (foreground) Trái lại, nó là pixel nền (background) Lợi ích của bộ lọc trung bình là tiêu thụ ít bộ nhớ, tốc độ tính toán nhanh và chính xác,hạn chế là cập nhật chậm với những thay đổi ánh sáng lớn, trên thực tế thì đối tượng ảnh hưởng đáng kể đến vùng nền khi nó xuất hiện Ví dụ khi một người ngồi trên ghế salon trong một khoảng thoài gian đủ dài, vùng nền sẽ được cập nhật kết hợp với người đó vào Nếu người đó đứng dậy, vùng hình ảnh ghế salon bị che khuấttrước đó sẽ khác với vùng nền và được phát hiện ra là đối tượng trong khung hình Điều này có thể ảnh hưởng tới việc phát hiện té ngã sau này

Loại bỏ bóng (Shadow Removal):

Một vùng tối gây ra bởi một đối tượng di chuyển cũng có thể được phát hiện như một đối tượng vì nó làm các điểm ảnh bao phủ quanh đối tượng tối hơn Điều này làm cho đối tượng trong khung hình sai lệch Để loại bỏ bóng, có thể sử dụng thuộc tính củabóng: chỉ là sự thay đổi cường độ sáng của pixel, cấu trúc của vùng bao phủ không thay đổi [7] Do đó cấu trúc của bóngsẽ tương quan với cấu trúc của hình ảnh vùng nền

Jacques et al mô tả trong [4] cách sử dụng tương quan chéo (Cross Correlation)

để xem độ chính xác của những pixel đối tượng được phát hiện có phù hợp với những pixel vùng nền

[ 6 ] N J B McFarlane and C P Schofield, “Segmentation and tracking of piglets in

images,” Machine Vision and Applications, vol 8, no 3, pp 187.193, May 1995.

[ 7 ] Daniel Grest, Jan-Michael Frahm, and Reinhard Koch, “A color similarity measure for robust shadow removal in realtime,” Vision, Modeling and Vizualization, 2003

27

Xác định vùng cần quan tâm (Region of Interest (ROI) Detection):

Bước tiếp theo trong thuật toán này là xác định vùng cần quan tâm – xác định con người trong khung hình Trước tiên làm ăn mòn rồi mở rộng các pixel được cho

là đối tượng Sau đó phân tích các thành phần kết nối nhằm xác định từng vùng Vùng lớn nhất sẽ được định nghĩa là con người Để giảm thiểu tối đa nhiễu, đối tượng con người phải lớn hơn một ngưỡng nhất định, và ở thuật toán này mức ngưỡng có hiệu suất tốt nhất là 17500 điểm ảnh Cuối cùng từ đối tượng này, chúng

ta bắt đầu trích xuất ra các đặc điểm để phát hiện té ngã

● Những đặc tính để xác định ngã (Fall Detection Features)

Với đối tượng được trích xuất ra saucác bước trên, có thể dẫn ra bốn đặc điểm

để phát hiện té ngã: tỉ lệ khung hình chữ nhật giới hạn (aspect ratio), góc ngã (fall angle), tốc độ di chuyển của trọng điểm (speed center gravity) và tốc độ di chuyển của đầu (speed head)

Tỉ lệ của khung giới hạn được tính toán bằng công thức chia chiều rộng của khung giới hạn cho chiều cao Một tỉ lệ nhỏ đại diện cho một người đang đứng thẳng, còn khi tỉ lệ này lớn thể hiện một người đang nằm xuống

Góc của người trong hình có thể định nghĩa là góc giữa trục dài của hình elip giới hạn và mặt phẳng nằm ngang của hình ảnh Ở góc nhìn ngang, một người đang đứng có góc là 90°,còn khi góc gần bằng 0° đại diện cho một người đang nằm xuống Góc ngã là sự sai lệch giữa góc trong khung hình hiện tại và góc được xác định trước đó Thuật toán này sử dụng 2 giây giữa những khung hình để đo góc Góc ngã mà gần bằng 90 độ có thể là một té ngã

28

Hình 1.7 Mô tả hình elip bao quanh người

Một người, quan tâm ở đây là một người già, thường di chuyển với tốc độ thấp, trong khi trái ngược lại hầu hết các té ngã xảy ra sẽ chuyển động với tốc độ cao Thuật toán này chia ra làm hai khác biệt tốc độ Tốc độ di chuyển của trọng tâm và tốc độ di chuyển của đầu Trọng tâm cơ thể có lợi thế là nó khá ổn định Những hoạt động bình thường của con người chỉ mang lại những thay đổi nhỏ đối với điểm này

Đầu người có thể nhìn thấy trong hầu hết các trường hợp Foroughi et al mô tả

trong [5] rằng đầu người là điểm cao nhất của đối tượng Thuật toán này sử dụng điểm cao nhất của trục dài hình elip làm vị trí của đầu người Tốc độ của điểm đầu được xác định bằng số lượng điểm ảnh mà điểm đầu dịch chuyển giữa hai khung hình liền kề chia cho thời gian giữa hai khung hình đó

là tình huống ngã thực sự Dựa vào góc ngã tạo ra một số lượng lớn các phát hiện sai

29

Bảng 1.4: Bảng thống kê độ chính xác của các đặc tính ngã

PPV: Positive Predictive Value – Giá trị dự đoán tích cực

Sai Tích cực: nếu đối tượng hoạt động bình thường mà hệ thống lại cảnh báo

té

Sai Tiêu cực: có xảy ra tai nạn té ngã mà hệ thống không phát hiện và không

cảnh báo là sai tiêu cực

Thuật toán trên cho ta một phương pháp để xác định té ngã của đối tượng trong một đoạn video thời gian thực Cần phát triển thêm thuật toán xác định đối tượng và xây dưng thêm những đặc tính để phát hiện té ngã nhằm có được độ chính xác cao nhất Dự án này mới chỉ giới thiệu về hiệu suất của thuật toán đối với một đặc tính

riêng lẻ và sự kết hợp khi sử dụng cùng với một SVM, qua đó kết luận rằng một SVM sử dụng tỉ lệ khung giới hạn và tốc độ đầu của đối tượng lớn nhất sẽ cho kết quả tốt nhất

Tác giả đưa ra nhiệm vụ cần cải thiện hiệu suất phát hiện đối tượng - sử dụng một thuật toán khác có khả năng nhận diện nhiều đối tượng xuất hiện trong khung hình

Đặc

điểm Ngưỡng

Đúng tích cực

Đúng tiêu cực

Sai tích cực

Sai tiêu cực Sensitivity Specificity PPV

30

1.3.4 So sánh các hệ thống hiện có

Ở phần này sẽ đưa ra những Ưu – Nhược điểm của hai nhóm thiết bị Phát hiện té ngã được đề cập ở trên Đây sẽ là cơ sở để nhóm chúng em khoanh vùng phạm vi và thiết kế sản phẩm trong đồ án tốt nghiệp

a) Ưu – nhược điểm của hệ thống Phát hiện té ngã sử dụng cảm biến

b) Ưu – nhược điểm của hệ thống Phát hiện té ngã sử dụng camera

Ưu điểm

 Một hệ thống có chi phí rẻ, dễ lắp đặt, thân thiện với người sử dụng

 Một hệ thống tự động không cần bất cứ sự tác động nào của người sử dụng trong quá trình vận hành

 Việc ứng dụng Thị giác máy vào Chăm sóc sức khỏe sẽ mở ra một hướng phát triển mới, tích hợp được nhiều công dụng chỉ trong một thiết bị camera

 Chưa có tính ứng dụng đối với việc người già đi ra ngoài

c) Kết luận – Đánh giá

Trong xã hội hiện nay, khi công nghệ ngày một phát triển mạnh mẽ thì yêu cầu

về tính tự động và tính chính xác luôn luôn là ưu tiên hàng đầu của mọi sản phẩm

31

Trong lĩnh vực Phát hiện té ngã, điểm khác biệt lớn nhất giữa hai loại thiết bị sử dụng cảm biến và sử dụng camera theo dõi là tính tự động Với Camera theo dõi, mọi hoạt động của con người sẽ được ghi lại, xử lý, phân loại và đưa ra cảnh báo một cách hoàn toàn tự động, trong khi đó ở thiết bị sử dụng cảm biến vẫn cần phải

có sự can thiệp của người sử dụng khi phải luôn mang theo trên người Tuy nhiên tính chính xác của camera theo dõi trong việc phân loại trạng thái còn cần phải thử nghiệm rất nhiều trước khi có thể trở thành một sản phẩm thương mại như các thiết

bị sử dụng cảm biến đã làm được

Ngày nay, song hành cùng cảm biến, các thiết bị sử dụng camera nói chung đang

là xu hướng phát triển của thế giới Công nghệ xử lý hình ảnh, công nghệ Thị giác máy ngày một được ứng dụng rộng rãi và là đề tài chính cho nhiều nghiên cứu và công trình khoa học

Với các nhận xét, đánh giá trên, đồng thời dựa vào khả năng và trình độ bản thân,

ở phần sau nhóm sẽ trình bày Phương pháp thực hiện đề tài đã được nhóm khoanh vùng để thực hiện

1.4 Phương pháp thực hiện đề tài

Sau quá trình tham khảo các bài báo nghiên cứu khoa học, các hệ thống, sản phẩm phát hiện té ngã trên thị trường, trong phạm vi đồ án tốt nghiệp, nhóm chúng

em quyết định thiết kế một phần mềm xử lý hình ảnh có tác dụng phát hiện người té ngã bằng một camera Hệ thống phát hiện té ngã gồm 4 phần chính:

 Thu thập video

 Theo dõi đối tượng

 Phát hiện té ngã

 Đưa ra tín hiệu cảnh báo

Phần mềm được nhóm lựa chọn viết bằng ngôn ngữ C++ kết hợp cùng thư viện

xử lý ảnh mã nguồn mở OpenCV

Lý do lựa chọn phương pháp thực hiện đồ án:

 Hiện nay, xu hướng sử dụng Thị giác máy tính đang được phát triển và ứng dụng rộng rãi vào nhiều lĩnh vực khác nhau, trong đó lĩnh vực Chăm sóc sức khỏe con người đang được quan tâm hàng đầu

32

 Việc chỉ sử dụng một camera để xác định té ngã tuy cho kết quả không chính xác bằng việc sử dụng cảm biến gắn theo người nhưng sẽ có chi phí rẻ hơn, tính ứng dụng rộng hơn Việc nghiên cứu phần mềm để có độ chính xác tốt nhất là tiêu chí số một của nhóm

 Với việc lựa chọn khoanh vùng đồ án như vậy, nhóm có điều kiện áp dụng được các kiến thức đã được học trên lớp trong môn Lập trình, Lập trình nâng cao, Xử lý ảnh số vào thực tế

 Với việc sử dụng camera theo dõi sẽ tạo điều kiện thuận lợi cho nhóm tiến hành thực nghiệm nhiều hơn, từ đó nâng cao độ chính xác của phầm mềm

 Việc lựa chọn ngôn ngữ C++ giúp cho tốc độ xử lý ảnh cao hơn khi được kết hợp với cấu trúc phần cứng của Intel

Vậy trong Đồán tốt nghiệp, nhóm chúng em sẽ tập trung thiết kế và lập trình một phần mềm xử lý ảnh chạy trên máy tính có gắn camera ngoài thu nhận tín hiệu

để Phát hiện té ngã Ở phần sau chúng em sẽ trình bày Cơ sở lý thuyết, bao gồm các nguyên lý, kỹ thuật xử lý ảnh số cơ bản – là nền tảng của việc thiết kế và lập trình phần mềm sau này

Xử lý ảnh trải qua các bước như sau: đầu tiên, ảnh tự nhiên được thu nhận qua các thiết bị thu Sau đó nó được chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử

lý tiếp theo Hình 2.1 dưới đây mô tả các bước cơ bản trong xử lýảnh

Hình 2.1 Các bước cơ bản trong xử lý ảnh

Thu nhận ảnh (Image Acquisition): Ảnh có thể nhận qua camera màu hoặc

đen trắng Thường ảnh nhận qua camera ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng có loại camera đã số hóa là loại photodiot tạo cường độ sáng tại mỗi điểm ảnh Camera thường dùng là loại quét dòng, ảnh tạo ra có dạng 2 chiều Chất lượng ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường

Tiền xử lý (Image Processing): Sau bộ thu nhận, ảnh có thể nhiễu độ tương

phản thấp nên cần đưa vào bộ tiền xử lý để nâng cao chất lượng Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét hơn

Phân vùng ảnh (Segmentation): Phân vùng ảnh là tách một ảnh đầu vào thành

các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh Đây là phần phức tạp nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này

Thu

nhận ảnh

Tiền xử lý ảnh

Phân đoạn ảnh

34

Biểu diễn ảnh (Image Representation): Đầu ra ảnh sau phân vùng chứa các

điểm ảnh của vùng ảnh với mã liên kết với các vùng lân cận Việc biến đối các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong phạm vi ảnh nhận được

Nhận dạng và nội suy ảnh: Nhận dạng ảnh là quá trình xác định ảnh Quá

trình này thu được bằng cách so sánh với mẫu chuẩn đã được lưu từ trước Nội suy

là phán đoán theo ý nghĩa dựa trên cơ sở nhận dạng Theo lý thuyết nhận dạng, các

mô hình toán học về ảnh được phân theo 2 loại nhận dạng cơ bản: nhận dạng theo tham số và nhận dạng theo cấu trúc

Cơ sở tri thức (Knowledge Base): Ảnh là một đối tượng khá phức tạp về

đường nét, độ sáng, số điểm ảnh, nhiễu,… Trong nhiều khâu xử lý và phân tích ảnh ngoài việc đơn giản hóa các phương pháp toán học đảm bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo cách của con người Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo các phương pháp trí tuệ con người Vì vậy ở đây các cơ sở tri thức được phát huy

Biểu diễn ảnh: Ảnh sau khi số hóa sẽ được lưu vào bộ nhớ hoặc chuyển sang

các khâu tiếp theo để phân tích Nếu lưu trữ ảnh trực tiếp từ các ảnh thô đòi hỏi dung lượng bộ nhớ cực lớn Thông thường, các ảnh thô đó được đặc tả lại theo các đặc điểm của ảnh được gọi là các đặc trưng ảnh như: biên ảnh, vùng ảnh Một số phương pháp biểu diễn thường dùng là: biểu diễn bằng mã chạy, biểu diễn bằng mã xích và biểu diễn bằng mã tứ phân

35

Hình 2.2 Sơ đồ phân tích và xử lý ảnh, và lưu đồ thông tin giữa các khối

2.2 Thu nhận ảnh

2.2.1 Các thiết bị thu nhận ảnh

Hai thành phần cho công đoạn này là linh kiện nhạy với phổ năng lượng điện

từ trường, loại thứ nhất tạo tín hiệu điện ở đầu ra tỷ lệ với mức năng lượng mà bộ cảm biến (đại diện là camera); loại thứ hai là bộ số hoá

a) Bộ cảm biến ảnh

Máy chụp ảnh, camera có thể ghi lại hình ảnh Có nhiều loại máy cảm biến (Sensor) làm việc với ánh sáng nhìn thấy và hồng ngoại như: Micro Densitometers, Image Dissector, Camera Divicon, linh kiện quang điện bằng bán dẫn Các loại cảm biến bằng chụp ảnh phải số hoá là phim âm bản hoặc chụp ảnh Camera divicon và linh kiện bán dẫn quang điện có thể cho ảnh ghi trên băng từ có thể số hoá Trong Micro Densitometer phim và ảnh chụp được gắn trên mặt phẳng hoặc cuốn quang trống Việc quét ảnh thông qua tia sáng (ví dụ tia Laser) trên ảnh đồng thời dịch chuyển mặt phim hoặc quang trống tương đối theo tia sáng Trường hợp dùng phim, tia sáng đi qua phim

Bây giờ chúng ta đề cập đến tất cả các khối trong hệ thống

 Thiết bị nhận ảnh: Chức năng của thiết bị này là số hóa một băng tần số cơ bản của tín hiệu truyền hình cung cấp từ một camera, hoặc từ một đầu máy VCR Ảnh số sau đó được lưu trữ trong bộ đệm chính Bộ đệm này có khả năng được địa chỉ hóa (nhờ một PC) đến từng điểm bằng phần mềm

36

Thông thường thiết bị này có nhiều chương trình con điều khiển để có thể lập trình được thông qua ngôn ngữ C

 Camera: Tổng quát có hai kiểu camera: kiểu camera dùng đèn chân không

và kiểu camera chỉ dùng bán dẫn Đặc biệt là trong lĩnh vực này, camera bán dẫn thường hay được dùng hơn Camera bán dẫn cũng được gọi là CCD camera do dùng các thanh ghi dịch đặc biệt gọi là thiết bị gộp (Charge-Coupled Devices- CCDs) Các CCD này chuyển các tín hiệu ảnh sang từ bộ cảm nhận ánh sáng bổ trợ ở phía trước camera thành các tín hiệu điện mà sau đó được mã hóa thành tín hiệu TV Loại camera chất lượng cao cho tín hiệu ít nhiễu và có độ nhậy cao với ánh sáng Khi chọn camera cần chú ý đến các thấu kính từ 18 đến 108 mm

 Màn hình video: Nên sử dụng loại màn hình chất lượng cao, vì màn hình chất lượng thấp có thể làm bạn nhầm lẫn kết quả Một màn hình 9 inch là

đủ cho yêu cầu làm việc Để hiển thị ảnh màu, nên dùng một màn hình đa

hệ

 Máy tính: Cần có một máy tính P4 hoặc cấu hình cao hơn Để chắc chắn, các máy này phải có sẵn các khe cắm cho phần xử lý ảnh Các chương trình thiết kế và lọc ảnh có thể chạy trên bất kỳ hệ thống nào Các chương trình con hiển thị ảnh dựng vi mạch VGA và có sẵn trên đĩa kèm theo Các chương trình con hiển thị ảnh cũng hỗ trợ cho hầu hết các vi mạch SVGA

37

Hình 2.3 Hệ tọa độ RGB

Trong cách biểu diễn này ta có: đỏ + lục + lơ = 1

Công thức trên được gọi là công thức Maxwell

Hệ tọa độ màu do CIE đề xuất có tác dụng như một hệ quy chiếu và không biểu diễn hết các màu Trên thực tế, phụ thuộc vào các ứng dụng khác nhau người ta đưa ra các hệ biểu diễn màu khác nhau Thí dụ:

- Hệ NTSC: dùng 3 màu R, G, B áp dụng cho màn hình màu, ký hiệu RGBNTSC;

- Hệ CMY (Cyan Magenta Yellow): thường dùng cho in ảnh màu;

- Hệ YIQ: cho truyền hình màu

Việc chuyển đổi giữa các không gian biểu diễn màu được thực hiện theo nguyên tắc sau:

Nếu gọi X là không gian biểu diễn các màu ban đầu, X’ là không gian biểu diễn màu mới A là ma trận biểu diễn phép biến đổi Ta có quan hệ sau: X’ = AX

Ví dụ, biến đổi hệ tọa độ màu RGBCIE sang hệ tọa độ màu RGBNTSC ta có các véc tơ tương ứng :

Px = và Px’ =

2.2.2 Lấy mẫu và lượng tử hóa

Ảnh sau khi lấy từ camera cần chuyển sang dạng thích hợp để xử lý bằng máy tính Phương pháp biến đổi một ảnh liên tục trong không gian cũng như theo giá trị thành sạng số rời rạc được gọi là số hóa ảnh Việc biến đổi này gồm 2 bước :

38

 Đo giá trị trên các khoảng không gian gọi là lấy mẫu

 Ánh xạ cường độ đo được thành một số hữu hạn các mức rời rạc được gọi là lượng tử hóa

a) Lấy mẫu

Lấy mẫu là một quá trình, qua đó ảnh được tạo nên trên một vùng có tính liên tục được chuyển thành các giá trị rời rạc theo tọa độ nguyên Gồm 2 lựa chọn:

 Một là: khoảng lấy mẫu

 Hai là: cách thể hiện dạng mẫu

Lựa chọn thứ nhất được đảm bảo nhờ lý thuyết lấy mẫu của Shannon Lựa chọn thứ hai liên quan đến độ đo (Metric) được dùng trong miền rời rạc

 Định lý lấy mẫu của Shannon : Giả sử g(x) là một hàm giới hạn giải là biến đổi Fourier của nó là G(ωx) = 0 đối với các giá trị ωx> Wx Khi đó g(x) có thể được khôi phục lại từ các mẫu được tạo tại các khoảng ∆ đều đặn Tức là ∆ ≤

Các dạng lấy mẫu (Tesselation) : Dạng lẫy mẫu (Tesselation) điểm ảnh là cách bài trí các điểm mẫu trong không gian hai chiều Một số dạng mẫu điểm ảnh được cho là dạng chữ nhật, tam giác, lục giác