Phát hiện người ngã sử dụng đặc trưng kết hợp từ nhiều nguồn cảm biến tt

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - PHẠM ANH TUẤN PHÁT HIỆN NGƯỜI NGÃ SỬ DỤNG ĐẶC TRƯNG KẾT HỢP TỪ NHIỀU NGUỒN CẢM BIẾN Chuyên ngành: Hệ thống Thơng tin Mã số: 8.48.01.04 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – 2019 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS PHẠM VĂN CƯỜNG Phản biện 1: TS Trần Q Nam Phản biện 2: PGS.TS Nguyễn Ngọc Hóa Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thông Vào lúc: 10 20 ngày 19 tháng 01 năm 2019 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thông 1 MỞ ĐẦU Tuổi thọ người ngày gia tăng, có nhiều dự báo cho thấy người lớn tuổi phải sống độc lập nhà họ Một rủi ro lớn người lớn tuổi sống thường hay bị ngã Hơn nữa, nguy té ngã tăng rõ rệt theo độ tuổi phản ứng chậm hơn, cân sức mạnh bắp giảm Vì vậy, hàng năm người cao tuổi có người bị ngã cú ngã đột ngột nguyên nhân phổ biến gây thương tích nhập viện độ tuổi Theo số liệu thống kê thực tế cho thấy Việt Nam ước tính có khoảng 1,6 đến triệu người cao tuổi bị té ngã năm Mỹ có khoảng 1/3 người có độ tuổi 65 tuổi bị ngã năm Những chấn thương ngã gây thiệt hại mơ mềm, liên kết xương chấn thương vùng đầu dẫn đến gãy xương đe dọa nghiêm trọng đến sức khỏe sống người cao tuổi Theo nghiên cứu hàng năm cho thấy 80% người cao tuổi trang bị nút cứu trợ họ lại sử dụng bị ngã mạnh, chủ yếu họ khơng mang theo thiết bị vào thời điểm ngã ngã mạnh khiến họ khả nhấn nút cứu trợ thời điểm bị ngã Để tăng khả sống độc lập người cao niên, nhà nghiên cứu hướng đến số cơng nghệ thơng minh tích hợp ngơi nhà nhằm phát ngã trợ giúp kịp thời Chính học viên chọn Đề tài: “Phát người ngã sử dụng đặc trưng kết hợp từ nhiều nguồn cảm biến” cho luận văn cao học với mục tiêu khảo sát toán phát người ngã, ứng dụng thuật toán học máy để phân tích liệu từ nhiều nguồn cảm biến nhằm phân biệt nhiều tư ngã khác Mục đích nghiên cứu học viên khảo sát toán phát người ngã, ứng dụng thuật tốn học máy để phân tích liệu từ nhiều nguồn cảm biến nhằm phân biệt nhiều tư ngã khác Đối tượng nghiên cứu học viên người cao tuổi phương pháp kết hợp nhiều liệu cảm biến cho toán phát ngã Phạm vi học viên nghiên cứu là: Cảm biến gia tốc (accelerometer) cảm biến quay hồi chuyển (gyroscope), thử nghiệm tập liệu thu thập Phương pháp mà học viên áp dụng việc xây dựng luận văn cụ thể gồm: nghiên cứu lý thuyết nghiên cứu thực nghiệm, nghiên cứu lý thuyết bao gồm: Đọc tài liệu, phân tích tư ngã nghiên cứu phương pháp phát ngã cách kết hợp nhiều cảm biến Nghiên cứu thực nghiệm học viên thu thập liệu từ nhiều nguồn cảm biến với tư ngã khác sau thử nghiệm đánh giá phương pháp phát ngã từ nhiều nguồn cảm biến Phần nội dung luận văn chia thành phần sau: Phần mở đầu, 03 chương chính, phần kết luận, danh mục tài liệu tham khảo, phần bố trí thứ tự sau: Phần mở đầu luận văn nêu lên nguy té ngã người lớn tuổi rủi ro họ gặp phải té ngã Đã có nhiều nghiên cứu cho phát ngã người nhiên nghiên cứu hầu hết dựa vào liệu từ nguồn cảm biến nên trường hợp phức tạp phát ngã hoạt động gần giống ngã nhiều vấn đề cần giải từ luận văn đưa nội dung mục đích, đối tượng, phạm vi nghiên cứu phương pháp nghiên cứu Nội dung chương là: Tổng quan, chương trình bầy khảo sát toán phát ngã; khảo sát nghiên cứu liên quan đến toán phát ngã, bao gồm: cách tiếp cận, cảm biến sử dụng, phương pháp học máy phương pháp thực nghiệm; Tiếp theo trình bầy phạm vi nghiên cứu luận văn này, chương kết thúc nội dung đánh giá, nhận xét rút mục kết chương Chương bắt đầu việc trình bầy cảm biến sử dụng luận văn; phương pháp phân tích xử lý liệu cảm biến; Phương pháp trích xuất kết hợp đặc trưng từ nhiều nguồn cảm biến Cuối trình bầy mơ hình học máy sử dụng chương kết chương Chương tập trung vào thử nghiệm để đánh giá phương pháp trình bầy chương 2; mơ tả q trình thu thập gán nhãn liệu sử dụng tập liệu công bố Tiếp đến trình bầy trình phương pháp thử nghiệm phân tích, đánh giá kết thử nghiệm 3 CHƯƠNG 1: TỔNG QUAN Chương trình bầy toán phát ngã; khảo sát nghiên cứu liên quan đến toán phát ngã, bao gồm: cách tiếp cận, cảm biến sử dụng, phương pháp học máy phương pháp thực nghiệm; Tiếp theo trình bầy phạm vi nghiên cứu luận văn này, chương kết thúc nội dung đánh giá, nhận xét rút mục kết chương 1.1 Giới thiệu toán Ngã thường xuyên xảy người bệnh người cao tuổi, nguyên nhân dẫn đến tử vong người cao tuổi Té ngã không gây chấn thương vật lý mà ảnh hưởng đến tâm lý người cao tuổi Ngã nguyên nhân khiến cho người cao tuổi sợ việc vận động, qua tác động cách gián tiếp đến sức khỏe họ Ngoài ra, điều trị chấn thương thường phải cách ly tạm thời khỏi cộng đồng, xã hội làm ảnh hưởng xấu đến tâm lý người ngã làm tăng cảm giác đơn dẫn đến trầm cảm Chính vậy, việc sử dụng hệ thống tự động phát ngã cần thiết để giúp cho việc cấp cứu kịp thời để giảm thiểu rủi ro cho người ngã Kết là, nhu cầu phát triển hệ thống giám sát thơng minh có khả phát ngã tăng lên đáng kể việc chăm sóc sức khỏe cộng đồng 1.2 Các nghiên cứu trước Một số nghiên cứu [2,3] kết hợp cảm biến gia tốc hình ảnh từ video để phát ngã hoạt động hàng ngày Chẳng hạn, cơng trình [2] thực T H Tran cộng viện MICA, trường đại học Bách Khoa Hà Nội, kết hợp liệu cảm biến gia tốc không dây WAX3 gắn hông cổ tay đối tượng thực thử nghiệm với hình ảnh RGB-D chụp từ Kinect cameras cài đặt phòng lớn để phân biệt ngã số hoạt động gần giống ngã nhằm hỗ trợ người cao tuổi nhà họ 4 Hình 1: Hình minh họa mơi trường thiết bị cài đặt Hình cho thấy bố trí hệ thống thu thập liệu chuyển động Sáu Kinect cameras cài đặt độ cao 1.8m xung quanh không gian 3.6mx6.8m để mơ giống phòng gia đình Chiếc Kinect thứ gắn trần có độ cao 3m để quan sát từ phía tồn cảnh Hai cảm biến khơng dây gắn vào cổ tay trái bên phía hơng trái đối tượng thử nghiệm Hình 2: Hình minh họa liệu thu thập từ nhiều cảm biến Hình 1.2 cho thấy ảnh chụp nhanh liệu đa phương thức đồng hóa từ Kinect cameras cảm biến gia tốc, vận tốc góc từ trường Tổng cộng, kích thước tập liệu khoảng 350 Giga bytes Tất liệu đồng hóa theo thời gian Sau liệu gán nhãn, thời gian bắt đầu thời gian kết thúc hành động theo trình tự ghi cho hoạt động người Đây liệu tương đối lớn thú vị với số lượng người tham gia thử nghiệm tư hoạt động đa dạng, hoạt động thu thập với nhiều góc nhìn (multiview) nhiều cảm biến (multimodal) khác Ngoài ra, số hoạt động dễ bị nhầm lẫn với ngã tạo nên thách thức đáng kể cho việc phát ngã Cụ thể, nhiều hoạt động thường ngày giống ngã, ví dụ như: chống tay trái để đứng dậy, chống tay phải để đứng dậy, ngồi ghế sau đứng dậy, ngồi giường sau đứng dậy v.v Một nghiên cứu khác [3] đề xuất phương pháp tiếp cận phát ngã cách kết hợp cảm biến gia tốc gắn bên hơng hình ảnh độ sâu (depth images) từ cameras Trong phương pháp tiếp cận này, hình ảnh độ sâu lưu trữ nhớ đệm để sử dụng cần thiết Sự kiện ngã phát dựa mô - đun xử lý liệu cảm biến gia tốc Mô đun liệu cảm biến gia tốc nhận đầu vào luồng tín hiệu cảm biến gia tốc sau so sánh với ngưỡng (threshold) để đưa định khoảng thời gian có khả chứa kiện ngã hay khơng Nếu có tiềm kiện ngã hình ảnh độ sâu xử lý phân tích để khẳng định có cú ngã xảy hay khơng Hình 3: Mơ hình đề xuất cho phát ngã [3] Trong nghiên cứu khác [4], tác giả trình bày cách cải thiện khả phát ngã cách cách sử dụng liệu hình ảnh độ sâu cảm biến gia tốc Mơ hình đề xuất bao gồm cảm biến gia tốc sử dụng để phát đoạn liệu có khả chứa kiện ngã (fall event segment) cảm biến Kinect nhằm mục đích cung cấp hình ảnh để xác nhận có kiện ngã Ngồi có nghiên cứu [9] Zhong Zhang cộng tập trung vào nghiên cứu dựa thị giác máy tính camera chiều sâu Cụ thể, tác giả giới thiệu năm liệu phát té ngã có, ba số năm liệu ghi lại camera Kinect, thu thập camera RGB đơn lại tạo nhiều camera RGB đơn hiệu chuẩn 6 Bảng 1: Năm liệu ngã [9] camera type SDUFALL one Kinect camera viewpoints one fall type falls EDF two Kinects two eight fall with direc- different tions number of falls 200 activities of daily Yes Life OCCU two Kinects two NaN falls with different occluded falls direc- direc- tions simulated scenar- Ios Dataset introduced in [10] one RGB camera tions 320 Yes 60 Yes 192 Yes 1 (home, coffee room, office, lecture room) Dataset introduced in [11] eight calibrated RGB cameras eight forward, backward falls, falls from sitting down and loss of balance 200 Yes 24 Các cơng trình nghiên cứu tập trung trình bày tập liệu phát ngã, liệu thu thập cảm biến đeo người (Cảm biến gia tốc) hay cảm biến gắn môi trường xung quanh (cảm biến camera) nhiên số hạn chế trình bày tóm tắt bảng 1.2: Bảng 2: So sánh vài liệu phát ngã khác Dataset UR [3] Le2i [14] SDUFall [12] OCCU [13] Cogent Lab [15] EDF UF[16] SisFall[17] #Falls 22 192 300 30 448 160 na 1798 CMDFALL 400 - #ADL #FallStyles #Subjects #Views 24 na 58 ∼8 1500 na 10 80 1520 42 na 100 10 229-na 2707 15 38 na 600 50 Modalities Continuous Year RGB No 2010 RGB No 2012 RGB + D + Skeleton No 2014 RGB + D + Skeleton No 2014 Acc + Gyroscope Yes 2015 RGB + D + Skeleton No 2017 RGB + D + Skeleton No 2017 Acc + Gyroscope Yes 2017 RGB + D + Skeleton + Yes 2017 Acc Các phương pháp hạn chế: Hầu hết liệu thu thập phương pháp đơn cảm biến [3], [14] thu thập liệu cảm biến đeo (gia tốc kế) thu thập liệu cảm biến gắn môi trường xung quanh (RGB, D, Skeleton) [12], [13], [16] - Giới hạn kiểu ngã: Trong hầu hết tập liệu, đối tượng thực hành động ngã cách đứng vị trí ngã xuống sàn khung cảnh Không có ngã từ giường, mà có tập liệu ngã từ ghế [14] 7 - Video cắt xén: Tất video thu thập được cắt cho phù hợp với việc phân loại ngã từ hoạt động khác Do khơng cho phép liệu đánh giá ngã cách liên tục - Vị trí quan sát bị giới hạn: Số lượng vị trí quan sát bối cảnh thường bị giới hạn đến hai vị trí quan sát (OCCU [13], EDF) Trong [3], số lượng vị trí quan sát tám, có liệu RGB thu thập nên hình ảnh thu bị trùng lặp chồng chéo nhau, khó cho việc áp dụng phương pháp tiếp cận nhiều chế độ quan sát - Số lượng đối tượng hạn chế: Hầu hết tập liệu sử dụng phương pháp đa cảm biến thu thập từ số đối tượng tham gia (khoảng từ đến 10 đối tượng) [12] có 300 mẫu ngã 1500 mẫu khơng ngã, nhiên tập liệu có kiểu ngã thu thập đối tượng khác 1.3 Phạm vi nghiên cứu Trong luận văn này, học viên tập trung nghiên cứu lựa chọn đặc trưng hai cảm biến cảm biến gia tốc kế (accelerometer) cảm biến quay hồi chuyển (gyroscope) phương pháp kết hợp đặc trưng lựa chọn phương pháp học máy sử dụng với đặc trưng kết hợp; cuối tiến hành thử nghiệm thực tế với toán phát ngã Dữ liệu mô thu thập từ 30 đối tượng tham gia thử nghiệm môi trường nhà với điều kiện hoạt động tốt cảm biến 1.4 Kết luận chương Trong chương 1, học viên trình bày khảo sát toán phát ngã, khảo sát nghiên cứu liên quan đến toán phát ngã, tìm hiểu cách tiếp cận, cảm biến sử dụng, phương pháp học máy phương pháp thực nghiệm sử dụng toán Trong tập trung vào tốn phát ngã cách kết hợp sử dụng nhiều cảm biến (từ hai cảm biến trở lên) để phân tích, đánh giá ưu, nhược điểm số cách tiếp cận Phương pháp phát ngã nguồn cảm biến cho kết cao (thường 90%) nhiên khó phân biệt hoạt động phức tạp gần giống với ngã (xảy hàng ngày) uốn cong người, cúi xuống sàn nhà nhặt đồ vật, hay nằm xuống ghế sofa, v.v… Khi việc thu thập liệu từ nhiều nguồn cảm biến cho kết xác phần lớn giải vấn đề 8 CHƯƠNG 2: PHÁT HIỆN NGÃ SỬ DỤNG NHIỀU CẢM BIẾN Chương bắt đầu việc trình bầy cảm biến sử dụng luận văn; phương pháp phân tích xử lý liệu cảm biến; Phương pháp trích xuất kết hợp đặc trưng từ nhiều nguồn cảm biến Cuối trình bầy mơ hình học máy sử dụng chương kết chương 2.1 Các cảm biến gia tốc (accelerometer) cảm biến quay hồi chuyển (gyroscope) 2.1.1 Cảm biến gia tốc (accelerometer) Cảm biến gia tốc hay gia tốc kế (accelerometer) loại cảm biến quán tính sử dụng nhiều thực tế tính phù hợp cảm biến việc theo dõi nhận dạng hoạt động người Gia tốc kế dùng để thu nhận chuyển động thiết bị góc nghiêng so với phương nằm ngang Với phát triển công nghệ chế tạo cảm biến, cảm biến gia tốc có kích thước nhỏ ngày nhỏ hơn, tiêu thụ lượng, hiệu suất hoạt động chịu tác động môi trường giá thành rẻ Hơn nữa, sử dụng cảm biến gia tốc theo dõi nhận dạng hoạt động thường tạo thoải mái tự nguyện cho người dùng sử dụng cảm biến hình ảnh hay cảm biến âm đảm bảo tính riêng tư cần thiết cho người sử dụng Cảm biến gia tốc sử dụng đầu dò để đo gia tốc tuyến tính (Hình 2.1) Hình 1: Cảm biến gia tốc tuyến tính Hình 2: Gia tốc kế chiều smartphone (Nguồn: https://goo.gl/97bEFb) Đơn vị thông dụng dùng để đo biến thiên gia tốc G m/s2 Hai đơn vị chuyển đổi lẫn cơng thức: 1G =9.8m/s2 Tùy loại gia tốc (độ nhạy) mà chúng đo biến đổi gia tốc cho chiều khoảng từ (-1G, +1G) (-3G, 3G) Hình 3: Nguyên lý đo gia tốc theo trục y (Nguồn: https://goo.gl/gB74Kj) Khi đặt gia tốc kế thẳng đứng theo trục y, tác động trọng lực khối lượng chuyển động (seismic mass) bị kéo xuống giá trị chuẩn trạng thái +1G Khi di chuyển khoang chứa (housing) lên xuống theo phương thẳng đứng khối lượng chuyển động di chuyển, dẫn đến giá trị y thay đổi Độ biến thiên y phụ thuộc vào việc gia tốc chuyển động khoang chứa theo chiều thẳng đứng Một gia tốc nhiều chiều bao gồm nhiều đơn vị đo gia tốc Hình 2.2 đặt theo nhiều hướng khác Hình 2.4 minh họa giá trị x, y, z số trường hợp khác nhau: (1) trường hợp đặt gia tốc kế đứng yên theo phương thẳng đứng trục y; (2) trường hợp di chuyển gia tốc kế lên xuống theo phương thẳng đứng (trục y); (3) trường hợp di chuyển gia tốc kế qua lại theo chiều ngang (trục x); (4) trường hợp di chuyển gia tốc kế tới lui (trục z) 10 Hình 4: Minh họa giá trị x, y, z 2.1.2 Cảm biến quay hồi chuyển (gyrosope) Cảm biến quay hồi chuyển (gyroscope) thiết bị sử dụng để đo vận tốc góc trì phương hướng, dựa ngun tắc bảo tồn mơ men động lượng Khi đĩa xoay với vận tốc cao, chuyển hướng theo moment ngoại lực giảm thiểu giúp gyroscope trì độ nghiêng Hiện tượng ứng dụng để giám sát độ nghiêng Gia tốc kế đo gia tốc tuyến tính lúc quay hồi chuyển nhận biết hướng thiết bị, hệ thống dễ dàng ghi nhận chuyển động theo phương ngang theo phương thẳng đứng Cảm biến hoạt động dựa hiệu ứng coriolis Hình 5: Con quay hồi chuyển Khác với gia tốc kế đo gia tốc tuyến tính thiết bị, quay hồi chuyển nhận biết hướng thiết bị, hệ thống dễ dàng ghi nhận chuyển động theo phương ngang phương thẳng đứng Vậy nên quay hồi chuyển ứng dụng nhiều vào phần mềm cần đến khả điều hướng, đặc biệt trò chơi thiết bị di động Con quay hồi chuyển sử dụng để làm la bàn 11 quay, loại bổ sung thay la bàn từ (trên tàu, máy bay phi thuyền không gian), để hỗ trợ tính ổn định (kính thiên văn Hubble, xe đạp, xe máy tàu thuyền) sử dụng làm phận hệ dẫn đường quán tính Con quay chuyển hồi thường sử dụng với gia tốc kế để đo chuyển động quay phục hồi tư Sự kết hợp hai cảm biến giúp xác định hoạt động người bộ, chạy, nhảy, ngồi, lên cầu thang, xuống cầu thang Trong chăm sóc sức khỏe, việc nhận dạng hoạt động có ích cho ứng dụng giúp phục hồi chức năng, dáng đi, bệnh khớp, bệnh Parkinson phát ngã Trong luận văn mình, học viên tiến hành nghiên cứu lựa chọn đặc trưng hai cảm biến gồm cảm biến gia tốc (accelerometer) cảm biến quay hồi chuyển (gyroscope) phương pháp kết hợp đặc trưng này; lựa chọn phương pháp học máy sử dụng với đặc trưng kết hợp 2.2 Phân tích xử lý liệu cảm biến Thiết bị phần cứng sử dụng nghiên cứu Raspberry PI Sense HAT cung cấp giải pháp nhúng MLAB PI Sense HAT máy tính nhúng kết hợp với gia tốc kế, quay hồi chuyển, thêm số chi tiết [23] gắn Raspberry MPU 6050 (hình 1, bên trái) Ngoài ra, học viên sử dụng cổng iPico 200 IoT (Hình 2.7, bên phải) để giao tiếp cảm biến đám mây (clouds) Hình 6: Raspberry MPU 6050 [23] (trái) cổng xPico 200 IoT [24] (phải) Trong giới hạn luận văn mình, học viên tập trung vào việc thu thập liệu từ cảm biến gia tốc (accelerometer) cảm biến quay hồi chuyển (gyroscope) Cảm biến 12 gia tốc cấu hình ± 16g tần số lấy mẫu 50Hz, quay hồi chuyển cấu hình đến 2000 dps Các cấu hình lựa chọn cẩn thận phù hợp để đo chuyển động người dùng Thiết bị đeo hơng cảm biến cần phải nhạy cảm với hướng, xoay chuyển động thể người dùng Do thiết lập tần số lấy mẫu 50Hz, cảm biến sinh 50 mẫu giây Trong hoạt động, tín hiệu cảm biến truyền không dây đến cổng IoT với tốc độ lấy mẫu thiết lập, tín hiệu hàng đợi xử lý trước cổng IoT Trên thực tế, nhiều yếu tố tác động môi trường, cảm biến thường sinh nhiễu đáng kể học viên áp dụng lọc Kalman ước tính trạng thái hệ thống thời điểm từ trạng thái thời điểm trước xt 1  Axt  wt (1) zt 1  Hxt  vt (2) Trong xt vectơ trạng thái thời điểm t, A ma trận chuyển tiếp trạng thái, wt tập âm chuyển tiếp trạng thái; zt phép đo x thời điểm t; vt nhiễu đo H ma trận quan sát Hình 7: Tín hiệu cảm biến ngã từ từ; tín hiệu chuẩn hóa gia tốc kế quay hồi chuyển Các biến trạng thái nghiên cứu bao gồm gia tốc chuyển động, quay, vận tốc… x biểu diễn dạng x = [a, g] a tín hiệu gia tốc đo lường thay 13 đổi tốc độ di chuyển; g vận tốc góc Vector x kết hợp với ma trận A biểu diễn thay đổi hệ thống H mối quan hệ biến trạng thái phép đo để tạo thành đầu vào hệ thống Sau lọc, tất tín hiệu chuẩn hóa giới hạn [-1,1] Dữ liệu cảm biến phát sinh liên tục cần phải phân đoạn thành cửa sổ trượt để trích xuất đặc trưng sử dụng độ dài giây để phân đoạn cửa sổ trượt Sau phân đoạn, đặc trưng lượng tính toán từ cửa sổ trượt để phát ngã Cơng thức tính đặc trưng lượng sau: x2 Energy(x) = i 1 i n n (3) 2.3 Trích xuất kết hợp đặc trưng Tín hiệu từ gia tốc kế có mức độ giao động lớn, với tín hiệu gia tốc thơ chưa xử lý khó nhận dạng mẫu Trên tốn phát hoạt động sử dụng gia tốc kế quay hồi chuyển, hầu hết sử dụng phương pháp Principal Component Analysis (PCA), Discrete Cosine Transform (DCT) hay mơ hình tự hồi quy để trích xuất đặc trưng theo miền tần số miền thời gian Các đặc trưng theo miền tần số bao gồm: tần số cao điểm, công suất đỉnh, lượng quang phổ dải tần số khác entropy phổ Các đặc trưng theo miền thời gian bao gồm: trung bình, phương sai, độ lệch chuẩn, độ nhọn, khoảng tứ phân vị, RMS, tương quan trục, entropy, skewness… Tuy nhiên, với mục tiêu kết hợp đặc trưng cảm biến cách hiệu quả, luận văn mình, học viên sâu nghiên cứu phương pháp kết hợp đặc trưng thống kê tín hiệu cảm biến Cách tính đặc trưng thống kế thường sử dụng toán nhận dạng hoạt động sử dụng gia tốc kế, quay hồi chuyển cho mẫu tín hiệu S  s1, , sn  liệt kê Độ đo hướng tâm: xác định qua trung bình số học s trung bình bình phương RMS Trong cơng thức 2, si biểu diễn giá trị thứ i tín hiệu tín hiệu, n biểu diễn độ dài tín hiệu Đối với gia tốc kế, độ đo hướng tâm thường sử dụng để xác định tư thẳng đứng nằm ngang s n  si n i 1 (4) 14 RMS (S)  n  si n i 1 (5) Độ đo phân tán độ lệch chuẩn  s , phương sai  s , độ lệch tuyệt đối trung bình (MAD) biểu diễn qua công thức 5, 6, s   s2  n ( si  s)2  n  i 1 (6) n ( si  s)2  n  i 1 (7) n (8)  si  s n  i 1 Công thức biểu diễn độ đo chuyển đổi miền lượng theo FFT, Fi thành phần MAD( S )  thứ i biến đổi Fourier S n F i 1 Energy(S ) = i (9) n Tương quan cặp trục theo hướng thường sử dụng để phát hoạt động có thay đổi hướng, cơng thức tính tốn sau:   x  x  y  N  x, y i 1 i x i  xy  N x y (10) Ngoài ra, có số số đặc trưng thống kê khác sử dụng toán phát hoạt động như: Độ lệch (skewness): độ đo bất đối xứng phân phối xác suất tín hiệu; Độ nhọn (kurtosis): độ nhọn phân phối xác suất tín hiệu; MCR (mean crossing rate): số lần tín hiệu vượt qua đường trung bình; ZCR (zero crossing rate): số lần tín hiệu chuyển từ âm sang dương ngược lại; Khoảng tứ phân vị (interquartile range): độ khác biệt 75% 25% Để kết hợp đặc trưng gia tốc kế quay hồi chuyển số đặc trưng khác cảm biến tính tốn  Các đặc trưng gia tốc kế (accelerometer): 15 Entropy: N Ex   p( xi ) log( p( xi )) (11) i 1 Trong xi giá trị gia tốc, p(xi) phân bố xác suất 𝑥𝑖 cửa sổ trượt, ước tính số 𝑥𝑖 cửa sổ chia cho n Tương tự, entropies Ey, Ez dọc theo trục y trục z tính tốn cách sử dụng cơng thức (11) Tương quan trục gia tốc: Cxy  cov(x, y) (12)  x v Trong cov (x, y) hiệp phương sai,  x ,  y , độ lệch chuẩn giá trị gia tốc x y Hjorth mobility (HM): HM  dy (t) ) dt var(y(t)) var( (13) Hjorth mobility mô tả hình dạng đường cong cách đo độ dốc trung bình tương đối, bậc hai tỷ số phương sai đạo hàm tín hiệu y(t) biên độ y(t) Hjorth complexity (HC): HC  HM ( d y (t) dt HM (y(t)) ) (14) Hjorth complexity đo tần số miền tần số, tỷ lệ tính động đạo hàm tín hiệu tính động tín hiệu  Các đặc trưng quay hồi chuyển (gyroscope): Tổng độ lớn vector (Sum Vector Magnitude - svm): svmi = √𝑥𝑖2 + 𝑦𝑖2 + 𝑧𝑖2 (15) Là tổng thành phần dọc theo trục quay hồi chuyển Khác biệt độ lớn Vector (Differential Sum Vector Magnitude - dsvm): dsvmi = √(𝑥𝑖 − 𝑥𝑖−1 )2 + (𝑦𝑖 − 𝑦𝑖−1 )2 + (𝑧 − 𝑧𝑖−1 )2 (16) Ngồi ra, đặc trưng khác trung bình, độ lệch chuẩn hệ số tương quan tính svmi dsvmi 16 Trong luận văn này, học viên đề xuất lược đồ đơn giản cho kết hợp đặc trưng dùng phép nối véc tơ đặc trưng trích chọn từ loại cảm biến với trọng số số thực nằm khoảng [0,1] thể quan trọng đóng góp vào độ xác Các vectơ đặc trưng tính từ gia tốc kế (𝐴⃗ ), quay hồi chuyển (𝐺⃗ ) kết hợp thành đặc trưng thống đây: V=α*𝐴⃗ +β*𝐺⃗ (17) Trong α, β (0≤α, β≤1) trọng số đặc trưng liệu gia tốc kế đặc trưng liệu quay tương ứng α, β thỏa mãn điều kiện α+β=1; ước tính cách đánh giá thử nghiệm tập liệu Toán tử “+” phép nối (concatanation) hai véc tơ thành véc tơ đặc trưng kết hợp hai véc tơ đặc trưng tính từ gia tốc kế (𝐴⃗ ) quay hồi chuyển (𝐺⃗ ) 2.4 Thuật toán nhận dạng Mơ hình SVM (Support Vector Machines) trì đặc trưng tổng quát liệu khơng nhìn thấy chúng xây dựng đồ nhập đặc trưng vào không gian đặc trưng có kích thước cao cách sử dụng hàm hạt nhân; chúng tìm thấy siêu phẳng (hyper plane) với đường phân biệt (max-margin) lớp đối tượng không gian Trong luận văn này, học viên sử dụng SVM LibSVM [30] với hạt nhân sở hướng tâm (RBF) Tham số C gamma SVM chọn thủ tục tìm kiếm lưới tập tập liệu học viên thu thập 2.5 Kết luận chương Trong nội dung chương này, học viên giới thiệu hai loại cảm biến cảm biến gia tốc (accelerometer) cảm biến quay hồi chuyển (gyroscope) Tiến hành trích chọn đặc trưng hai cảm biến, đề xuất phương pháp kết hợp loại đặc trưng; đồng thời học viên đề xuât sử dụng mơ hình học máy SVM cho bước phân loại cho toán phát ngã Chương thực nghiệm để phân tích đánh giá phương pháp trình bầy chương 17 CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Tập liệu Hiện khơng có sẵn liệu thu thập dựa Internet of Things, luận văn mình, học viên thực tự thu thập tập liệu ngã cho 30 đối tượng từ 20 đến 40 tuổi tham gia thực nghiệm Mỗi đối tượng tham gia thử nghiệm yêu cầu đeo thiết bị bên hông Thiết bị đeo có kích thước nhỏ bọc vỏ màu đen để không làm ảnh hưởng nhiều tới hoạt động hàng ngày không gây tập trung đối tượng Một camera kỹ thuật số đặt góc trần phòng để ghi lại toàn hoạt động thực đối tượng tham gia Trước thực ngã hoạt động khác, để tạo tín hiệu đặc biệt cho việc đồng hóa cảm biến camera đối tượng tham gia thử nghiệm yêu cầu xoay nhanh vòng Sau đối tượng thực loại ngã bao gồm: ngã phía trước, ngã phía sau, ngã bên phải, ngã bên trái, ngã lên cầu thang, ngã xuống cầu thang, ngã bộ, ngã từ từ hoạt động giống ngã bao gồm: ngồi, ngồi sau nằm, nằm từ từ, nhảy, đá, lên cầu thang, xuống cầu thang hoạt động không xác định hoạt động khơng xác định hoạt động tùy ý mà hoạt động danh sách Hình 1: Thiết bị đeo gắn cho đối tượng tham gia thử nghiệm Dữ liệu thu thập sau gán nhãn ba sinh viên Học viện Công nghệ Bưu Viễn thơng cách sử dụng cơng cụ gán nhãn ELAN [31] ELAN cung cấp định nghĩa nhãn đa cấp Các hoạt động phân loại thành hai nhóm là: ngã khơng phải ngã mô tả bảng 3.1 18 Bảng 1: Các hoạt động ngã ngã Mức độ cao (High - level) Mức độ thấp (Low - level) Không phải ngã (Non – Fall) Ngã (Fall) - Ngã phía trước Ngã phía sau Ngã bên phải Ngã bên trái Ngã lên cầu thang Ngã xuống cầu thang Ngã Ngã từ từ - Ngồi Ngồi sau nằm Nằm từ từ Nhảy Đá Đi lên cầu thang Đi xuống cầu thang Các hoạt động khác 3.2 Phân tích đánh giá kết 3.2.1 Độ đo đánh giá Để đánh giá kết thực nghiệm, học viên sử dụng phép đo phổ biến bao gồm: Độ xác: Độ bao phủ: 3.2.2 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 𝑇𝑃 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 + 𝐹𝑁 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = (18) (19) Kết cảm biến đơn Đối với cảm biến đơn, học viên sử dụng đặc trưng riêng biệt trích xuất từ cảm biến riêng lẻ để đào tạo mơ hình Máy hỗ trợ Vector (SVM) Đáng ý, liệu cho đào tạo thử nghiệm đến từ cảm biến Trong nghiên cứu này, SVM trình phân loại nhị phân cho phân biệt ngã ngã Các kết cảm biến đơn hiển thị bảng 3.2 Bảng 2: Kết đánh giá từ cảm biến đơn Cảm biến Khơng phải ngã Ngã Độ xác Độ bao phủ Độ xác Độ bao phủ Gia tốc kế 86.23% 87.46% 74.16% 75.23% Con quay hồi chuyển 56.78% 58.12% 55.73% 54.53% Như bảng 3.2, gia tốc có kết tốt với độ xác (precision) độ bao phủ (recall) 86% cho phát ngã khoảng 74% cho phân loại ngã Tiếp theo quay hồi chuyển với khoảng 55% cho ngã ngã Mặt khác, ngã phát cao đáng kể so với ngã Kết phù hợp hoạt động chưa biết (các hoạt động tùy ý) có chứa nhiễu đáng kể đưa vào nhóm khơng phải 19 ngã Mặc dù học viên đạt hiệu suất phát tốt với gia tốc đơn kết hợp gia tốc kế với cảm biến khác cải thiện độ xác cho nhiệm vụ phát ngã 3.2.3 Kết cho kết hợp đặc trưng cảm biến Trước tiên, học viên ước tính α, β cơng thức (16) xác thực chéo lần với phân loại SVM tập tập liệu tập liệu thu thập Sau học viên thay đổi giá trị α, β cho độ xác cao Một số giá trị α, β thử nghiệm liệt kê bảng 3.3 Bảng 3: Kết thu thay đổi giá trị α β Α Β F-score (%) 0.9 0.1 0.87 0.8 0.2 0.92 0.7 0.3 0.93 0.6 0.4 0,92 0.5 0.5 0.89 0.4 0.6 0.81 0.3 0.7 0.75 0.2 0.8 0.69 0.1 0.9 0.64 Kết tốt đạt (trong bảng 3.3) với giá trị α = 0.7 β = 0.3 Điều có nghĩa gia tốc kế quan trọng đóng góp vào hiệu suất hệ thống phát ngã Với Fscore cao, trung bình xác 93%, phương pháp kết hợp đặc trưng học viên cải thiện đáng kể độ xác phát ngã từ 86% việc sử dụng gia tốc tăng lên 93% việc sử dụng cảm biến gia tốc kết hợp với cảm biến quay hồi chuyển Kết chi tiết cho α = 0.7 β = 0.3 thể bảng 3.4 20 Bảng 4: Chi tiết kết cho kết hợp đặc trưng cảm biến Hoạt động Ngã Không phải ngã SVM Độ xác 93.69 82.24 Độ bao phủ 92.93 84.18 Như bảng 3.4, phương pháp kết hợp đơn giản hiệu mức độ đặc trưng đạt tới độ xác (precision) độ bao phủ (recall) cao 93% từ mơ hình máy véc tơ hỗ trợ SVM Điều đáng lưu ý tập liệu học viên thu thập chứa nhiễu đáng kể hoạt động không xác định Các kết khả quan cho việc thực hóa tốn phát ngã thời gian thực 3.3 Kết luận chương Trong chương này, học viên giới thiệu liệu phát ngã thu thập từ 30 đối tượng tham gia thử nghiệm với độ tuổi từ 20 đến 40, đối tượng tham gia thực hoạt động ngã, hoạt động giống ngã loại hoạt động khác cách đeo bên hông thiết bị nhận dạng hành động có gắn cảm biến gia tốc (accelerometer), cảm biến quay hồi chuyển (gyroscope) số thiết bị khác, thiết bị gắn cổng iPico 200 IoT để giao tiếp cảm biến đám mây (clouds) Dữ liệu thu thập từ thiết bị gán nhãn cơng cụ gán nhãn đa cấp ELAN, sau phân loại thành hai nhóm là: ngã khơng phải ngã Số liệu cụ thể thu từ việc kết hợp đặc trưng từ hai cảm biến là: cảm biến gia tốc cảm biến quay hồi chuyển cho thấy kết cao so với việc sử dụng đặc trưng từ nguồn cảm biến việc phát hiên ngã hoạt động khác ngã 21 KẾT LUẬN Ngã dẫn tới chấn thương nghiêm trọng, chí tử vong Từ trước tới có nhiều nghiên cứu để tìm hệ thống tự động phát ngã để giúp cho việc cấp cứu kịp thời để giảm thiểu rủi ro cho người ngã, đặc biệt người cao tuổi Luận văn Thạc sỹ này, học viên tập trung vào nghiên cứu khảo sát toán phát người ngã, ứng dụng thuật toán học máy để phân tích liệu từ nhiều nguồn cảm biến nhằm phân biệt nhiều tư ngã khác Trong luận văn mình, học viên nghiên cứu lựa chọn cảm biến kết hợp bao gồm cảm biến gia tốc cảm biến quay hồi chuyển Tiến hành trích chọn đặc trưng cảm biến kết hợp, đề xuất phương pháp kết hợp loại đặc trưng, nghiên cứu lựa chọn phương pháp học máy phù hợp Sau học viên tiến hành thực nghiệm với hệ thống phát ngã tập hợp loại ngã hoạt động giống ngã bao gồm hoạt động không rõ Ngồi ra, học viên tiến hành khảo sát hiệu suất phát ngã hai trường hợp: cảm biến đơn lẻ kết hợp nhiều cảm biến cấp độ đặc trưng Các thực nghiệm thực để chứng minh tính hiệu phương pháp cảm biến kết hợp đề xuất với độ xác độ bao phủ 92% cho mơ hình mơ hình máy vector hỗ trợ Hơn nữa, nghiên cứu khai thác ưu điểm tàng Internet vạn vật hướng tới việc phát ngã thời gian thực cách hiệu Các nghiên cứu tương lai thực với thời gian thực đánh giá mức tiêu thụ lượng tính phức tạp tính tốn nút mạng cảm biến có qui mơ lớn  ... trưng từ hai cảm biến là: cảm biến gia tốc cảm biến quay hồi chuyển cho thấy kết cao so với việc sử dụng đặc trưng từ nguồn cảm biến việc phát hiên ngã hoạt động khác ngã 21 KẾT LUẬN Ngã dẫn... phát ngã, tìm hiểu cách tiếp cận, cảm biến sử dụng, phương pháp học máy phương pháp thực nghiệm sử dụng tốn Trong tập trung vào toán phát ngã cách kết hợp sử dụng nhiều cảm biến (từ hai cảm biến. .. ngã sử dụng đặc trưng kết hợp từ nhiều nguồn cảm biến cho luận văn cao học với mục tiêu khảo sát toán phát người ngã, ứng dụng thuật tốn học máy để phân tích liệu từ nhiều nguồn cảm biến nhằm