Ước lượng chỉ số bất thường của dáng đi dựa trên dữ liệu khung xương.PDF

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA  LÊ LONG BẢO ƯỚC LƯỢNG CHỈ SỐ BẤT THƯỜNG CỦA DÁNG ĐI DỰA TRÊN DỮ LIỆU KHUNG XƯƠNG C C R UT.L D Chuyên ngành: Khoa học máy tính Mã số: 8480101 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng – Năm 2020 Cơng trình hồn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: TS HUỲNH HỮU HƯNG Phản biện 1: TS Ninh Khánh Duy Phản biện 2: TS Nguyễn Quang Vũ C C R UT.L Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ D Khoa học máy tính họp Trường Đại học Bách khoa vào ngày 22 tháng năm 2020 Có thể tìm hiểu luận văn tại:  Trung tâm Học liệu Truyền thông , Đại học Đà Nẵng Trường Đại học Bách khoa  Thư viện Khoa Công Nghệ Thông Tin, Trường Đại học Bách khoa – ĐHĐN MỞ ĐẦU LÝ DO CHỌN ĐỀ TÀI Theo nhà khoa học dáng người dự đoán bệnh tật, cho số trường hợp lúc chân trái bước trước cột sống xoay sang phải, tay phải theo cử động, mà tay không đung đưa vùng lưng bạn có vấn đề xương khớp, dẫn đến đau nhức vùng thắt lưng Việc áp dụng cơng nghệ vào phân tích hoạt động người công việc đầy thách thức phức tạp đa C C R UT.L dạng chuyển động, để phân tích chuyển động D nhà khoa học máy tính áp dụng trí tuệ nhân tạo vào thiết bị phần cứng camera cảm biến, có nhược điểm người dùng cần phải mang thiết bị bên thơng tin thu nhận dạng video hình ảnh, thường thiết bị khơng đưa giá trị dáng đi, để khắc phục nhược điểm tơi đề xuất phương pháp áp dụng liệu từ khung xương thu lại từ cảm biến Kinect phân tích dáng dựa liệu khung xương để đưa dự đốn dáng thuộc lớp bình thường hay bất thường Mục đích phương pháp dựa vào liệu khung xương, hệ thống áp dụng thuật tốn trí tuệ nhân tạo dự đốn dáng bình thường hay bất thường, từ giúp bác sĩ dự đốn bệnh liên quan đến xương khớp Vì lý định chọn đề tài “Ước lượng số bất thường dáng dựa liệu khung xương” MỤC TIÊU VÀ NHIỆM VỤ 2.1 Mục tiêu Mục tiêu đề tài dựa số hay liệu khung xương, dùng học máy để huấn luyện để từ dự đốn khung xương bình thường hay bất thường 2.2 Nhiệm vụ - C C R UT.L Nghiên cứu đặc trưng dáng phương pháp D phân tích dáng - Nghiên cứu giải pháp sử dụng liệu từ khung xương phương pháp học máy để huấn luyện - Xây dựng chương trình demo để kiểm tra tính hiệu giải pháp ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 3.1 Đối tượng - Các dáng bình thường bất thường - Các số khung xương - Các phương pháp trích chọn đặc trưng - Các phương pháp học máy dùng cho toán phân lớp 3.2 Phạm vi nghiên cứu Nghiên cứu phương pháp trích chọn đặc trưng phương pháp học máy PHƯƠNG PHÁP NGHIÊN CỨU 4.1 Phương pháp nghiên cứu tài liệu - Tìm hiểu báo ngồi nước khung xương - Tìm liệu mẫu khung xương - Tìm hiểu phương pháp học máy áp dụng cho việc huấn luyện C C R UT.L 4.2 Phương pháp nghiên cứu thực nghiệm D - Xây dựng chương trình demo dựa giải pháp đề xuất - Thực nghiệm từ liệu đầu vào liệu khung xương - Kiểm tra kết dự đốn xem khung xương bình thường hay bất thường BỐ CỤC LUẬN VĂN MỤC LỤC MỞ ĐẦU CHƯƠNG 1: NGHIÊN CỨU TỔNG QUAN 1.1.GIỚI THIỆU 1.2.TỔNG QUAN VỀ DÁNG ĐI 1.3.CÁC PHƯƠNG PHÁP PHÂN TÍCH DÁNG ĐI 1.4.CÁC GIAI ĐOẠN TRONG DÁNG ĐI Ở NGƯỜI CHƯƠNG 2: GIẢI PHÁP ĐỀ XUẤT 2.1 TỔNG QUAN ĐỀ XUẤT 2.2 XÂY DỰNG DỮ LIỆU 2.3 DỮ LIỆU ĐẦU VÀO 2.4 TRÍCH CHỌN ĐẶC TRƯNG 2.5 HUẤN LUYỆN 2.6 CHỈ SỐ VÀ CÁCH ĐO LƯỜNG CHƯƠNG 3: TRIỂN KHAI VÀ NHẬN XÉT 3.1 DỮ LIỆU VÀ CÔNG CỤ THỰC NGHIỆM C C R UT.L 3.2 THỰC NGHIỆM VÀ KẾT QUẢ D KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TÀI LIỆU THAM KHẢO CHƯƠNG NGHIÊN CỨU TỔNG QUAN 1.1 GIỚI THIỆU Hiện nay, việc phân tích dáng thường dựa hướng nghiên cứu việc thu nhận xử lý thông tin qua video hình ảnh sử dụng hệ thống thị giác máy tính để phân tích Điểm khác biệt liệu dùng để phân tích thường từ video hình ảnh, với liệu cần thời gian để tiền xử lý Bằng việc áp dụng thiết bị có cảm biến trích xuất liệu từ dáng dựa khung xương, ta C C R UT.L xử lý phân tích trực tiếp liệu, từ q trình nhận D dạng nhanh hiệu 1.2 TỔNG QUAN VỀ DÁNG ĐI Dáng mà cụ thể dáng yếu tố quan trọng để đánh giá sức khỏe bệnh nhân, cịn giúp phát biểu bất thường bệnh nhânDáng nói đơn giản dáng phía trước, muốn bước tiếp, phải dùng lực đẩy thể đẩy chi phía trước Chuyển động thể đòi hỏi lượng xác định trọng lượng thể mức độ dịch chuyển 1.2.1 Phân loại dáng bất thường Hình 1 Ảnh dáng bất thường a Spastic gait : Dáng biểu việc người kéo chân C C R UT.L bộ, hai chân cong quặp vào Hai chân hướng D vào trong, giống kìm lớn Do co cứng gân gót, chân treo lên tự nhiên, bệnh nhân thả chân trở thành dài, ngắn để trì cân thể b Scissors gait : Dáng biểu việc hai chân bắt chéo va vào Bệnh nhân bại não có dáng kéo điển hình, hai đùi khép lại, chân bắt chéo nhau, dễ dàng bước trước mu bàn chân bàn chân c Steppage gait Với dáng dáng có biểu ngón chân hướng xuống đất, cào vào đất Người có dáng kiểu ln ln bước tới cách rón làm người ta liên tưởng bước chim cánh cụt d Waddling gait Dáng người bị bệnh biểu việc lạch bạch di chuyển từ bên sang bên kia, gây mệt mỏi, cẳng chân, chân, đầu gối bị đau, bạn có bàn chân phẳng e Propulsive gait Người bình thường tiếp đất gót chân Nhưng số người kiễng chân bàn chân, gót chân chạm đất, C C R UT.L múa ballet D 1.2.2 Biểu lâm sàng dáng Các biểu lâm sàng dáng bất thường, thường rối loạn dáng đi, tuổi cao rối loại hay gặp Ở nhóm tuổi 85, có tới 40-50% có rối loạn dáng Biểu lâm sàng bất thường dáng biểu như: ngã, đau xương khớp… Các biểu lâm sàng rối loạn dáng như: - Đứng lên 20 giây - Đứng chân giây - Rối loạn cảm giác chi - Dáng chậm với bước nhỏ, giảm đung đưa cánh tay 1.3 Dáng đơng cứng với cảm giác bàn chân dính sàn CÁC PHƯƠNG PHÁP PHÂN TÍCH DÁNG ĐI Về có hai phương pháp phân tích dáng di: dựa vào đặc trưng dựa vào mơ hình 1.3.1 Dựa vào đặc trưng Trong phương pháp phân tích dựa vào đặc trưng, đặc trưng trích xuất biểu diễn cho dáng Tùy thuộc vào mục đích phân tích dáng mà đặc trưng khác dáng sử dụng Trong nghiên cứu dựa vào liệu từ khung xương C C R UT.L đặc trưng khung xương chiều dài vị trí, góc D vị trí khớp xương đặc trưng dùng để sử dụng Các tính độ dài bước chân, vận tốc, tổng thời gian dừng lại, khoảng cách dừng lại, số bước để dừng lại, chiều dài chiều rộng bước sử dụng để phân tích dáng đối tượng người cao tuổi 1.3.2 Dựa vào mô hình Các phương pháp phân tích dáng dựa mơ hình sử dụng mơ hình tốn học để biểu diễn phân tích dáng máy vector hỗ trợ, mơ hình Markov ẩn, mạng nơron…  Máy vector hỗ trợ (Support Vector Machine -SVM)  Mơ hình Markov ẩn (HMM): 10 Hình Chuyển động góc khớp chạm gót C C R UT.L D Hình Chuyển động góc khớp đáp ứng tải 1.4.1 Giai đoạn tựa Giai đoạn tựa bàn chân tiếp xúc với đất (từ điểm bàn chân chạm đất đến bàn chân rời khỏi đất) Giai đoạn 11 thường chia thành chạm gót, bàn chân (hoặc đáp ứng tải), tựa, cuối tựa (nhấc gót), tiền đu đưa (nhấc ngón chân) C C R UT.L Hình Chuyển động góc khớp tựa D 1.4.2 Giai đoạn đu đưa Giai đoạn đu đưa xảy từ lúc bàn chân rời đất đến bàn chân chạm đất lại Giai đoạn thường chia thành đầu đu đưa, đu đưa cuối đu đưa Tỷ lệ thời gian tương ứng sử dụng hai giai đoạn đu đưa tựa thay đổi đáng kể chạy Khi bình thường tựa chiếm 60%, đua đưa chiếm 40% Khi nhanh chạy, thời gian giai đoạn tựa giảm Ví dụ chạy vừa 55%, chạy nhanh 50% 12 CHƯƠNG 2: GIẢI PHÁP ĐỀ XUẤT 2.1 TỔNG QUAN ĐỀ XUẤT Đối với toán phân tích dáng người thơng qua liệu khung xương, ý tưởng đưa để giải vấn đề ghi lại vị trí tọa độ x,y,z khớp xương số frame cho khung hình ghi xuất tất tọa độ số frame vào file text để tạo thành liệu thô dùng cho việc huấn luyện kiểm tra Mơ hình tổng qt đề xuất sau : C C R UT.L D Hình Ảnh mơ hình tổng qt 13 2.2 XÂY DỰNG DỮ LIỆU 2.2.1 Tổng quan Kinect Hình 2 Ảnh thiết bị Kinect C C R UT.L Kinect thiết bị cảm biến ngoại vi thu chuyển động hãng Microsoft sản xuất dành cho Xbox 360 máy tính D Windows Dựa webcam kiểu add-on ngoại vi cho Xbox 360, cho phép người dùng điều khiển tương tác với Xbox 360 mà không cần phải dùng đến điều khiển tay cầm, thông qua giao diện người dùng tự nhiên cử lệnh nói 2.2.2 Xây dựng liệu khung xương với Kinect Dữ liệu khung xương xây dựng dựa thư viện KinectSDK Microsoft Bằng việc ghi lại vị trí khung xương q trình di chuyển xuất chuỗi vị trí khung xương chuỗi frame file text với file text tượng trưng cho dáng bình thường bất thường 14 Camera Kinect cho phép theo dõi khung xương người đứng trước camera, cụ thể với khung hình camera Kinect thu 15 đến 20 khớp xương tương ứng với 15 đến 20 tọa độ (x, y, z) C C R UT.L D Hình Vị trí 15 khớp xương dùng thư viện OpenNI Hình Vị trí 20 khớp xương dùng thư viện Microsoft 15 Để xây dựng liệu huấn luyện cần ghi lại chuỗi hành động dáng định, liệu ghi lại chuỗi hoạt động leo cầu thang nhiều đối tượng, từ ta có giá trị khớp xương C C R UT.L D Hình Chuỗi hoạt động dáng leo cầu thang Hình Ảnh mô xây dựng liệu 2.3 DỮ LIỆU ĐẦU VÀO Dữ liệu khung xương liệu chứa vị trí khớp xương phân tích trực tiếp dáng đi, 16 khác cần xử lý thêm để tạo thơng tin liên quan Sau có liệu đầu vào hệ thống xương người với vị trí khớp 3D, chuỗi khung hình cung cấp Kinect C C R UT.L D Hình Minh họa trích xuất 15 vị trí xương khớp thành raw data Hình Số lượng chuỗi khung hình bắt đầu kết thúc Sau xác định chuỗi bắt đầu kết thúc, nhóm chuỗi hoạt động bình thường, để từ xây dựng model khung xương bình thường dùng cho việc huấn 17 luyện sau Ở bước cần chọn đặc trưng để hồn chỉnh model bình thường Hình Nhóm chuỗi khung xương gán nhãn C C R UT.L D 2.4 TRÍCH CHỌN ĐẶC TRƯNG Từ liệu khung xương có nhiều đặc trưng chọn ví dụ chiều dài khớp xương nối liền kề với nhau, chiều dài từ tâm ngực đến tay, chân, tương ứng với tình có phương pháp chọn đặc trưng khác nhau, báo cáo đặc trưng chọn tập trung vào phần thể hình 18 Hình 10 Vị trí khớp xương dùng cho việc trích chọn đặc trưng Như hình feature vector trích chọn báo cáo góc phần thân như: góc hơng bên trái, góc hơng bên phải, góc khớp gối trái, góc khớp gối phải, khoảng cách hai bàn chân … feature vector tính tốn frame chuỗi frame cho hoạt động định nghĩa sẵn C C R UT.L D Hình 11 Các đặc trưng dựa vào dáng người từ khung xương Ở dáng đặc trưng thể phần thân thể nên báo cáo xem xét phân thân như: góc hơng bên trái, góc hơng bên phải, góc khớp gối bên trái, góc khớp gối bên phải Các góc đặc trưng ước tính dựa tọa độ 3D đến khớp 19 liên quan, để đơn giản hóa đặc trưng gán cho mã ID định C C R UT.L D Hình 12 Trích xuất đặc trưng từ liệu thô 15 vị trí 2.5 HUẤN LUYỆN 2.5.1 Xây dựng mơ hình phân lớp sử dụng HMM để huấn luyện 2.5.2 Phân lớp bình thường bất thường: Bước 1: Chúng ta tiến hành input data với liệu đầu vào mảng chuỗi sequences, theo chuỗi sequence có dạng sau: 20 Hình 13 Ảnh chuỗi sequence liệu huấn luyện Bước : Sau có sequence tiến hành gán nhãn cho chuỗi sequence bình thường hay bất thường Hình 14 Ảnh nhãn sequence Bước 3: Sau gán nhãn xong, mơ hình học máy HMM sử dụng để huấn luyện C C R UT.L 2.6 CHỈ SỐ VÀ CÁCH ĐO LƯỜNG CHỈ SỐ D 2.6.1 Chỉ số 2.6.2 Đo lường số 2.6.3 Bảng số áp dụng liệu huấn luyện thử nghiệm Chỉ số bất thường khung xương ước tính dựa trọng số lỗi, độ xác, số áp dụng chuỗi hoạt động tính toán bảng Data set Chỉ số Training Per- sequence 0.9 0.92 0.07 Testing Per-sequence 0.8 0.75 0.25 AUC Accuracy Bảng Bảng số áp dụng MSE 21 CHƯƠNG 3: TRIỂN KHAI VÀ NHẬN XÉT 3.1 DỮ LIỆU THỬ NGHIỆM Dữ liệu thử nghiệm phân làm loại liệu bình thường bất bình thường với bất bình thường chia làm loại mô tả sau: Loại liệu Chỉ số Bình thường Sequence Mơ tả Đối tượng với dáng bình thường có chu kỳ bắt đầu kết thúc giống với liệu C C R UT.L training Bất thường D Sequence RL: Chân phải bước trước LL: Chân trái bước trước StopX1: Dừng lần trình StopX2: Dừng hai lần trình Bảng Bảng mô tả loại liệu Đối với liệu bất thường với nhiều kiểu liệu bất thường nhỏ mơ tả cáo cáo quy dự đoán lớp bất thường dễ hình dung 22 3.2 NGƠN NGỮ C# VÀ THƯ VIỆN HỌC MÁY 3.2.1 Ngôn ngữ C# 3.2.2 Thư viện Accord NET 3.3 KẾT QUẢ THỬ NGHIỆM Để thử nghiệm liệu thử nghiệm dùng gồm loại liệu bình thường bất thường với bất thường gồm nhiều loại khác kết dự đoán cho liệu bất thường cho bình thường kết Trong liệu thử nghiệm áp dụng bao gồm liệu huấn luyện liệu test để dự đoán C C R UT.L Loại liệu Số lượng liệu Mơ tả Huấn luyện D 28 16 file có chu kỳ bình thường 12 file có chu kỳ bất thường Test file bất thường file bình thường Bảng 3.2 Mô tả liệu thử nghiệm Kiểm tra liệu huấn luyện, ta thấy mức độ dự đốn xác đạt khoản 90% 23 Hình Kết đo lường liệu huấn luyện D C C R UT.L 24 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Thị giác máy tính lĩnh vực phát triển mạnh mẽ giới nói chung Việt Nam nói riêng Khái niệm thị giác máy tính có liên quan đến nhiều ngành học có nhiều hướng nghiên cứu khác Đặc biệt, với nhu cầu ngày tăng hệ thống giám sát trực quan, nhận dạng đối tượng người khoảng cách định quan tâm nhiều thời gian gần Sự phát triển kỹ thuật thị giác máy tính ảnh hưởng lớn theo chiều hướng tích cực C C R UT.L tới khả nâng cao độ xác phương pháp phân tích dáng D Luận văn trình bày tổng quan phương pháp phân tích dáng đi, trích xuất liệu từ cảm biến Kinect, mơ hình tổng quan cách xử lý áp dụng phương pháp học máy HMM việc huấn luyện để dự đoán dáng Các thực nghiệm liệu mẫu cho thấy tiềm phương pháp áp dụng thực tế Hướng phát triển : Hướng phát triển liệu đầu vào lấy trực tiếp từ camera Kinect, cộng với liệu huấn luyện lớn đầy đủ với loại cụ thể cho trường hợp ... 2.6.2 Đo lường số 2.6.3 Bảng số áp dụng liệu huấn luyện thử nghiệm Chỉ số bất thường khung xương ước tính dựa trọng số lỗi, độ xác, số áp dụng chuỗi hoạt động tính tốn bảng Data set Chỉ số Training... nghiệm liệu thử nghiệm dùng gồm loại liệu bình thường bất thường với bất thường gồm nhiều loại khác kết dự đoán cho liệu bất thường cho bình thường kết Trong liệu thử nghiệm áp dụng bao gồm liệu. .. tích dáng dựa liệu khung xương để đưa dự đoán dáng thuộc lớp bình thường hay bất thường Mục đích phương pháp dựa vào liệu khung xương, hệ thống áp dụng thuật toán trí tuệ nhân tạo dự đốn dáng