Phân tích dáng đi của con người trong hỗ trợ chăm sóc, điều trị phục hồi chức năng cho người cao tuổi và khuyết tật vận động

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG TÓM TẮT BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ D aN D oc H PHÂN TÍCH DÁNG ĐI CỦA CON NGƯỜI TRONG HỖ TRỢ CHĂM SÓC, ĐIỀU TRỊ PHỤC HỒI CHỨC NĂNG CHO NGƯỜI CAO TUỔI VÀ KHUYẾT TẬT VẬN ĐỘNG Mã số: KYTH-59 (B2018.DNA.08) g an Chủ nhiệm đề tài: TS VÕ ĐỨC HOÀNG Đà Nẵng, 5/2020 g an aN D oc H D MỤC LỤC Tính cấp thiết đề tài Mục tiêu nhiệm vụ đề tài Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Nội dung nghiên cứu Cấu trúc đề tài CHƯƠNG 1: NGHIÊN CỨU TỔNG QUAN 1.1 Tổng quan D 1.2 Mối quan hệ phân tích dáng phục hồi bệnh tật 1.3 Các cơng trình ngồi nước nghiên cứu phân tích dáng NHẬN DẠNG DỰA VÀO KHOẢNG CÁCH 10 oc CHƯƠNG 2: H 1.4 Các phương pháp phát chuyển động 2.1 Tổng quan hệ thống 10 D 2.2 Tiền xử lý 11 aN 2.3 Phân lớp nhận diện đối tượng 12 2.4 Thực nghiệm 14 CHƯƠNG 3: an 2.5 Kết luận hướng phát triển 16 TRIỂN KHAI HỆ THỐNG 17 g 3.1 Tổng quan Kinect 17 3.2 Phát bất thường dáng 17 3.5 Xây dựng sở liệu 19 3.4 Triển khai sản phẩm thử nghiệm thực tế 19 KẾT LUẬN 20 Kết đạt 20 Hướng phát triển 20 MỞ ĐẦU g an aN D oc H D Tính cấp thiết đề tài Các bệnh lý xương khớp, điển hình nhóm bệnh viêm khớp gia tăng nhanh toàn cầu Việt Nam năm gần đây, bệnh xảy lứa tuổi, ảnh hưởng nhiều đến khả lao động, sinh hoạt chất lượng sống người bệnh nguyên nhân gây tàn phế, trở thành gánh nặng cho gia đình xã hội Trong đó, cơng tác tầm sốt, chăm sóc điều trị bệnh cịn nhiều thách thức Theo thống kê WHO, khoảng 14% dân số 18 tuổi bị giảm chất lượng sống giới hạn chức vận động 50% trường hợp tình trạng bệnh xương khớp Tại Việt Nam theo thống kê Hội xương khớp 30% người 35 tuổi, 60% người tuổi 65 85% người tuổi 80 bị thối hóa khớp Với phát triển nhanh chóng loại máy móc đại máy ảnh số, máy quay phim kỹ thuật số, máy vi tính, điện thoại di động…v.v lượng thơng tin người thu dạng hình ảnh lớn Để lượng thơng tin trở nên có ích hơn, người cần phải tiến hành xử lý từ tạo điều kiện cho phát triển khơng ngừng kỹ thuật xử lý hình ảnh Xử lý ảnh công nghệ ứng dụng rộng rãi nhiều lĩnh vực đời sống xã hội Bên cạnh đó, hệ thống máy ảnh quan sát ngày sử dụng cách rộng rãi với mục đích hỗ trợ an ninh, giám sát hoạt động, chuẩn đoán bệnh tật… Mục tiêu nhiệm vụ đề tài Xây dựng sở liệu dáng bình thường dáng người có khuyết tật sở xử lý liệu ảnh từ nhiều nguồn camera khác Xây dựng hệ thống phần mềm hỗ trợ công tác chăm sóc y tế, điều trị phục hồi chức cho bện nhân Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu  Các dáng gắn liền với biểu bệnh tật: Dáng chống đau, Dáng cứng khớp háng, Dáng khớp háng không vững, Dáng Trendelenberg, Dáng mông nhỡ, Dáng chân ngắn, Dáng bước cao, Dáng kéo, Dáng bệnh nhân g an aN D oc H D Parkinson, Dáng liệt nửa người, Dáng thất điều, Dáng lật bật (dồn), Dáng chân ngựa, Dáng co cứng  Các phương pháp xử lý trích rút đặc trưng dáng đi: đặc trưng điểm khớp nối, đặc trưng độ dài bước đi, đặc trưng đường bao,  Các phương pháp nhận dạng sử dụng nhận dạng phân tích dáng đi: Máy véc tơ hỗ trợ, mơ hình markov ẩn, mạng neuron, kĩ thuật học sâu,  Mơ hình xử lý tín hiệu video hỗ trợ đưa nhận xét tốc độ phục hồi người bệnh có khuyết tật vận động Phạm vi nghiên cứu  Nghiên cứu kỹ thuật xử lý ảnh số, trích rút đặc trưng, kỹ thuật nhận dạng đề xuất giải pháp nhận dạng, phân tích dáng phục vụ đánh giá khả phục hồi bệnh nhân có khuyết tật vận động  Các hệ thống phân tích xử lý tín hiệu video hỗ trợ đưa đánh giá, nhận xét mức độ phục hồi bệnh tật Phương pháp nghiên cứu Cách tiếp cận Đề tài thực sở thừa kế kiến thức tảng về:  Lý thuyết thống kê  Thị giác máy tính  Học máy (machine learning)  Thiết kế phân tích thí nghiệm Phương pháp nghiên cứu Dựa sở kết hợp lý thuyết thực nghiệm sau đây:  Xem xét đề tài nghiên cứu liên quan, so sánh đánh giá ưu điểm khuyết điểm phương pháp phân tích video khác để từ đề xuất ý tưởng thay đổi cải thiện hệ thống tồn  Sử dụng cơng cụ tốn học phù hợp để mơ hình hóa tập hợp cử dáng phục vụ cho mục đích nhận dạng  Thiết kế thực thí nghiệm dựa hệ thống đề xuất để thu thập liệu kết 3  g an aN D oc H D Kiểm tra độ xác tính hiệu hệ thống đề xuất dựa việc phân tích làm sáng tỏ kết liệu Nội dung nghiên cứu  Nghiên cứu đặc trưng sinh trắc học dáng đi, liên quan dáng với biểu bệnh tật, liên quan dáng với khả phục hồi điều trị chấn thương chỉnh hình  Phân tích đặc trưng mơ tả dáng bình thường, dáng bình thường, thực thực nghiệm đánh giá  Nghiên cứu mơ hình học máy, kết hợp mơ hình học máy với đặc trưng mơ tả dáng đi, xây dựng mơ hình huấn luận phục vụ phân tích dáng  Xây dựng sở liệu dáng người bình thường, sở liệu dáng người có khuyết tật lại phục vụ triển khai hệ thống  Triển khai hệ thống phân tích dáng phục vụ chăm sóc y tế, hỗ trợ điều trị chấn thương chỉnh hình Cấu trúc đề tài Chương 1: Nêu tổng quan phương pháp nghiên cứu nhận dạng dáng có Việt Nam giới Đồng thời nêu lên phương pháp thu nhận liệu trích xuất đặc trưng cho trình phân loại nhận dạng Tổng hợp chuyên đề nghiên cứu trước để có sở thực nghiên cứu phân đoạn video, xây dựng ứng dụng hỗ trợ phân tích dáng Chương 2: Trình bày dáng dựa vào khoảng cách sử dụng nhiều máy ảnh Thông qua nghiên cứu nhận dạng dáng đi, nghiên cứu trình bày đề xuất thu nhận liệu, cải tiến phương pháp trích xuất đặc trưng nâng cao tỉ lệ nhận dạng Đồng thời trình bày phương pháp phân đoạn video để trích xuất khung hình nhằm tăng trình nhận dạng, loại bỏ khung hình thừa Chương 3: Trình bày triển khai hiệ thống để phân tích đặc trưng dáng nhằm phát bất thường để đưa thông số phù hợp hỗ trợ cho bác sĩ hỗ trợ chăm sóc, điều trị phục hồi chức cho người cao tuổi khuyết tật vận động Trình bày xây dựng sở liệu phục vụ cho nghiên cứu sau liên quan đến nhận dạng dáng hay xử lý tín hiệu video Cuối báo cáo trình bày quy trình triển khai, thử nghiệm sản phẩm phần mềm Khoa CNTT Bệnh viện y học cổ truyền Đà Nẵng 4 CHƯƠNG 1: NGHIÊN CỨU TỔNG QUAN g an aN D oc H D 1.1 Tổng quan Một số nghiên cứu trước sử dụng thiết bị phần cứng để giúp người cao tuổi thông báo đến người thân dịch vụ y tế gặp cố Người dùng thường phải đeo cảm biến gia tốc để bị ngã đột ngột, hệ thống tự động phát thông báo Một giải pháp khác đưa dùng nút bấm báo động, sử dụng người dùng ngã Tuy người cao tuổi thường quên mang nút bấm bên trường hợp bất tỉnh sau ngã người dùng khơng thể sử dụng, để khắc phục hạn chế này, mang lại thuận tiện cho người sử dụng, hệ thống máy tính kết nối với máy ảnh dùng để chẩn đốn bệnh xương khớp phát té ngã, chấn thương người cao tuổi, nói chung phát bất thường dáng Ưu điểm hệ thống người dùng không cần mang người thiết bị hỗ trợ, đồng thời thơng tin chuyển động xác định chi tiết thiết bị phần cứng Bài tốn phân tích dáng nghiên cứu rộng rãi để phục vụ cho hệ thống giám sát chăm sóc y tế nhà Hiện nay, việc phân tích dáng thường dựa hướng nghiên cứu việc thu nhận, xử lý thơng tin qua cảm biến sử dụng hệ thống thị giác máy tính Điểm khác biệt chủ yếu hướng thiết bị hỗ trợ sử dụng trình nghiên cứu Phần lớn nghiên cứu sử dụng nhiều máy ảnh đồng (nhiều máy ảnh thu hình lúc) hay thiết bị có cảm biến Microsoft Kiect Các hướng nghiên cứu đạt nhiều thành tựu khích lệ áp dụng nhiều lĩnh vực khác đời sống, nhiên kỹ thuật đối mặt với nhiều thách thức khác nhau, làm cho trở nên nhánh nghiên cứu động hấp dẫn Tỷ lệ nhận dạng toàn hệ thống chịu ảnh hưởng bất lợi yếu tố sau:  Vấn đề góc quay máy ảnh thách thức cho việc phân tích dáng người Trong hệ thống nhận dạng thực tế chuỗi hành động thường quan sát từ góc quay tùy ý máy ảnh; ứng dụng địi hỏi độc lập góc quay Điều có nghĩa hiệu suất hệ thống cần phải   D  khơng thay đổi theo góc quay khác máy ảnh, chẳng hạn đối tượng quan sát phải đứng đối mặt với máy ảnh Hầu hết thuật tốn trích đối tượng dựa phương pháp trừ nền, u cầu mơ hình đáng tin cậy Tuy nhiên thực tế, hình thường phức tạp hay thay đổi, ví dụ thay đổi độ sáng tối (ban ngày, ban đêm, ngày nắng, ngày mưa…), thay đổi vị trí đồ vật nền… Vẻ bề ngồi đối tượng thay đổi nhiều yêu tố khác nhau, chẳng hạn người bề mặt khác làm gia tăng phức tạp việc bám đuổi thể, trích chọn đặc trưng ước lượng tư Việc tìm giải pháp để giải vấn đề hướng nghiên cứu tương lai Nhận dạng hành vi g an aN D oc H 1.2 Mối quan hệ phân tích dáng phục hồi bệnh tật Nhận dạng hành động người liên quan đến việc phân loại hành động người từ tín hiệu video, lĩnh vực nghiên cứu theo hướng “hiểu tín hiệu video” áp dụng nhiều giới như: hệ thống giám sát thông minh, hệ thống chăm sóc sức khỏe, hệ thống giao thơng thơng minh… Đặc biệt, năm gần đây, với phát triển mạnh mẽ cơng nghệ thơng tin lĩnh vực ngày quan tâm nghiên cứu nhiều thu kết bước đầu đáng khích lệ Mỗi hệ thống nhận dạng hành động hay nhận dạng dáng điển hình gồm bước xử lý sau: Trích xuất đặc trưng Đối với nước ta, nhận dạng dáng người lĩnh vực mới, số lượng nghiên cứu đề tài chưa nhiều, nhiên năm gần đây, lĩnh vực nhận quan tâm đầu tư nhiều nhà nghiên cứu, thể số lượng hội nghị, số báo nước quốc tế ngày tăng, nhiều nhóm nghiên cứu đạt số thành tựu ban đầu khả quan Ứng dụng kỹ thuật nhận dạng hành động đạt thành tựa đáng khích lệ áp dụng nhiều lĩnh vực khác đời sống, có ứng dụng trội ứng dụng hệ thống giám sát an ninh giám sát chăm sóc sức khỏe 6 1.3 Các cơng trình ngồi nước nghiên cứu phân tích dáng Hiện nay, việc phân tích dáng thường thực dựa hướng chính, ba số thuộc lĩnh vực thị giác máy tính, điểm khác biệt chủ yếu hướng thiết bị hỗ trợ sử dụng trình nghiên cứu Các nhà nghiên cứu chuyển tập trung sang hệ thống thị giác máy tính, kĩ thuật phân tích dáng nghiên cứu với thiết bị thu nhận ảnh cách ước lượng thông số dáng khác Xu hướng thường thực sử dụng camera, hệ thống nhiều camera sử dụng camera có cảm biến D g an aN D oc H 1.4 Các phương pháp phát chuyển động 1.4.1 Phát đối tượng Phát đối tượng trình đưa vết đối tượng từ khung hình video, trình thực chất trình xử lý chuỗi ảnh liên tiếp đoạn video để phát đối tượng đoạn hình ảnh, có nhiều phương pháp đưa để giải vấn đề 1.4.2 Đánh giá đề xuất phương pháp phát đối tượng Phát đối tượng dựa vào màu: thực việc so sánh thông tin màu điểm ảnh so với ngưỡng, phương pháp có chi phí tính tốn thấp gần trình xử lý thực ảnh đa mức xám Nhược điểm phương pháp trường hợp không gian màu tồn nhiều vùng có màu sắc với đối tượng việc nhận dạng trở nên khó khăn Phát đối tượng dựa vào chuyển động: Phát đối tượng dựa vào chuyển động sử dụng nhiều tốn bám theo đối tượng đứng yên chuyển động Trong toán “ Phân tích dáng người” phương pháp có tính khả thi độ xác cao Phát đối tượng dựa vào mẫu: Phát đối tượng dựa vào mẫu nghĩa ta so khớp đặc trưng ảnh huấn luyện ảnh đầu vào để đạt kết mong muốn Việc so khớp dựa vào mô tả điểm ảnh dựa vào vị trí điểm bất động cho kết xác Phương pháp dựa vào mẫu phụ thuộc nhiều vào (a) (b) an aN D oc H D liệu ảnh huấn luyện lớn, dáng người đa dạng nên phương pháp sử dụng Theo vết đối tượng: công đoạn nhiều ứng dụng thị giác máy tính, mục tiêu theo vết để “hiểu” chuyển động đối tượng, ‘hiểu” thơng tin đối tượng gồm: vị trí không gian, vận tốc chuyển động đặc trưng vật lý khác Mục đích theo vết đối tượng thiết lập tương ứng đối tượng frame liên tục để trích rút thông tin theo thời gian đối tượng đường đi, tư thế, tốc độ phương hướng Theo vết đối tượng phát từ frame đến frame khác video nhiệm vụ khó khăn mang nhiều ý nghĩa Nó phần chủ yếu hệ thống giám sát thông minh, đối tượng chưa theo vết, hệ thống trích rút thơng tin kèm theo thời gian đối tượng bước phân tích điều khiển mức cao thực Kỹ thuật theo vết thực nhiều cách biểu diễn đối tượng khác nhau: điểm, kernel hình chiếu hình 1.4, hình 1.5 (c) g Hình 1.1: Các dạng biểu diễn đối tượng khác [16] Hình 1.2: Các phương pháp theo vết (a) theo vết điểm, (b) theo vết kernel, (c) theo vết dựa hình chiếu Có nhiều phương pháp để giải tốn theo vết thơng thường sau: so khớp mẫu, theo vết Meanshift, phương pháp Bayesian (lọc Kalman, lọc Particle) g an aN D oc H D 1.4.3 Theo vết đối tượng Phương pháp so khớp mẫu có ưu điểm không chịu ảnh hưởng nhiễu ánh sáng, theo vết đối tượng biến dạng Tuy nhiên nhược điểm phương pháp độ phức tạp tính tốn cao, chất lượng so khớp phụ thuộc vào chi tiết độ xác mẫu đối tượng Phương pháp theo vết màu Meanshift phương pháp đơn giản hiệu cho theo vết thời gian thực Nhưng tối ưu hóa cục khơng tồn cục Khi màu màu đối tượng giống phương pháp khơng tác dụng Phương pháp ước lượng Bayesian: Hai phương pháp theo vết đối tượng dựa ước lượng Bayesian lọc Kalman lọc Particle Kalman thuật toán theo vết tối ưu trường hợp hệ tuyến tính nhiễu có phân phối Gauss Extended Kalman giải trường hợp phi tuyến nhiễu Gauss giải tốt tốn trường hợp phương trình biến đổi có bậc Lọc Particle (Partical Filters) giúp giải toán lọc tổng quát cách triệt để Các phương pháp khơng địi hỏi phải đặt giả định hệ, ngồi chúng cịn linh động, mềm dẽo, dễ cài đặt, có khả mở rộng để thực mơi trường tính tốn song song đặc biệt hoạt động hiệu trường hợp tốn tổng qt 1.4.4 Trích chọn thuộc tính đặc trưng Sau bước phân đoạn, theo vết đối tượng, đặc điểm đối tượng hình dáng, màu sắc, chuyển động, v.v trích biểu diễn dạng vector thuộc tính đa chiều Có nhiều mơ tả thuộc tính khác đề xuất, phân loại thuộc tính theo nhiều cách khác nhau, dựa theo tiêu chí khác Ví dụ thuộc tính 2D trích từ ảnh 2D thuộc tính 3D loại có thêm thơng tin độ sâu cảnh quay; thuộc tính khơng gian thuộc tính quan tâm đến đối tượng khung hình thuộc tính thời gian loại có quan tâm đến chuyển động đối tượng từ khung hình đến khung hình tiếp theo; thuộc tính g an aN D oc H D địa phương loại xét đến số vùng (patch) đặc biệt khung hình thuộc tính tồn cục xem xét tồn khung hình Thuộc tính xem xét phân thành 02 loại thuộc tính số thuộc tính nhị phân thuộc tính số bao gồm thuộc tính dựa hình dáng dựa dịng ánh sáng cho kết nhận dạng tốt Tuy nhiên, thuộc tính dựa thơng tin 2D trích từ chuỗi ảnh nên nhạy với che khuất phụ thuộc vào góc quay camera Khuyết điểm vốn có thuộc tính dựa hình dáng khơng thể trích bắt chuyển động bên đối tượng vùng chứa hình bóng Và điều quan trọng thuộc tính dựa kỹ thuật trừ nền, mà kỹ thuật trừ phân đoạn đối tượng xác, đặc biệt môi trường động Ngược với phương pháp dựa hình dáng, phương pháp dựa dịng ánh sáng khơng cần phải thực trừ Đây ưu điểm quan trọng phương pháp dựa dòng Tuy nhiên, thuộc tính phụ thuộc vào góc quay khơng phù hợp với nhận dạng hành động từ đoạn video quay camera Thuộc tính nhị phân trích từ tọa độ 3D (có chiều sâu) điểm thể nên xử lý vấn đề che khuất tốt Hơn nữa, thuộc tính nhị phân hiệu việc mô tả tư người dựa vector thuộc tính với số chiều thấp, dùng số nhị phân để mơ tả quan hệ hình học tư nên thuộc tính nhị phân không rõ ràng việc mô tả chuyển động phức tạp người 1.4.5 Ước lượng tư Ước lượng tư người bước hậu xử lý phần thuộc trình theo vết đối tượng Có thể nói kết ước lượng tư trích xác thành thuộc tính biết tất quỹ đạo chuyển động phận thể giải thích người làm cảnh quay Có nhiều phương pháp đề xuất để giải tốn ước lượng tư người Ta chia phương pháp làm hai loại ước lượng khơng phụ thuộc vào mơ hình (model-free) dựa vào mơ hình (model-based) 10 CHƯƠNG 2: NHẬN DẠNG DỰA VÀO KHOẢNG CÁCH 2.1 Tổng quan hệ thống aN D oc H D g an Hình 2.1: Giải pháp đề xuất Quá trình xử lý hệ thống đề xuất thực hình 2.1 Trong thực tế nay, nhận diện người vấn đề phổ biến có nhiều ứng dụng thực tế Trong nhận diện người thơng qua dáng xem phức tạp, nhà nghiên cứu giải vấn đề theo liệu đầu vào khác ảnh nhị phân đối tượng, khung xương mơ hình 3D Trong đề tài tơi trình bày cách tiếp cận xử lý với chuỗi ảnh nhị phân biểu diễn trình di chuyển đối tượng Lý việc lựa chọn khả tích hợp vào hệ thống giám sát phổ biến mà không yêu cầu thiết bị đặc biệt hay trình chuyển đổi phức tạp 11 D 2.2 Tiền xử lý Tương tự GEI, đặc trưng dáng theo đề xuất đề tài trích dựa chuỗi ảnh nhị phân đầu vào liên tiếp Do đó, việc chuẩn hóa kích thước đối tượng ảnh cần thiết trước thực kết hợp Trước hết, vùng liên thông ảnh nhị phân xác định cách sử dụng phép xử lý hình thái với phần tử cấu trúc chéo Vùng liên thông có số lượng điểm ảnh nhiều coi đối tượng cần quan tâm, thành phần khác bị loại bỏ chúng kết nhiễu kết phân đoạn sai từ ảnh màu sang ảnh nhị phân Vùng đối tượng sau tách khỏi ảnh dựa vùng bao chữ nhật Vùng có kích thước nhỏ nhiều so với ảnh đầu vào g an aN D oc H 2.2.1 Xác định vùng đối tượng Để chuẩn hóa đối tượng ảnh nhị phân đầu vào, trước hết cần phải xử lý, xác định điểm ảnh đối tượng, với mục đích xác định thành phần đối tượng cho bước xử lý Việc xác định điểm ảnh đối tượng ảnh nhị phân thực theo phép biến đổi hình thái học khơng gian để loại bỏ nhiễu làm mịn ảnh, đồng thời sử dụng thuật toán xác định biên làm mịn đối tượng Cuối ta có hình ảnh đối tượng dựa ảnh nhị phân đầu vào Kết bước thu ảnh nhị phân với thành phần đối tượng Sau tiến hành loại bỏ thành phần liên thông nhỏ, giữ lại thành phần liên thơng có kích thước lớn điểm ảnh đối tượng (đối tượng cần nhận dạng ảnh đầu vào) 2.2.2 Trích xuất khung ảnh đối tượng Việc trích xuất đối tượng chuỗi ảnh nhị phân đầu vào thực theo thuật tốn trích xuất thành phần liên thơng, thuật tốn đóng vai trị trọng tâm nhiều ứng dụng phân tích ảnh tự động Để xác định đối tượng ảnh nhị phân đầu vào, đề tài sử dụng giải thuật two-pass Shapiro Stockman đề xuất [24] Gồm hai bước duyệt qua phần tử ảnh bước trung gian gọi trình phân lớp tương thích (equivalence class resolution) Kết trình trích xuất đối tượng thể hình 2.8 12 Hình 2.2: Kết trích xuất đối tượng dùng theo giải thuật two-pass oc H D 2.2.3 Chuẩn hóa kích thước Ở bước tiếp theo, đối tượng chuẩn hóa để có kích thước Vì hình dáng thể thay đổi trình chuyển động, kích thước vùng cắt tương ứng khác nhau, nhằm giữ hình dạng tổng thể tư đối tượng, Nhiểu nhà nghiên cứu sử dụng trực tiếp phép nội suy để thay đổi kích thức ảnh thành giá trị cố định, điều dẫn đến vấn đề ảnh bị co giãn theo hướng tạo hình dáng thể khác thường g an aN D 2.2.4 Tính tốn đặc trưng dáng Khác với đặc trưng dáng phổ biến tính tốn trực tiếp từ chuỗi ảnh nhị phân đầu vào, phương pháp thực phép biến đổi ảnh trước trích xuất đặc trưng cho chuỗi ảnh Cụ thể, phép biến đổi khoảng cách Euclidean (Euclidean distance transform - EDT) [12] áp dụng ảnh vng thu từ bước trước Dựa quan sát, ta nhận thấy đặc trưng đề xuất dựa EDT mượt so với đặc trưng tính trực tiếp từ ảnh nhị phân 2.3 Phân lớp nhận diện đối tượng Ở bước này, chuỗi ảnh nhị phân ban đầu biểu diễn tập hợp đặc trưng dáng Để xác định đối tượng tương ứng với chuỗi đầu vào, trước tiên việc gán nhãn thực ảnh đặc trưng tương ứng với chuỗi ngắn ảnh nhị phân cửa sổ trượt sử dụng mơ hình học máy hỗ trợ vec-tơ để phân loại nhận diện đối tượng Trong trình tiếp cận nghiên cứu, trình thực SVM đa lớp Mơ hình bao gồm tập hợp SVM nhị phân Trong không gian đặc trưng, SVM nhị phân 13 D cố gắng tách liệu thuộc hai đối tượng khoảng cách rộng tốt Nếu liệu huấn luyện phân tách tuyến tính khơng gian đặc trưng, chúng chiếu lên không gian Hilbert với số chiều cao [35] Sau gán nhãn (tức định danh đối tượng) cho ảnh đặc trưng liên tiếp, việc định danh cuối thực cách chọn nhãn có tần suất lớn Việc lựa chọn xuất phát từ giả định đặc trưng dáng số cửa sổ trượt chứa nhiễu làm cho chúng trở nên tương tự với đối tượng khác phần lại giữ thông tin đặc trưng riêng đối tượng Việc sử dụng phép lựa chọn dựa thống kê sử dụng nhiều nghiên cứu gần để đưa định cuối [5, 28] g an aN D oc H 2.3.1 Nhận dạng dáng với camera Vì đặc trưng dáng đi, chứa tư khoảng thời gian ngắn, biểu thị đồ khoảng cách trung bình có kích thước cố định, đề tài thực phân loại trực tiếp liệu Phiên đặc trưng dáng coi vectơ đặc trưng Do kích thước cao có vectơ vậy, việc lựa chọn thuật tốn học máy yếu tố quan trọng ảnh hưởng đến việc xử lý hệ thống tích hợp Sử dụng mơ hình học máy hỗ trợ vec-tơ (Support Vector Machine – SVM) [36] mang lại hiệu tốt, tốn thời gian giai đoạn huấn luyện thời gian chạy Bên cạnh đó, đầu loại danh mục khơng phù hợp với kết hợp nhiều kết camera Mạng neron tích chập (CNN) thu nhiều kết tiên tiến phân loại đối tượng (ví dụ [46]) địi hỏi hệ thống mạnh để thực số lượng lớn hoạt động lưu trữ mạng tham số chứa hàng triệu giá trị Do đó, rừng ngẫu nhiên chọn tạo kết xác suất (nghĩa phân phối) phù hợp cho kết hợp Giai đoạn huấn luyện rừng ngẫu nhiên thực thời gian ngắn mơ hình huấn luyện phù hợp với hệ thống thời gian thực 2.3.2 Kết hợp kết nhiều camera Lược đồ hợp phân phối không xem xét mối quan hệ xác suất lớp mà hỗ trợ kết hợp kết thu 14 từ hệ thống nhiều camera Với hệ thống m camera cung cấp m phân bố hợp d1 m, kết hợp thực sản phẩm thông minh phần tử (cho biết xác suất tất camera m xác định người cụ thể) dẫn đến phân bố phần tử tương ứng với người Danh tính người định theo yếu tố lớn Trong phép cộng để đơn giản hóa việc tính toán g an aN D oc H D 2.4 Thực nghiệm Trước tiên đánh giá khả hướng xử lý đề xuất việc nhận dạng người camera Sự kết hợp kết nhiều camera sau thực để đánh giá cải thiện độ tin cậy hệ thống so với sử dụng camera đơn Các kết thí nghiệm nghiên cứu liên quan trình bày để đưa so sánh Khả phương pháp đề xuất thể độ xác phân loại trung bình thu theo xác nhận chéo bỏ qua lần Cụ thể, 240 chuỗi ảnh chọn làm tập kiểm tra phần lại liệu huấn luyện Do đó, sưu tập 240 độ xác cung cấp giá trị trung bình cho biết kết đánh giá tổng thể Lược đồ đánh giá làm giảm nguy phân tách sai lệch tập liệu cho kết tổng quát hóa cao Các tham số gán 128 × 128 cho kích thước ảnh đối tượng sau chuẩn hóa tương ứng với vectow gồm 16384 phần tử w = 20 cho chiều rộng cửa sổ trượt Một vài hình ảnh số đặc trưng dáng ước lượng liệu CASIA-A theo hướng trình bày hình 2.12 Một số đặc trưng bất thường số hình dáng (được cung cấp tập liệu) bị biến dạng phép trừ xấu Độ xác nhận dạng trung bình tính cách thực xác thực chéo lần theo phương pháp đề xuất chuyên đề phương pháp liên quan khác cung cấp Bảng I Kết bảng có khơng cần kết hợp nhiều camera Theo 15 kết quả, phương pháp đề xuất cho độ xác cao nhận dạng người cách sử dụng camera đơn hướng 90o Khả hệ thống giảm nhẹ làm việc chế độ xem theo nghĩa đen hướng 45o Tuy nhiên, rõ ràng nghiên cứu cung cấp kết tốt ([45], [28], [41]) so với nghiên cứu đề tài tập trung vào hướng máy ảnh cụ thể Do đó, phương pháp họ khơng thể áp dụng cho hai chế độ xem camera khác ([28], [41]) độ khái quát hóa thấp độ xác tương ứng giảm đáng kể với hình dáng nhìn từ phía trước ([45]) g an aN D oc H D 16 Để chứng minh tiềm kết hợp nhiều camera đề xuất nhằm cải thiện độ tin cậy nhận dạng người, kết nghiên cứu cho độ xác trung bình nhận dạng thực kết hợp hai ba camera Bảng II Bảng cho thấy kết hợp nhiều camera cải thiện đáng kể kết nhận dạng so với camera đơn Việc sử dụng hướng camera mang lại kết tốt (0,996) phương pháp đề xuất không xem xét yếu tố liên quan đến chế độ xem giai đoạn trích xuất đặc trưng phân loại dáng oc H D aN D Lưu ý số ảnh nhị phân bị biến dạng liệu dáng CASIA-A nhiễu trình trừ Do đó, hệ thống đề xuất kì vọng mang lại hiệu cao làm việc đầu vào tốt g an 2.5 Kết luận hướng phát triển Trong nghiên cứu đề xuất cách tiếp cận để nhận dạng người dựa chuỗi ảnh dáng nhị phân từ nhiều camera Đã trình bày hướng nghiên cứu xử lý trực tiếp đầu vào chuỗi hình dáng để thực nhiệm vụ nhận dạng người Phương pháp đề xuất nhúng vào hệ thống thị giác sử dụng camera nhiều camera Việc sử dụng rừng ngẫu nhiên mang lại nhiều lợi Đầu tiên, trình huấn luyện mơ hình thực thời gian ngắn so với phương pháp khác sử dụng SVM CNN Do đó, việc huấn luyện khơng tốn thời gian mơ hình cần huấn luyện lại để thêm định danh cho đối tượng Thứ hai, phương pháp đề xuất tích hợp vào hệ thống thời gian thực mà không cần tăng hoạt động đáng kể Thứ ba, rừng 17 ngẫu nhiên đòi hỏi lượng lưu trữ nhỏ so với mơ hình tạo từ thuật toán học máy khác Các thực nghiệm liệu dáng công khai chứng minh tiềm phương pháp đề xuất tình thực tế Bên cạnh biến đổi khoảng cách trình bày, đặc trưng dáng tiếp tục nghiên cứu để cải thiện độ xác công việc liên quan đến nhận dạng người CHƯƠNG 3: TRIỂN KHAI HỆ THỐNG aN D oc H D 3.1 Tổng quan Kinect Kinect camera tích hợp cảm biến chiều sâu phát triển Microsoft Kinect Xbox 360 phiên sản xuất với mục đích hỗ trợ tương tác chơi game Với thuật toán chụp chuyển động 3D người, Kinect cho phép người dùng tương tác với trị chơi thơng qua cử mà khơng cần chạm vào điều khiển, đem lại cảm giác thú vị cho người chơi Kinect nhận dạng cử người dựa hai đặc tính sau: thông tin độ sâu ảnh (Depth Map), xương ảnh theo vết dựa theo xương ảnh (Body Skeleton Tracking) Thiết bị thu nhận âm Kinect nhận dạng lệnh điều khiển thơng qua giọng nói g an 3.2 Phát bất thường dáng Quá trình xử lý hệ thống đề xuất thực hình sau: 18 Để phát bất thường dáng đi, nhóm nghiên cứu đề xuất giải pháp sau: Với liệu thu từ Kinect, khung xương, tiến hành tính đặc trưng góc di chuyển hai chân Sau đó, dựa vào khoảng cách hai cổ chân để tách chu kỳ bước Tiếp đến, sử dụng mơ hình HMM để huấn luyện xây dựng mơ hình dáng bình thường, đồng thời tính ngưỡng xác suất mơ hình dáng bình thường để so sánh với xác suất chu kỳ dáng thu Với chu kỳ bước đi, logarit tự nhiên xác suất vector từ mã huấn luyện lớn ngưỡng chu kỳ bình thường, ngược lại chu kỳ bất thường 3.2.1 Giới thiệu đặc trưng khung xương D H So với phương pháp sử dụng hình chiếu, khung xương cho biết nhiều chi tiết thơng số vật lý bước Ngồi ra, khung xương phụ thuộc vào góc nhìn camera g an aN D oc 3.2.2 Trích xuất đặc trưng 3.2.3 Huấn luyện  Tách chu kỳ bước  Xây dựng mơ hình dáng bình thường 3.2.4 Phát bất thường Khi mơ hình HMM cho dáng bình thường xây dựng xong, ta xác định xác suất vector từ mã huấn luyện (Gọi k) Các xác suất có giá trị thuộc phạm vi [0,1] Để giảm sai số tính tốn, ta sử dụng logarit tự nhiên giá trị k Với t ngưỡng đánh giá, n số chu kỳ huấn luyện, logarit tự nhiên 19 xác suất xuất chu kỳ thứ i mô hình HMM xây dựng, giá trị trung bình logarit, số, ngưỡng t để đánh giá dáng bất thường xây dựng tổng trung bình logarit với tích số phương sai sau: D oc H D Vì logarit tự nhiên xác suất nhỏ nên C giá trị âm Với chu kỳ bước đi, logarit tự nhiên k