Từ đồ thị G t =(V t , E t ) đã được tạo, chúng tôi xây dựng đồ thị khoảng cách được tính từ tất cả các điểm của đồ thị G t tới một điểm trên đồ thị được coi là tâm đồ thị, tương ứng v[r]
(1)NHẬN DẠNG CÁC TƯ THẾ CON NGƯỜI
TỪ DỮ LIỆU CỦA CẢM BIẾN ĐỘ SÂU SỬ DỤNG ĐẶC TRƯNG
KHOẢNG CÁCH VÀ MÀU DA
Đinh Đồng Lưỡnga*
aKhoa Công nghệ Thông tin, Trường Đại học Nha Trang, Khánh Hòa, Việt Nam Nhận ngày 09 tháng 01 năm 2017 | Chỉnh sửa ngày 11 tháng 04 năm 2017
Chấp nhận đăng ngày 18 tháng 05 năm 2017
Tóm tắt
Bài báo trình bày cách tiếp cận để nhận dạng phục vụ tái tạo tư người từ liệu ảnh cảm biến độ sâu (Kinect camera), sử dụng đặc trưng khoảng cách liệu ảnh độ sâu xác định vùng da ảnh màu tương ứng Đầu tiên, thông tin từ ảnh độ sâu được xử lý biểu diễn dạng đồ thị khoảng cách Những điểm quan tâm thể người hay cụ thể điểm khớp nối xác định dựa vào đặc trưng khoảng dị tìm vùng bàn tay, bàn chân mặt thông qua ảnh màu tương ứng thuật giải dị tìm vùng da (skin detection) ảnh màu Khoảng cách tính từ điểm đồ thị tới điểm trọng tâm thể Sử dụng điểm khớp tính để xác định ma trận chuyển đổi trên thành phần Các ma trận xác định ánh xạ lên mơ hình người 3D Cuối cùng, mơ hình người 3D phản ánh việc tái tạo tư người Trong phần thực nghiệm, chúng đánh giá kết việc tái tạo lại tư người phương pháp định tính cho kết cải thiện so với việc dùng đặc trưng khoảng cách thực hiện thời gian thực
Từ khóa: 3D human body model; 3D human pose recovery; Depth image; Geodesic distance
1 GIỚI THIỆU
Ngày nay, việc tái tạo tư người dựa thông tin ảnh độ sâu (depth image) trở thành chủ đề nóng lĩnh vực thị giác máy tính, đặc biệt tái tạo tư phức tạp thông tin đầu vào đối tượng không đầy đủ Những kết việc phân tích, tái tạo nhận dạng tư người có ý nghĩa quan trọng lĩnh vực liên quan tới dịch vụ giải trí, theo dõi giám sát người nơi cơng cộng, tự động hóa, nhận dạng hoạt động người, giao tiếp người máy, lĩnh vực chăm sóc sức khỏe khoa học thể thao (Moeslund, Hilton, & Kruger, 2006)
(2)
Hiện có nhiều cách tiếp cận để giải toán tái tạo hoạt động người dựa ảnh Tuy nhiên, việc sử dụng ảnh độ sâu phục vụ tái tạo tư người quan tâm gần (Chen, Wei, & Ferryman, 2013) Để tái tạo lại tư thế, hoạt động người từ ảnh độ sâu, ba cách tiếp cận tiếp cận dựa vào cặp ánh xạ hai tập hai đối tượng (point set registration), dựa gán nhãn cho phần thể (body part lable), dựa đồ thị khoảng cách (geodesic map)
Trong cách tiếp cận thứ nhất, mục đích việc tìm cặp điểm tương đương đối tượng mẫu đối tượng cần tái tạo Nhiều giải thuật đề xuất theo cách tiếp cận giải thuật ICP (Iterative Closest Point) Đây giải thuật điển hình việc tìm cặp điểm tương đương hai tập điểm thuộc hai đối tượng sử dụng rộng rãi lĩnh vực xác định mơ hình 3D tương ứng với đối tượng (Tam ctg., 2013) Trong cách tiếp cận Kim Kim (2008) Mundermann, Corazza, Andriacchi (2007), tác giả sử dụng giải thuật ICP để ánh xạ phần mơ hình với đối tượng cần tái tạo thông qua khớp nối Tuy nhiên hạn chế giải thuật chúng cần khởi tạo việc đưa vào tư ban đầu tư ln phải đảm bảo có tương tự so với mơ hình cần tìm Điều dẫn đến việc ánh xạ từ tư phức tạp điều kiện khởi tạo khơng thỏa mãn dẫn đến kết không mong đợi tối ưu cục sử dụng giải thuật việc xác định cặp điểm tương đương hai đối tượng dẫn đến kết bị sai
(3)Dựa lý thuyết đồ thị để thực ước lượng vị trí thơng tin cho việc tái tạo mơ hình người 3D đề cập nghiên cứu Ganapathi, Plagemann, Koller, Thrun (2010) Schwarz, Mkhitaryan, Mateus, Navab (2012) Cách tiếp cận tập trung biểu diễn lại tập điểm ảnh độ sâu thành dạng đồ thị trọng số sau xây dựng đồ thị khoảng cách tính từ tất đỉnh tới điểm trọng tâm đối tượng thuộc đồ thị Cách tiếp cận có chi phí tính tốn thấp Tuy nhiên, việc giải trường hợp có tư phức tạp cịn nhiều hạn chế khơng ổn định việc xây dựng đồ thị khoảng cách thiếu thông tin
Để loại bỏ hạn chế trình bày trên, báo trình bày cách tiếp cận để tái tạo tư toàn người từ ảnh độ sâu thu nhận từ máy ảnh 3D (depth camera) sử dụng đặc trưng khoảng cách kết hợp với việc gán nhãn dị tìm vùng da đối tượng ảnh màu thu nhận từ máy ảnh 3D để nâng cao hiệu phương pháp đề xuất Ý tưởng thực gồm: Thông tin 3D điểm ảnh lấy từ ảnh độ sâu biểu diễn dạng đồ thị gồm đỉnh cạnh Các điểm quan tâm vùng tương ứng điểm khớp (landmarks) mơ hình người Các vị trí tìm dựa đồ thị khoảng cách Vị trí điểm khớp thể xác định ánh xạ sang mơ hình người 3D thiết lập sẵn, mơ hình thể người gồm khối Ellipsoid, khối tương ứng với phận thể Kết việc tái tạo tư cập nhật qua mơ hình 3D
Trong báo này, Mục giới thiệu tổng quan toán kiến thức liên quan nghiên cứu; Mục trình bày phương pháp đề xuất; Mục trình bày số kết đạt phương pháp đề xuất Cuối kết luận báo
2 PHƯƠNG PHÁP ĐỀ XUẤT
(4)cách Những điểm khác (secondary landmarks) khuỷu tay, đầu gối chân tính từ điểm thơng tin gán nhãn điểm ảnh ràng buộc mơ hình thể để đạt kết mong muốn Trong nghiên cứu sử dụng đặc trưng khoảng cách Euclidean tính hai điểm thể, biết khoảng cách điểm đối tượng không thay đổi người cử động thay đổi tư
Hình Lưu đồcác bước tái tạo tư người từảnh độ sâu dựa vào đặc trưng
khoảng cách
2.1 Thu nhận biểu diễn ảnh độ sâu
Trong nghiên cứu sử dụng thiết bị Kinect (Kinect Xbox 360) hãng Microsoft để thu nhận ảnh Để biểu diễn liệu ảnh độ sâu chụp từ Kinect thành liệu không gian 3D Gọi X, Y, Z tọa độ không gian 3D tương ứng trục x, y, z Mối quan hệ điểm (pixels) ảnh độ sâu điểm không gian 3D tính sau:
D Z f Z v Y f Z c
X , , (1)
(5)(a) (b)
Hình Biểu diễn ảnh khơng gian 3D
Ghi chú: (a) Ảnh độ sâu (depth image); (b) Ảnh không gian 3D
2.2 Xây dựng đồ thị từ liệu ảnh 3D
Sau biểu diễn ảnh độ sâu dạng tập điểm không gian 3D Gọi xi,j là điểm biểu diễn không gian 3D tương ứng với điểm ảnh ví trí (i,j) ảnh độ sâu Chúng ta xây dựng đồ thị Gt=(Vt, Et), Vt tập đỉnh xi,j Et Vt x Vt cạnh đồ thị Gt Hai đỉnh đồ thị gọi láng giềng hay khơng dựa vào giá trị khoảng cách hai đỉnh Khoảng cách hai đỉnh đồ thị tính sau:
1 ) , ( ) , ( | , | ) , {( T T kl ij t t kl ij
t x x V V x x i j k l
E (2)
Ở ‖𝑥𝑖𝑗, 𝑥𝑘𝑙‖2 độ dài Euclidean ‖(𝑖, 𝑗)𝑇− (𝑘, 𝑙)𝑇‖∞ giá trị lớn
chuẩn hóa (𝑖, 𝑗)𝑇, (𝑘, 𝑙)𝑇là tọa độ hai điểm ảnh không gian 2D Đối
với cạnh e=(x,y) Et, lưu trữ trọng số w=||x-y||2 Vì vậy, việc kết nối điểm không gian 3D với khoảng cách Euclidean chúng nhỏ Sử dụng Gt để tính khoảng cách (geodesic distance) dG(x,y) hai điểm x,y Vt tính (3)
( , ) ( ) ) , ( y x SP eG x y we
d (3)
(6)2.3 Xây dựng đồ thị khoảng cách
Từ đồ thị Gt=(Vt, Et) tạo, xây dựng đồ thị khoảng cách tính từ tất điểm đồ thị Gt tới điểm đồ thị coi tâm đồ thị, tương ứng ví trị điểm tâm thể người (human centroid point), quan sát điểm đối tượng Hình điểm thường nằm vùng “bụng” thể người Khoảng cách điểm tới điểm trọng tâm coi không thay đổi tư thay đổi minh họa Hình
(a) (b) (c) (d)
Hình Minh họa đồ thị khoảng cách lượng tử hóa thành mã màu
(Blue: Min; Red: Max distance) đối tượng có tư khác
Ghi chú: (a) Ảnh độ sâu; (b) Đồ thị khoảng cách tương ứng ảnh (a); (c) Ảnh độ sâu; (d) Đồ thị khoảng cách tương ứng ảnh (c)
2.4 Dị tìm điểm khớp (anatomical landmarks)
Sau xây dựng đồ thị khoảng cách, chúng tơi xác định vị trí điểm khớp thể người Trong tốn chúng tơi xác định 17 vị trí khớp thể trình bày Hình Trong điểm (primary landmarks) 11 điểm khác (secondary landmarks)
Hình Vị trí điểm khớp thểngười
2.4.1 Định vị điểm (primary landmarks)
(7)trong vùng bàn tay trái phải, chân trái phải, đầu vùng bụng Đầu tiên dị tìm vị trí trọng tâm thể, điểm trọng tâm đồ thị khoảng cách Để dị tìm điểm cịn lại dựa vào đồ thị khoảng cách với giá trị ngưỡng 𝜏 lấy thực nghiệm Từ đồ thị khoảng cách, vùng có khoảng cách lớn từ điểm trọng tâm sử dụng để dị tìm điểm Để có điểm ngưỡng xác sử dụng tư đứng thẳng hai tay giơ ngang gọi T-pose cho việc khởi tạo đối đối tượng khác
2.4.2 Định vị điểm khác (secondary landmarks)
Sau xác định điểm chính, chúng tơi sử dụng phép đo để nội suy 11 điểm khác tương ứng vị trí khớp nối thể gồm cổ, vai trái, phải, đầu gối tay trái, phải, hông, đầu gối, mắt cá chân trái, phải Để tăng độ xác chúng tơi sử dụng thêm thông tin nhãn gán giải thuật phân lớp Random Forest (Shotton ctg., 2011; Dinh ctg., 2013).Năm nhánh đồ thị khoảng cách tìm dựa điểm biết trước Kết hợp đồ thị khoảng cách đồ thị gán nhãn ta dị tìm điểm phụ khác (secondary landmarks) bước chi tiết trình bày Hình
Hình Xác định điểm phụ (secondary landmarks)
2.4.3 Dị tìm điểm khớp tư phức tạp
(Chen, Wei, & Ferryman, 2013)