Cảm biến chiều sâu (Kinect)
Dữ liệu đối tượng trong không gian.
Khởi tạo biến, tiền xử lý Phát hiện các khớp của bàn tay Nhận diện bàn tay Tìm các khớp bàn tay Nhận dạng cử chỉ bàn tay Định nghĩa cử chỉ
Quá trình nhận dạng bắt đầu bằng việc khởi tạo biến nhẳm thu nhận chuỗi dữ liệu từ cảm biến chiều sâu. Các thiết lập này nhằm xác định nguồn thơng tin cần thu nhận đó là toạ độ của các khớp trong không gian ba chiều. Các dữ liệu này sẽ được sử dụng để tìm kiếm phát hiện các khớp của bàn tay. Đây là một bước rất quan trọng trong quá trình nhận dạng. Bởi vì, việc nhận dạng và truy bắt vị trí và cử chỉ của bàn tay có chính xác hay khơng phụ thuộc vào việc tìm kiếm khớp tay cơ sở, từ đó tính tốn để tìm kiếm các khớp của các ngón tay. Q trình này được thực hiện thơng qua việc sử dụng nguồn thư viện mở SDK của Microsoft.
Việc tìm kiếm các khớp bàn tay là quá trình tìm kiếm toạ độ của khớp trong khơng gian ba chiều với kích thước xyz. Vì thế, chúng ta thiết lập trạng thái với kích thước 3 chiều:
=
Trong đó, sx và sy thể hiện vị trí điểm ảnh, sz thể hiện giá trị điểm ảnh theo
chiều sâu. Trạng thái 3D có thể được ược lượng chính xác vị trí bàn tay. Từ đó, chúng ta dùng véc-tơ 3 chiều như là vận tốc của mỗi trục:
=
Khi đó, kích thước theo trục z, chúng ta dùng trạng thái kích thước tương tự:
=
Những véc tơ này là thiết lập ban đầu cho bộ lọc Kalman. Bộ lọc Kalman cần nhận dạng bàn tay trong suốt quá trình truy bắt. Trước tiên, chúng ta định nghĩa điểm tham chiếu của bàn tay. Điểm này đươc xem như là trung tâm của hình trịn bắt với bàn tay đã được nhận dạng trong việc xử lý nhận dạng bàn tay ban đầu. Trung tâm điểm là tâm của đường trịn. Tâm này cũng chính là toạ độ điểm trên khớp bàn tay.
(3.16)
(3.17)
Điểm tham chiếu này được sử dụng để truy bắt và tính tốn vị trí bàn tay. Vận tốc của mỗi trục cho mỗi khung ảnh được cập nhật liên tục. Vì vậy, vị trí của bàn tay được truy bắt sẽ chính xác hơn. Áp dụng phương trình sau để dự đốn trạng thái S.
, = , + , ∆
, = , + , ∆
, = , + , ∆
Giả thiết rằng chuyển động của bàn tay con người là tuyến tính. Sx,t ,Sy,t và Sz là các điểm ảnh và thông tin chiều sâu tại thời điểm t. Δt là khoảng thời gian giữa khung ảnh trước và khung ảnh sau. Phương trình 3.19 và 3.20 dự đốn vị trí, giá trị chiều sâu từ vị trí bàn tay, và giá trị chiều sâu của vị trí trước đó, và véc tơ điều khiển được cập nhật trong xử lý trước đó. Sz,t có giới hạn, bởi vì bàn tay con người di chuyển trong một phạm vi hạn chế; chúng ta không chỉ dùng giới hạn trục x và y mà còn cả giới hạn ở trục z nữa. Áp dụng phương trình sau để cập nhật các thành phần của vector điều khiển (vx, vy, vz).
, = ( , − , )/+∆
, = ( , − , )/+∆
, = ( , − , )/+∆
Sau phát hiện được vị trí của khớp bàn tay, việc tiếp theo là nhận dạng được vùng bàn tay. Trước tiên vùng tìm kiếm được giới hạn để có được một kích thước tối ưu trong q trình nhận dạng bàn tay. Trước tiên, một giới tham chiếu của bàn tay sẽ được định nghĩa. Giới hạn tham chiếu này chính là khoảng cách từ khớp bàn tay đến đầu ngón tay. Khớp bàn tay ở vị trí lịng bàn tay. Trong khi đó, vị trí đầu ngón tay nằm ở ngón giữa, là ngón dài nhất. (3.19) (3.20) (3.21) (3.22) (3.23) (3.24)