Chương 2: KỸ THUẬT ĐIỀU KHIỂN TƯƠNG TÁC-CONTROL NHÂN VẬT
2.7. Phương pháp ước tính tư thế 3D cho nhân vật chuyển động
Trong các lĩnh vực máy tính và thị giác máy tính, tư thế (hoặc tư thế không gian) đại diện cho vị trí và hướng của một đối tượng, thường là trong không gian ba chiều. Các tư thế thường được lưu trữ nội bộ dưới dạng ma trận biến đổi. Thuật ngữ "tư thế" phần lớn đồng nghĩa với thuật ngữ "biến đổi", nhưng một biến đổi thường có thể bao gồm tỷ lệ, trong khi tư thế thì không [9,10,11].
Tư thế của một đối tượng thường được ước tính từ đầu vào của máy ảnh bằng quá trình ước tính tư thế. Thông tin này sau đó có thể được sử dụng, để cho phép điều khiển một đối tượng hoặc để tránh di chuyển vào đối tượng dựa trên vị trí và hướng nhận thức của nó trong môi trường. Các ứng dụng khác bao gồm nhận dạng hành động xương.
49
Ước tính tư thế 3D:
Nhiệm vụ cụ thể là xác định tư thế của một đối tượng trong hình ảnh (hoặc hình ảnh âm thanh nổi, chuỗi hình ảnh) được gọi là ước tính tư thế. Các vấn đề ước lượng đặt ra có thể được giải quyết theo nhiều cách khác nhau tùy vào cấu hình cảm biến hình ảnh, và lựa chọn phương pháp. Ba lớp phương pháp có thể được phân biệt:
Phương pháp phân tích hoặc hình học: Cho rằng cảm biến hình ảnh (máy ảnh) được hiệu chỉnh và ánh xạ từ các điểm 3D trong cảnh và các điểm 2D trong hình ảnh được biết đến. Nếu hình học của đối tượng cũng được biết đến, điều đó có nghĩa là hình ảnh được chiếu của đối tượng trên hình ảnh máy ảnh là một chức năng nổi tiếng của tư thế của đối tượng. Khi một tập hợp các điểm kiểm soát trên đối tượng, thường là các góc hoặc các điểm đặc trưng khác, đã được xác định, sau đó có thể giải quyết chuyển đổi tư thế từ một tập hợp các phương trình liên quan đến tọa độ 3D của các điểm với tọa độ hình ảnh 2D của chúng. Các thuật toán xác định vị trí của tập điểm đối với một tập điểm khác được gọi là thuật toán đăng ký tập điểm, nếu sự tương ứng giữa các điểm chưa được biết đến.
Phương pháp thuật toán di truyền: Nếu tư thế của một đối tượng không phải được tính toán trong thời gian thực, một thuật toán di truyền có thể được sử dụng. Cách tiếp cận này rất mạnh mẽ, đặc biệt là khi hình ảnh không được hiệu chỉnh hoàn hảo. Trong trường hợp cụ thể này, tư thế đại diện cho biểu diễn di truyền và sai số giữa phép chiếu của các điểm kiểm soát đối tượng với hình ảnh là chức năng thể dục.
Phương pháp dựa trên học tập: Các phương pháp này sử dụng hệ thống dựa trên học tập nhân tạo để học lập bản đồ từ các tính năng hình ảnh 2D để tạo dáng biến đổi. Nói tóm lại, điều này có nghĩa là một tập hợp hình ảnh đủ lớn của đối tượng, trong các tư thế khác nhau, phải được trình bày cho hệ thống trong giai đoạn học tập. Khi giai đoạn học tập được hoàn thành, hệ thống sẽ có thể trình bày ước tính về tư thế của đối tượng dựa trên hình ảnh của đối tượng.
Từ máy ảnh 2D đã được hiệu chỉnh:
Với hình ảnh 2D của một vật thể và máy ảnh được hiệu chỉnh đối với hệ tọa độ thế giới, cũng có thể tìm thấy tư thế cung cấp cho nhân vật 3D trong hệ tọa độ đối tượng của nó. [6] Điều này hoạt động như sau:
Trích xuất 3D từ 2D:
Bắt đầu với hình ảnh 2D, các điểm hình ảnh được trích xuất tương ứng với các góc trong hình ảnh. Các tia chiếu từ các điểm hình ảnh được tái tạo từ các điểm 2D để các điểm 3D, phải được khắc phục với các tia được tái tạo, có thể được xác định.
50
Thuật toán xác định ước tính tư thế:
Thuật toán xác định ước tính tư thế dựa trên Thuật toán điểm gần nhất lặp lại (Chi tiết dưới). Ý tưởng chính là xác định sự tương ứng giữa các tính năng hình ảnh 2D và các điểm trên đường cong mô hình 3D.
Bước 1: Reconstruct các tia chiếu from các điểm ảnh 2D
Bước 2: Ước lượng điểm gần nhất của mỗi projection ray đến một điểm trên 3D contour.
Bước 3: Ước lượng tư thế của 3D contour bằng sử dụng tập tương ứng Bước 4: Goto (bước 2)
Nhận xét: Thuật toán trên không tính đến hình ảnh có chứa một nhân vật bị che khuất một phần. Thuật toán sau đây giả định rằng tất cả các đường viền được ghép nối cứng nhắc, có nghĩa là tư thế của một đường viền xác định tư thế của một đường viền khác.
Chi tiết các bước của thuật toán xác định ước tính tư thế:
Bước 1: Reconstruct các tia chiếu from các điểm ảnh 2D Bước 2: For each tia chiếu R:
Bước 3: For each 3D contour:
(3.1.) Estimate the nearest point P1 of ray R to a point on the contour (3.2) if (n == 1) choose P1
as actual P for the point-line correspondence (3.3) else compare P1 with P:
if dist (P1, R) is smaller than dist (P, R) then choose P1 as new P
Bước 4: Use (P, R) as correspondence set.
Bước 5: Estimate pose with this correspondence set Bước 6: Transform contours, goto (Bước 2)
Nhận xét: Thuật toán ước tính tư thế thông qua so sánh
Các hệ thống tồn tại sử dụng cơ sở dữ liệu của một đối tượng ở các vòng quay và kịch bản khác nhau để so sánh mô hình đầu vào để ước tính tư thế. Độ chính xác của các hệ thống này được giới hạn trong các tình huống được thể hiện trong cơ sở dữ liệu hình ảnh của chúng, tuy nhiên mục tiêu là nhận ra một tư thế chuyển động của nhân vật.
51
Với thuật toán trên cho phép ước lượng tư thế của nhân vật dựa trên các điểm ảnh và đường biên của các ảnh đầu vào ứng với từng nhân vật 3D.