ỨNG DỤNG CẢM BIẾN 3D KINECT TRONG NHẬN DIỆN NGÔN NGỮ CỬ CHỈ TIẾNG VIỆT HỖ TRỢ VIỆC GIAO TIẾP VỚI NGƯỜI KHUYẾT TẬT KHIẾM THÍNH LUẬN VĂN THẠC SĨ

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ QCH CƠNG HỒNG ỨNG DỤNG CẢM BIẾN 3D KINECT TRONG NHẬN DIỆN NGÔN NGỮ CỬ CHỈ TIẾNG VIỆT HỖ TRỢ VIỆC GIAO TIẾP VỚI NGƯỜI KHUYẾT TẬT KHIẾM THÍNH LUẬN VĂN THẠC SĨ CÔNG NGHỆ ĐIỆN TỬ - VIỄN THÔNG HÀ NỘI – 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ QCH CƠNG HỒNG ỨNG DỤNG CẢM BIẾN 3D KINECT TRONG NHẬN DIỆN NGÔN NGỮ CỬ CHỈ TIẾNG VIỆT HỖ TRỢ VIỆC GIAO TIẾP VỚI NGƯỜI KHUYẾT TẬT KHIẾM THÍNH Ngành: Cơng Nghệ Điện Tử - Viễn Thông Chuyên ngành: Kỹ thuật Điện tử Mã số: 60 52 0203 LUẬN VĂN THẠC SĨ CÔNG NGHỆ ĐIỆN TỬ - VIỄN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS TRẦN QUANG VINH HÀ NỘI – 2014 LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn “Ứng dụng cảm biến 3D Kinect nhận diện ngôn ngữ cử tiếng Việt hỗ trợ việc giao tiếp với người khuyết tật khiếm thính” sản phẩm thực hướng dẫn PGS.TS Trần Quang Vinh Trong toàn nội dung luận văn, điều trình bày cá nhân tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, ngày 17 tháng 10 năm 2014 TÁC GIẢ Qch Cơng Hồng LỜI CẢM ƠN Trước tiên xin gửi lời cảm ơn chân thành tới tập thể các thầy cô giáo Khoa Điện tử - Viễn thông, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội giúp đỡ tận tình chu tơi có mơi trường tốt học tập nghiên cứu Đặc biệt, xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS Trần Quang Vinh NCS Phùng Mạnh Dương, người trực tiếp hướng dẫn, bảo tơi tận tình suốt q trình nghiên cứu hồn thiện luận văn Một lần xin gửi lời cảm ơn đến tất thầy cô giáo, bạn bè gia đình giúp đỡ tơi thời gian vừa qua Tơi xin kính chúc thầy giáo, anh chị bạn mạnh khỏe hạnh phúc Hà Nội, ngày 17 tháng 10 năm 2014 TÁC GIẢ Quách Cơng Hồng MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC .3 DANH MỤC KÍ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ MỞ ĐẦU Chương 1: TỔNG QUAN 1.1 Mục tiêu đối tượng nghiên cứu 1.1.1 Nhận dạng ngơn ngữ kí hiệu Tiếng Việt 1.1.2 Nhận dạng tư bàn tay .10 1.2 Các nghiên cứu liên quan .11 1.3 Nội dung nghiên cứu 14 Chương 2: MƠ HÌNH BÀN TAY .15 2.1 Mơ hình động học bàn tay .15 2.2 Xây dựng mơ hình giả định đồ họa máy tính 16 2.2.1 Các khối hình học 17 2.2.2 Phương pháp xây dựng mơ hình thư viện phần mềm đồ họa 19 2.3 Xác định mơ hình quan sát bàn tay cảm biến .23 2.3.1 Tóm lược cảm biến Kinect .23 2.3.2 Xác định mơ hình bàn tay từ cảm biến Kinect 26 Chương 3: GIẢI THUẬT NHẬN DẠNG 30 3.1 Xây dựng hàm mục tiêu .31 3.2 Nhận dạng sử dụng phương pháp tối ưu bầy đàn .32 3.2.1 Giới thiệu giải thuật tối ưu bầy đàn PSO 33 3.2.2 Ứng dụng giải thuật tối ưu bầy đàn vào nhận dạng 38 Chương 4: TĂNG TỐC THUẬT TOÁN SỬ DỤNG KHỐI XỬ LÝ ĐỒ HỌA GPU 39 4.1 Xử lý song song máy tính tiêu chuẩn OpenCL 39 4.2 Tăng tốc thuật toán GPU .44 Chương 5: MÔ PHỎNG VÀ THỰC NGHIỆM 47 5.1 Mô .47 5.2 Thực nghiệm .49 Chương 6: KẾT LUẬN 51 6.1 Tổng kết 51 6.2 Hạn chế hướng phát triển 51 TÀI LIỆU THAM KHẢO 52 DANH MỤC KÍ HIỆU VÀ CHỮ VIẾT TẮT Kí hiệu CPU GPU 3D DOF PSO RGB-D ROS OpenGL OpenCL OpenCV OpenNI API SDK CUDA RAM GA ACO GPGPU ALU Tiếng anh Cental processing unit Graphic processing unit Three-dimensional space Degree of freedom Particle swarm optimization Red Green Blue - Depth Robotics Operating System Open Graphic Library Open Computing Language Open Computer Vision Open Natural Interaction Application programming interface Software development kit Compute Unified Device Architecture Random access memory Genetic algorithms Ant colony optimization General purpose Graphic processing uint Arithmetic logic unit Tiếng việt Khối xử lý trung tâm Khối xử lý đồ họa Không gian ba chiều Bậc tự Giải thuật tối ưu bầy đàn Ảnh màu – độ sâu Hệ điều hành robot Thư viện đồ họa mở Ngơn ngữ tính tốn mở Thư viện thị giác máy tính mở Thư viện tương tác tự nhiên mở Giao diện lập trình ứng dụng Bộ cơng cụ phát triển phần mềm Kiến trúc tính tốn thiết bị đồng Bộ nhớ truy cập ngẫu nhiên Giải thuật di truyền Giải thuật tối ưu đàn kiến Khối xử lý đồ họa mục đích chung Đơn vị logic số học DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 1: Một số từ ngữ ngơn ngữ kí hiệu bảng chữ tiếng Việt Hình 2: Lưu đồ tổng quát phương pháp nhận dạng theo hình dáng 11 Hình 3: Lưu đồ tổng quát phương pháp nhận dạng mơ hình 12 Hình 4: Kết nhận dạng nghiên cứu Stenger .13 Hình 5: Kết nhận dạng cảm biến Kinect Oikonomidis [2] 13 Hình 6: Cấu trúc xương mơ hình động học bàn tay 15 Hình 7: Thí dụ mặt bậc hai: (a) ellipsoid, (b) hình nón, (c) hình trụ, (d) mặt phẳng 17 Hình 8: Đường ống lệnh OpenGL 19 Hình 9: Biểu diễn mặt nón cụt mặt cầu OpenGL .20 Hình 10: Ảnh mơ hình bàn tay tạo khối hình học 21 Hình 11: Mơ tả phép chiếu 3D xuống 2D không gian .22 Hình 12: Bề mặt độ sâu bàn tay góc nhìn khác (màu đậm khoảng cách gần) 22 Hình 13: Biến đổi z-screen không gian mô n=1 f=5 .23 Hình 14: Sơ đồ phần cứng cảm biến Kinect 24 Hình 15: Tái tạo lại bề mặt sử dụng nguyên lý ánh sáng cấu trúc 24 Hình 16: Thiết kế thấu kính Kinect 25 Hình 17: Xác định độ sâu nguyên lý stereo 25 Hình 18: Kết trước sau calibration liệu ảnh độ sâu không gian ảnh màu 27 Hình 19: Kết nhận dạng mơ hình quan sát bàn tay kết hợp ảnh màu độ sâu từ cảm biến Kinect 29 Hình 20: Sơ đồ giải thuật nhận dạng theo phương pháp mơ hình đề xuất .30 Hình 21: Đồ thị Stenger biểu diễn biến thiên hàm đánh giá mục tiêu Chamfer Distance bàn tay di chuyển không gian .33 Hình 22: Sơ đồ mơ tả giải thuật di truyền 35 Hình 23: Hành vi bầy kiến gặp vật cản .36 Hình 24: So sánh di chuyển đàn kiến đàn chim không gian chiều .37 Hình 25: Mơ hình tảng với host điều phối thiết bị tính tốn .41 Hình 26: Lưu đồ thực thi OpenCL với Host CPU thiết bị tính tốn GPGPU 41 Hình 27: Mơ hình nhớ host thiết bị OpenCL .43 Hình 28: So sánh kiến trúc CPU GPGPU 44 Hình 29: Sơ đồ khối quy trình tính tốn GPU 45 Hình 30: Kết nhận dạng 26 bậc tự bàn tay với tư bên trái ảnh quan sát bên phải ảnh nhận dạng .48 Hình 31: Biến thiên giá trị hàm mục tiêu theo bước tiến hóa với tư ứng với chữ “a”, “b”, “c”, “d” 48 Hình 32: Kết thực nghiệm nhận dạng tư tay: (a) Ảnh quan sát màu; (b) Ảnh quan sát độ sâu; (c) Ảnh kết nhận dạng 49 Hình 33: Biến thiên giá trị hàm mục tiêu theo bước tiến hóa với tư hình 32 49 Hình 34: Kết nhận dạng chuỗi ảnh chuyển động bàn tay 50 MỞ ĐẦU Khi máy tính ngày thu nhỏ kích thước kính hay đồng hồ đeo tay việc sử dụng bàn phím, chuột hay hình cảm ứng trở nên khơng thích hợp Thay vào đó, cách thức tương tác người – máy cần thúc đẩy nghiên cứu Bàn tay, phận hoạt động xác hiệu người sử dụng công cụ, đánh giá nhiều tiềm Và thực tế toán nhận dạng tư tay nhận nhiều quan tâm nghiên cứu có ứng dụng cụ thể tương tác robot, nhận diện ngôn ngữ cử chỉ, hay điều khiển thiết bị [1]… Tuy nhiên, ứng dụng tương tác qua bàn tay thường đòi hỏi độ xác cao số bậc tự lớn khiến phương pháp truyền thống tỏ hiệu Thay vào đó, phương pháp mơ hình xem hướng tiếp cận khả thi [1] – [4] Trong luận văn này, tiếp cận theo hướng mơ hình để giải tốn nhận dạng tư bàn tay, hay cụ thể trạng thái khớp nối bàn tay tư tay ngơn ngữ kí hiệu tiếng Việt Vấn đề nhận dạng xây dựng toán tối ưu với mục tiêu tối thiểu sai khác ảnh mơ hình tư tay giả định với ảnh quan sát thu từ cảm biến ảnh Kinect Giải thuật bầy đàn cải tiến sau sử dụng để giải tốn tối ưu Đồng thời, tác vụ địi hỏi tính toán lớn đưa vào khối xử lý đồ họa GPU máy tính để tính tốn song song Kết thực nghiệm cho thấy hệ thống nhận dạng 26 bậc tự bàn tay thời gian 0.8s Kết nhận dạng nhạy với nhiễu môi trường yêu cầu phần cứng đơn giản Chương 1: TỔNG QUAN 1.1 Mục tiêu đối tượng nghiên cứu Mục tiêu nghiên cứu nhận dạng tư bàn tay người không gian ba chiều (3D) khung liệu thu từ cảm biến Kinect Địa ứng dụng toán bước đầu nhận dạng kí tự chữ bảng ngơn ngữ kí hiệu tơi mong muốn mở rộng sang ứng dụng tương tác thực tế ảo, thực tế tăng cường điều khiển thiết bị 1.1.1 Nhận dạng ngơn ngữ kí hiệu Tiếng Việt Hình 1: Một số từ ngữ ngơn ngữ kí hiệu bảng chữ tiếng Việt Nhận diện thơng dịch ngơn ngữ kí hiệu nói chung ngơn ngữ kí hiệu tiếng Việt nói riêng cần kết hợp nhiều công việc như: nhận diện tư bàn tay nhận diện chuyển động cánh tay, hình Khả nhận diện đặc trưng tốt khả thơng dịch sang ngơn ngữ kí hiệu xác Trong vấn đề nhận dạng kể trên, nhận dạng tư bàn tay tốn cịn có nhiều vấn đề cần phải nghiên cứu phát triển 1.1.2 Nhận dạng tư bàn tay Cách làm có độ xác cao cho tốn sử dụng găng tay chuyên dụng Thiết bị đeo vào tay có nhiều cảm biến để vị trí bàn tay độ mở khớp ngón tay Cách làm xử lý theo thời gian thực có khả phát đầy đủ hoạt động bàn tay tương tác Tuy nhiên hạn chế phương pháp găng tay chuyên dụng đắt tiền địi hỏi q trình hiệu chỉnh ban đầu phức tạp Ngoài ra, việc đeo găng tay cản trở di chuyển tự nhiên bàn tay, làm giảm phạm vi ứng dụng phương pháp Nhận diện bàn tay sử dụng kĩ thuật xử lý ảnh xem giải pháp thay không yêu cầu người sử dụng đeo găng tay, tương tác từ bàn tay thoải mái tự nhiên Tuy nhiên việc nhận diện bàn tay kĩ thuật xử lý ảnh gặp phải vấn đề khó khăn sau: • Bài tốn có q nhiều chiều: bàn tay đối tượng có nhiều khớp nối với 20 bậc tự Mặc dù có ràng buộc ngón tay khớp ngón tay khiến cho chuyển động thực tế 20 bậc tự do, nhiên nghiên cứu cho thấy việc mô tả tư bàn tay với bậc tự khơng thể Kết hợp với vị trí hướng bàn tay, tương đương bậc tự do, việc nhận dạng tư bàn tay đòi hỏi phải ước lượng nhiều tham số • Hiện tượng bị che khuất: lẽ tay đối tượng nhiều khớp nối, nên quan sát bàn tay từ cảm biến ảnh, kết phép chiếu từ không gian 3D xuống mặt phẳng 2D khiến lượng lớn thơng tin hình khối bị che khuất Điều gây khó khăn cho việc phân hoạch trích chọn đặc trưng từ bàn tay • Tốc độ xử lý: khung hình, hệ thống xử lý ảnh thời gian thực cần xử lý lượng lớn liệu Nói cách khác, độ trễ yêu cầu vài ứng dụng địi hỏi khả tính tốn lớn Với công nghệ phần cứng nay, số giải thuật đòi hỏi phần cứng chuyên dụng, đắt tiền có khả xử lý song song để thực thi thời gian thực • Mơi trường khơng kiểm sốt: để mở rộng ứng dụng, nhiều hệ thống tương tác người máy kì vọng hoạt động mơi trường có khơng bị giới hạn điều kiện ánh sáng thay đổi lớn Nói cách khác, làm việc tùy ý thách thức với hầu hết hệ thống xử lý ảnh • Chuyển động nhanh bàn tay: bàn tay có khả chuyển động nhanh, cổ tay tốc độ lên tới mét/giây cho dịch chuyển tịnh tiến 300 độ / giây cho chuyển động xoay Hiện nay, cảm bến ảnh thơng dụng hỗ trợ tốc độ khung hình 30-60 Hz Mặt khác, nhiều giải thuật khó đạt đến tốc độ 30Hz Tốc độ di chuyển nhanh bàn tay kết hợp với tần số lấy mẫu thấp từ cảm biến gây thêm khó khăn cho thuật 10 tốn nhận dạng Thí dụ: ảnh thu khung hình liên tiếp có độ tương quan thấp dần tốc độ di chuyển bàn tay tăng lên Rất khó thỏa mãn tất vấn đề trên, số nghiên cứu tìm cách giới hạn với người dùng mơi trường Thí dụ coi môi trường không thay đổi bàn tay đối tượng có màu da Tuy nhiên ứng dụng chấp nhận giới hạn này, đặc biệt ứng dụng tương tác thực ảo, tốc độ xử lý cần phải đạt tới 100 Hz Hai vấn đề xem khó khăn phải đối mặt với tốn có q nhiều chiều thơng tin bị thiếu hụt bị che khuất ngón tay Một số nghiên cứu muốn giảm thiểu tượng bị che khuất cách quan sát bàn tay hệ thống nhiều camera Một số nghiên cứu khác tiếp cận theo cách giới hạn số tư bàn tay: thí dụ giới hạn tư kí tự bảng chữ cái, giới hạn tư cầm nắm, kéo thả để tăng tốc độ xử lý Tuy nhiên việc xây dựng hệ thống tương tác người máy không giới hạn chuyển động bàn tay cần phải nghiên cứu 1.2 Các nghiên cứu liên quan Để nhận diện đầy đủ bậc tự bàn tay có phương pháp phương pháp dựa vào hình dáng quan sát (appearance-based method) phương pháp dựa thơng tin mơ hình (model-based method) Thu nhận ảnh Các khung ảnh Định vị bàn tay & Trích chọn đặc trưng Các đặc trưng thân loại cử Ước lượng tư Loại cử Các tham số tư Ứng dụng Hình 2: Lưu đồ tổng quát phương pháp nhận dạng theo hình dáng Phương pháp nhận dạng dựa vào hình dáng quan sát bao gồm việc phân hoạch trích chọn đặc trưng, sau phân loại thành tư tay Ưu điểm phương pháp khơng tốn nhiều tài ngun tính tốn phần cứng phức tạp.Tuy nhiên số lượng tư tay nhận dạng tập hữu hạn tư xây dựng trước để đưa vào để huấn luyện 11 Khung ảnh thứ Ước lượng tư Khởi tạo Khung ảnh thứ k Trích chọn đặc trưng Tính tốn đặc trưng mơ hình Đặc trưng quan sát Tư dự đốn Dự đốn Đặc trưng mơ hình Tính tốn sai khác Tìm kiếm Trạng thái tối ưu Cếp nhết trạng thái Hình 3: Lưu đồ tổng quát phương pháp nhận dạng mơ hình Phương pháp mơ hình nhận dạng dựa so sánh ảnh quan sát với ảnh mô hình chiều Ảnh quan sát hình ảnh thu từ hệ nhiều camera kèm thơng tin độ sâu Phương pháp địi hỏi tài ngun tính tốn lớn độ xác phụ thuộc nhiều vào lượng thơng tin mơ hình quan sát Trong đó, ảnh mơ hình xây dựng dựa cấu trúc giải phẫu học ma trận đồ họa Tùy mục đích ứng dụng giải thuật, ảnh mơ hình khác nhóm nghiên cứu Trong [3], mơ hình bàn tay xây gồm 12 bậc tự với 10 bậc dành cho ngón tay bậc dành cho chuyển động tịnh tiến không gian Để nhận dạng tư tay, có hai phép đo sử dụng Phép đo thứ đo mức độ chồng chập diện tích ảnh quan sát ảnh mơ hình chiếu mặt phẳng quan sát Phép đo thứ hai đánh giá sai khác khoảng cách đường biên hai ảnh Kĩ thuật tối ưu xuống dốc đơn hình (downhill simplex) sau sử dụng để tìm tư cho sai khác nhỏ Các ràng buộc sinh học sử dụng nhằm thu hẹp khơng gian tìm kiếm loại bỏ trường hợp không thực Kết thực nghiệm cho thấy giải thuật nhận dạng chuyển động đơn giản bàn tay điều kiện đồng màu 12 Hình 4: Kết nhận dạng nghiên cứu Stenger Trong nghiên cứu khác [4], Stenger đề xuất mô hình bàn tay với 27 bậc tự biểu diễn 39 mặt bậc hai cụt Việc sử dụng mặt bậc hai giúp đơn giản trình khởi tạo mơ hình chiều đồng thời dễ dàng thực phép chiếu Bộ lọc Kalman sau sử dụng để ước lượng tối thiểu sai số hình học đường biên ảnh quan sát ảnh mơ hình Kết cho thấy giải thuật nhận dạng bậc tự với tốc độ hình/giây Để nâng cao độ xác, Stenger sau đề xuất sử dụng tập hợp mẫu gồm 16.055 tư bàn tay kết hợp với lọc Bayes phân cấp [5] Các hàm so sánh tương quan cải tiến để làm việc điều kiện nhiễu môi trường lớn Giải thuật thành công với tỉ lệ nhận dạng 90% độ xác 9.3 điểm ảnh cho ảnh 320x240 Tuy nhiên, q trình cài đặt thuật tốn tương đối phức tạp với nhiều bước chỉnh thủ công đồng thời yêu cầu phải có tập liệu quan sát lớn Gần đây, Oikonomidis đề xuất mơ hình bàn tay gồm 26 bậc tự xây dựng từ hình đồ họa hình cầu, hình trụ hình elipsoid [2] Ảnh quan sát sử dụng bao gồm ảnh màu ảnh độ sâu thu thập cảm biến ảnh Kinect Giải thuật tối ưu bầy đàn sau áp dụng để tìm nghiệm cho toán cực tiểu sai khác ảnh quan sát ảnh mơ hình Kết cho thấy giải thuật nhận diện đầy đủ 26 bậc tự bàn tay với tốc độ 15 hình/giây Hình 5: Kết nhận dạng cảm biến Kinect Oikonomidis [2] 13 1.3 Nội dung nghiên cứu Trong luận văn này, tơi tiếp cận theo hướng mơ hình với ý tưởng phát triển từ nghiên cứu Oikonomidis để giải toán nhận dạng tư bàn tay dựa thiết bị phần cứng sẵn có Nội dung chương trình bày sau: Chương Phân tích đặc trưng cấu trúc động học bàn tay đặc trưng cảm biến RGB-D Kinect Từ đánh giá này, nghiên cứu xây dựng mơ hình 3D bàn tay đồ họa máy tính mơ liệu thu từ cảm biến Kinect với góc nhìn khoảng cách khác không gian Chương Xây dựng giải thuật nhận dạng theo mơ hình bao gồm hai cơng cơng việc chính: xây dựng hàm đánh giá mơ hình với quan sát; xây dựng phương pháp nhận dạng sử dụng giải thuật tối ưu bầy đàn PSO để thay đổi tham số khớp ngón tay tối thiểu hóa sai khác Chương Trình bày giải pháp xử lý song song CPU/GPU Ứng dụng tảng tính tốn song song OpenCL để tăng cường tốc độ xử lý thuật toán công đoạn cụ thể Chương Mô hệ thống nhận dạng thực nghiệm liệu thật thu từ cảm biến Kinect Đánh giá khả nhận dạng, độ xác thời tài nguyên tính tốn giải thuật Chương Kết luận đánh giá ưu nhược điểm hệ thống Bàn luận đề xuất phương hướng phát triển nghiên cứu tương lai 14 Chương 2: MƠ HÌNH BÀN TAY Phương pháp nhận dạng theo mơ hình có mục tiêu khơi phục lại mơ hình 3D tư bàn tay Mơ hình dùng để mô tả khái quát đặc điểm bề mặt bàn tay tư tay hợp lý Phần đầu chương trình bày cách làm để xây dựng mơ hình 3D bàn tay dựa khối hình cở bản, đánh giá đặc điểm động học bàn tay thực tế Phần chương trình bày đặc trưng của cảm biến Kinect, vấn đề lý thuyết ánh xạ mơ hình 3D xuống mặt phẳng 2D Mục đích nghiên cứu vần vấn đề để xây dựng mơ hình giả định tương ứng với góc nhìn cảm biến Phần cuối chương trình bày giải thuật xác định mơ hình quan sát từ cảm biến bao gồm thông tin màu sắc độ sâu Mơ hình quan sát mơ hình giả định xây dựng chương phục vụ cho giải thuật nhận dạng đề cập chương 2.1 Mơ hình động học bàn tay Bàn tay người bao gồm 27 xương, có xương cổ tay 19 xương cho lòng bàn tay ngón tay Các xương kết nối với khớp nối có nhiều bậc tự Hình biểu diễn khớp nối số bậc tự tương ứng tạo thành tổng cộng 26 bậc tự [1] Trong đó, cổ tay có bậc tự với bậc tự cho chuyển động tịnh tiến không gian bậc tự cho chuyển động xoay quanh trục Năm ngón tay ngón có bậc tự với bậc cho khớp gốc ngón tay (gập/ngửa khép/mở) bậc cho khớp cịn lại Hình 6: Cấu trúc xương mơ hình động học bàn tay 15 Với cách biểu diễn vậy, động học ngón tay xác định vector gồm tham số góc: x z qi = (q MP , q MP , q PIP , q DIP ) (2.1) x z θ MP θ MP hai góc quay khớp gốc, θ PIP góc quay khớp θ DIP góc quay khớp đỉnh Tương tự, vị trí hướng bàn tay xác định qua cổ tay vectơ gồm tham số: qc = ( xc , yc , zc , q cx , q cy , q cz ) (2.2) x y z ( xc , yc , zc ) tọa độ cổ tay không gian (θθθ c , c , c ) hướng bàn tay quay quanh trục tương ứng Như vậy, tư bàn tay hoàn toàn xác định biết 26 tham số góc: = h (= qi , qc ), i 1, 2, ,5 (2.3) Do đặc điểm giải phẫu học, chuyển động khớp ngón tay bị ràng buộc giằng dẫn tới góc quay cổ tay đốt ngón tay bị giới hạn Đặc điểm quan trọng giúp giới hạn đáng kể khơng gian tìm kiếm giải thuật bầy đàn sau Bảng trình bày giới hạn tham số góc ngón tay Bảng trình bày giới hạn tham số cổ tay Lưu ý giới hạn vị trí ( xc , yc , zc ) xác định thị trường camera BẢNG 1: GIỚI HẠN CÁC THAM SỐ GĨC CỦA NGĨN TAY Ngón Ngón trỏ Ngón Ngón đeo nhẫn Ngón út θ PIP z θ MP x θ MP 0 – 90 00 – 900 00 – 900 00 – 900 00 – 900 0 -15 – 60 -150 – 150 -100 – 100 -300 – 00 -450 – 00 θ DIP -150 – 700 00 – 600 00 – 600 00 – 600 00 – 600 – 50 00 – 1000 00 – 1000 00 – 1000 00 – 1000 BẢNG 2: GIỚI HẠN CÁC THAM SỐ GÓC VÀ VỊ TRÍ CỦA CỐ TAY xc yc zc -0,9 m – 0,9 m -0,68 m – 0,68 m 0,5 m – 1,5 m θ cx θ cy -300 – 1200 -700 – 750 θ cz -350 – 200 2.2 Xây dựng mơ hình giả định đồ họa máy tính Trên thực tế, mơ hình bàn tay vừa có thành phần khớp nối, lại vừa có thành phần đàn hồi Tuy nhiên, để giảm bớt khối lượng tính tốn, mơ hình q phức tạp bàn tay không sử dụng Trong nhiều nghiên cứu, mô hình 3D bàn tay cần phải ánh xạ 16 lên ảnh 2D ảnh quan sát để tìm đặc trưng Bên cạnh cần tính đến yếu tố hiển thị phần bàn tay bị che khuất Chính lý nên mơ hình 3D bàn tay nên xây dựng từ khối hình thơ, bao gồm khối hình cầu, hình trụ, hình nón cụt hình ellipsoid 2.2.1 Các khối hình học Hình 7: Thí dụ mặt bậc hai: (a) ellipsoid, (b) hình nón, (c) hình trụ, (d) mặt phẳng Các khối hình nêu mặt tốn học coi mặt bậc hai biểu diễn tọa độ đồng ma trận Q có kích thước 4x4 Bề mặt định nghĩa tập điểm X thỏa mãn phương trình: XTQT = (2.4) với X = [x,y,z,1]T vector đồng biểu diễn điểm không gian 3D Phương trình cách viết đơn giản phương trình: (2.5) Các họ mặt bậc hai thu từ ma trận Q với hạng khác nhau, cụ thể là: • Ellipsoid: biểu diễn ma trận Q với hạng cao Vector pháp tuyến xuất pháp từ tâm tập điểm bề mặt thỏa mãn phương trình: (2.6) phương trình tương đương với ma trận: 17 (2.7) Những thí dụ khác bề mặt biểu diễn với ma trận kiểu paraboloids hyperboloid Nếu ma trận Q ma trận đơn nhất, mặt bậc hay xem suy biến • Hình nón hình trụ: biểu diễn ma trận Q với hạng Phương trình hình nón với trục 0y có dạng (2.8) ma trận tương đương là: (2.9) Phương trình hình trụ có trục Oy là: (2.10) ma trận tương ứng: (2.11) • Cặp mặt phẳng πo π1: biểu diễn Q = πo π1T+ π1 πoT có hạng ma trận 2, cặp mặt phẳng song song với mặt xz biểu diễn phương trình: (2.12) trường hợp πo =[0,1,0,-y0]T π1 =[0,1,0,-y1]T Ma trận tương đương là: 18