Cũng giống như ngôn ngữ thông thường, mỗi quốc gia lại có ngôn ngữ dấu hiệu khác nhau. Có thể kể ra một số ngôn ngữ dấu hiệu như ASL (American Sign Language), SASL (South African Sign Language), ISL (Irish Sign Language), FSL (Franch Sign Language)Ầ nhưng phổ biến nhất là ngôn ngữ ASL của Mỹ. Với ngôn ngữ này thì các ký tự ựược mã hóa hết sức ựơn giản. Trong khi ựó các từ ựược mã hóa phức tạp hơn. Mỗi từ trong ASL ựược mô tả bởi 5 ựặc tắnh của ký hiệu: hình dạng bàn tay, vị trắ bàn tay so với cơ thể người, hướng bàn tay, chuyển ựộng của bàn tay và ngón tay, biểu hiện của nét mặt và cơ thể. Riêng ngôn ngữ dấu hiệu dùng ở Việt Nam về cơ bản là giống ASL tuy nhiên do ựặc thù ngôn ngữ của chúng ta là có thêm các ký tự khác như Ê, Ơ, Ô, Ư, Ă, Â và các dấu huyền (`), sắc ('), hỏi (?), ngã (~) nên ta phải tổ hợp thêm các cử chỉ khác nữa ựể bổ sung vào cho ựủ. Luận văn này ựược xây dựng dựa trên cơ sở là ngôn ngữ dấu hiệu ASL.
4.2. Cu t>o bàn tay
Không một bộ phận nào khác của thân thể lại gắn bó thân thiết với hành vi con người như ựôi tay. Với ựôi tay, chúng ta làm việc, chơi ựùa, học hành, bày tỏ các cảm xúc, xây dựng các nền văn minh và sáng tạo nên các tác phẩm nghệ thuật.
Là một trong những dụng cụ phức tạp nhất của toàn bộ cơ thể, bàn tay là công cụ cơ học ựược thiết kế cực kỳ tinh xảo gồm những cơ bắp, mỡ, dây chằng, gân, xương và các sợi thần kinh cực nhạy. Nó có thể thực hiện hàng ngàn công việc một cách chắnh xác. để làm một ựộng tác nắm chặt ựơn giản nhất, một chuỗi các cơ bắp, các khớp xương và các gân suốt từ vai xuống ựến tận các ựầu ngón tay ựều ựược triệu ựến. Cầm một muỗng xúp phải xử dụng ựến hơn 30 khớp xương và 50 cơ bắp.
Khung xương bàn tay khá phức tạp, gồm 3 phần: cổ tay, lòng bàn tay và các ngóng tay. Số lượng các xương ựược phân phối như sau: tám xương ở cườm tay, năm ở vùng lòng bàn tay, mười bốn ở các ngón tay. Các dây chằng ràng chặt các xương này
lại với nhau tại vị trắ các khớp nối. Thao tác cử ựộng của các ngón tay ựược ựiều khiển bởi các gân, là những sợi bền chắc có nhiệm vụ hướng dẫn các xương bàn tay, cổ tay và nối chúng với các cơ bắp chịu trách nhiệm ựiều hành các xương này.
Bảng sau ựây liệt kê thuật ngữ y học của các xương thuộc bàn tay (kèm theo cả tên nguyên bản)
TT Tên khoa học Tên tiếng Việt
1 Styloid Process of Radius xương quay
2 Navicular (Scaphoid) xương thuyền
3 Lunate xương nguyệt
4 Triquetral xương tháp
5 Pisiform xương ựậu
6 Trapezium xương thang
7 Trapezoid xương thê
8 Capitate xương cả
9 Hamate xương móc
10 Metacarpal (I, II, III, IV, V)
tên gọi chung của 5 xương lòng bàn tay tương ứng với 5 ngón tay
11 Proximal Phalange
(I, II, III, IV, V) các xương ựốt 1
12 Middle Phalange
(I, II, III, IV, V) các xương ựốt 2
13 Distal Phalange
(I, II, II, IV) các xương ựốt 3
14 Styloid Process of Ulna xương trụ
Ngón cái, hoạt ựộng ựộc lập với bốn ngón tay khác, là ngón tay quan trọng và bận rộn nhất. Nhờ khả năng ựộc ựáo của ngón cái có thể bắt tréo và liên kết với mọi ngón tay khác, cho nên chúng ta vẫn có thể xoay xở làm ựược một số công việc bằng ngón cái với một ngón tay khác.
Các ngón tay còn lại khác biệt với nhau ựáng kể về mặt sức mạnh. Thông thường, ngón giữa là ngón mạnh nhất, kế ựến là ngón trỏ. Ngón thứ tư (tức ngón ựeo nhẫn) ựược các giáo sư âm nhạc và các thầy dạy ựánh máy chữ xem là kém nhạy cảm nhất ựối với việc luyện tập, vì cơ bắp của nó bẩm sinh ựã yếu. Ngón út là ngón yếu nhất. Kắch thước của bàn tay một người cũng không mấy liên hệ ựến sức nắm chặt của nó, hoặc giả ựến sự nhanh hay chậm, khéo léo hay vụng về.
Chúng ta nhận ựược rất nhiều thông tin về những vật chúng ta rờ chạm ựến qua "cảm giác" về chúng. Sở dĩ như vậy là vì da bàn tay không giống như da ở bất cứ bộ phận nào khác của thân thể. Mặc dù hết sức dai bền, lớp da này cũng co giãn một cách diệu kỳ và nhạy cảm ựến mức khó tưởng tượng nổi. Lớp da trên lưng bàn tay thực tế giãn ra hơn một centimét khi ta nắm chặt tay bóp vật gì, ựồng thời trong lúc ựó, phắa lòng bàn tay da bị co rút lại cũng hơn một centimét (ựây là cũng là ựiều tôi rất băn khoăn lưu ý khi tiếp tục hướng nghiên cứu này, việc mô hình hóa chắnh xác sự co dãn của lớp da tay khi tay cử ựộng không phải ựơn giản, chắc chắn nó ựòi hỏi nhiều công sức nghiên cứu và tôi hy vọng sẽ nhận ựược sự cộng tác của những bạn quan tâm ựến vấn ựề này). Bên dưới lớp da dày của lòng bàn tay là một lớp mỡ ựệm có chức năng bảo vệ các gân quan yếu và các mạch máu của bàn tay, còn mặt ngoài chịu ựựng sự ma sát rất lớn do những ựộng tác cào nạo, vặn xiết, ghìm bấu, xiết chặt tạo nên.
Lòng bàn tay, và ựặc biệt là các ựầu ngón tay, ựược trang bị với các thiết bị cảm giác ựặc biệt. Một mảnh da ngón tay nhỏ hơn kắch cỡ một con tem bưu chắnh chứa ựến hàng triệu tế bào thần kinh. Trên bề mặt của lớp da là những luống nhỏ hình thành bởi các gai thịt. Những gai thịt này lấm chấm vô số các lỗ chân lông và các ựầu dây thần kinh có chức năng khám phá nhiệt ựộ và sự cấu tạo của bất cứ việc gì chúng ta ựụng chạm ựến. (Phép nhận dạng bằng dấu tay ựược căn cứ trên sự kiện là các mẫu ựường vân hình vòng tạo thành bởi các gai thịt này chẳng bao giờ giống hệt nhau ở hai con người).
Các khớp xương ngón tay, giống như mọi khớp xương khác trong cơ thể, ựược bao chứa trong một dung dịch trơn nhầy, không màu (hoạt dịch) chất này tạo ra một tác dụng trơn lướt, mượt mà khi chúng ta gập cùi chỏ hay ngón tay lại. Khi dung dịch này trở lạnh, nó ựặc lại và các khớp xương ngón tay tê cứng. Vì cấu trúc phức tạp của các dây thần kinh và các cơ bắp nên bàn tay rất dễ bị tổn thương. Các thương tắch ở cườm tay, ngón tay và bàn tay chiếm gần một nửa tổng số các tổn thất trong các tai nạn kỹ nghệ.
Hình 18: Minh họa các loại khớp xương tay
Với tư cách là các dụng cụ ựể học tập, làm việc và truyền thông, ựôi bàn tay của chúng ta có thể ựược xem như phương tiện chắnh yếu của tư tưởng con người Ờ một thành viên cộng sự của bộ óc trong sứ mạng vĩnh viễn phân biệt con người với phần còn lại của thế giới ựộng vật
4.3. FamiliarHand
4.3.1. Quy trình thực hiện
Sau ựây là quy trình thực hiện bài toán: - Bước 1:
Ớ Công việc: Sử dụng tool thiết kế 3D (Maya, 3ds max, PoserẦ) ựể thiết kế mô hình 3D rồi xuất dữ liệu ra dưới dạng file VRML97.
Ớ Kết quả: File VRML chứa dữ liệu ựể xây dựng nên mô hình 3 chiều thể hiện một bàn tay.
Ớ Công việc: Xây dựng module làm nhiệm vụ load file VRML và ựọc ra các nút trong file ựó và gán cho các ựối tượng tương ứng của Java3D. Bộ render của Java3D sẽ dựa vào cấu trúc Scene Graph ựể render thành mô hình 3D tương ứng.
Ớ Kết quả: Module load mô hình bàn tay, module ựọc các ựối tượng Joint và mối quan hệ phân cấp giữa các Joint.
- Bước 3:
Ớ Công việc: Xây dựng các module ựiều khiển các ựối tượng TransformGroup của Java3D theo các tham số truyền vào (các ựối tượng TransformGroup quy ựịnh hình thức + vị trắ dịch chuyển của các hình khối 3D).
Ớ Kết quả: module ựiều khiển cử ựộng của tay - Bước 4:
Ớ Công việc: Xây dựng bảng các tham số thắch hợp ựể làm ựầu vào cho việc ựiều khiển hình khối 3D. Với mỗi bộ tham số, bộ render của Java3D sẽ render lại thành các hình 3D tương ứng với bộ tham số truyền vào.
Ớ Kết quả: Công cụ thu các tham số tương ứng của từng joint trong không gian 3 chiều ứng với từng ựộng tác tay do người dùng trực tiếp ựiều khiển.
- Bước 5:
Ớ Công việc: Xây dựng module chắnh tự ựộng ựiều khiển tay cử ựộng tới các vị trắ tương ứng với các bộ tham số thắch hợp.
Ớ Kết quả: Module tự ựộng tạo các chuyển ựộng. 4.3.2. Cấu trúc mô hình bàn tay trong FamiliarHand
Như ựã trình bày trong phần 4.2, một bàn tay có tất cả 27 xương. Do ựộ phức tạp của hệ xương và các khớp rất lớn nên tôi ựã thu gọn lại còn 15 khớp và 15 ựốt tay. Tất nhiên, trong tương lai, khi phát triển tiếp theo hướng ựi này, ựể ựạt ựược ựộ chắnh xác và chân thực cao thì ựòi hỏi phải mô phỏng toàn diện cấu tạo của xương bàn tay,
các cơ, bề mặt da. Hiện tại thì với số lượng khớp như vậy, mô hình bàn tay cũng ựã hoạt ựộng với ựộ chân thực khá cao.
Hình 19: mô hình bàn tay 3D trong chương trình FamiliarHand
Dưới ựây trình bày cây phân cấp Joint của mô hình FamiliarHand, bên phải tương ứng là cây phân cấp mô tả các ựốt chi của bàn tay:
Wrist Palm | ThumbJoint_01 | ThumbPhalanx_01 | ThumbJoint_02 | ThumbPhalanx_02 | IndexJoint_01 | IndexPhalanx_01 | IndexJoint_02 | IndexPhalanx_02 | IndexJoint_03 | IndexPhalanx_03 | MiddleJoint_01 | MiddlePhalanx_01 | MiddleJoint_02 | MiddlePhalanx_02 | MiddleJoint_03 | MiddlePhalanx_03 | RingJoint_01 | RingPhalanx_01 | RingJoint_02 | RingPhalanx_02 | RingJoint_03 | RingPhalanx_03 | PinkyJoint_01 | PinkyPhalanx_01 | PinkyJoint_02 | PinkyPhalanx_02
| PinkyJoint_03 | PinkyPhalanx_03
4.3.3. Cấu trúc chương trình
Chương trình ựược xây dựng dưới dạng một applet. Trong chương trình nói chung có khá nhiều module, bảng sau ựây chỉ liệt kê các module chắnh ựảm nhiệm những công việc then chốt:
Tên module Chức năng
createHand : Load mô hình bàn tay từ file VRML là tham số truyền vào.
createSceneGraph : Xây dựng cấu trúc SceneGraph.
getControlledJoints : đọc các ựối tượng Joint trong file VRML, xác ựịnh mối tương quan cha-con giữa chúng.
guiPanel : Xây dựng panel biểu diễn mô hình + các nút ựiều khiển việc biểu diễn dấu hiệu.
myHand : module dùng ựể tắnh ra các bộ tham số cụ thể tương ứng với từng chữ cái trong bảng ngôn ngữ dấu hiệu.
myWriting :
là lớp con của lớp Timer, có nhiệm vụ thực hiện chuỗi biến ựổi tư thế của bàn tay tùy theo bộ tham số truyền vào.
setComponentRot : Thực hiện việc biến ựổi các tư thế của bàn tay tùy theo bộ tham số truyền vào.
file FamiliarHand.wrl : chứa ựựng các dữ liệu ựể xây dựng nên mô hình 3 chiều diễn tả một bàn tay.
4.3.3. Kết quả ựạt ựược
Sau ựây là bảng mẫu các ký hiệu biểu ựạt các ký tự theo hệ thống ngôn ngữ dấu hiệu ASL. A a B b C c D d E e G g H h I i K k
L l M m N n O o P p Q q R r S s T t
U u V v X x
Và ựây là mô hình 3 chiều biểu diễn bảng ký tự trên do FamiliarHand thực hiện: --- A ---
--- B ---
--- C ---
--- D ---
--- E ---
--- H ---
--- I ---
--- K ---
--- L ---
--- M ---
--- O ---
--- R ---
--- Q ---
--- S ---
--- T ---
--- U ---
--- V ---
--- X ---
Kết luận
đề tài ỘỨng dụng mô hình chuyển ựộng hình nhân 3D vào tương tác người máy và E-learningỢ là một phần trong dự án lớn mà tôi và các ựồng nghiệp ựang tiến hành. Trong luận văn này, tôi tập trung xây dựng cây phân cấp của các khớp xương trong mô hình bàn tay biểu diễn trong không gian 3 chiều mô phỏng bàn tay sinh học của con người trong thực tế, mối liên hệ chuyển ựộng giữa các khớp với nhau theo hệ cơ. Sau ựó tôi tiến hành xây dựng công cụ ựiều khiển các khớp xương (tổng cộng trong mô hình chương trình xây dựng có 15 khớp) trực tiếp bằng tay ựể thu ựược các tham số quay trong hệ tọa ựộ 3 chiều tương ứng với từng khớp xương ở từng tư thế biểu diễn các ký tự trong bảng ngôn ngữ ký hiệu. Và cuối cùng là xây dựng công cụ nhận các tham số này làm ựầu vào ựể tự ựộng ựiều khiển mô hình bàn tay chuyển ựộng mô tả các ký tự .
Trong quá trình xây dựng chương trình tôi ựã cân nhắc và lựa chọn ASL làm bộ ngôn ngữ ký hiệu chuẩn do tắnh ựơn giản và phổ dụng của nó. Và theo tôi ựược biết thì trường trẻ em câm ựiếc Xã đàn cũng sử dụng ngôn ngữ này. ASL cũng là ngôn ngữ dấu hiệu dành cho người khiếm thắnh phổ biến nhất trên thế giới. Do ựó tôi hy vọng phạm vi ứng dụng của chương trình sẽ có thể mở rộng hơn nữa.
Kết quả của luận văn này là một phần mềm ứng dụng mô phỏng chuyển ựộng hình nhân 3D, cụ thể là một phần cơ thể của hình nhân 3D - bàn tay và áp dụng các chuyển ựộng ựó vào việc biểu diễn ngôn ngữ dấu hiệu dành cho người khiếm thắnh.
Ứng dụng này cũng có thể ựược sử dụng vào mục ựắch dạy học (vắ dụ: dạy về luật giao thông, các bài học về y sinh) hoặc giải trắ (phim ảnh, game)Ầ.
Tôi hy vọng trong thời gian tới sẽ tiếp tục hoàn thiện và mở rộng chương trình, khắc phục những nhược ựiểm còn tồn tại như: chưa ựạt ựến ựộ hoàn hảo về tốc ựộ, thứ tự biến ựổiẦ như chuyển ựộng sinh học thực sự của con người; tắnh thẩm mỹ và chắnh xác của mô hình chưa cao; mô hình thực tế của lớp da tay người biến ựổi ra sao khi bàn
tay chuyển ựộngẦ Và tôi nghĩ rằng trong tương lai hệ thống phải ựược tắch hợp với một hệ thống nhận biết âm thanh ựể biến ựổi tắn hiệu âm thanh thành tắn hiệu hình ảnh biểu ựạt ngôn ngữ dấu hiệu dành cho người khiếm thắnh, thậm chắ là tắch hợp cả hệ thống nhận biết âm thanh và hệ thống mô phỏng cảm xúc khuôn mặt ựể có thể kết hợp cùng lúc hai phương pháp nhận biết cổ ựiển ựã giới thiệu ở phần 6, mục 6.1.2 (Lịch sử ngôn ngữ dấu hiệu): nhận biết qua cách biểu ựạt của tay và nhận biết qua cách biểu ựạt của khuôn miệng. Những ựiều này cũng chắnh là hướng phát triển tiếp theo của luận văn này.
Phụ lục A Ờ Danh mục một số công trình nghiên cứu về tương tác người máy.
2004
Ớ 3TP: 3-D models transport protocol
Ghassan Al-Regib, Yucel Altunbasak
Ớ Adaptive interaction in Web3D virtual worlds
Augusto Celentano, Michele Nodari
Ớ Periscope: a system for adaptive 3D visualization of search results
Wojciech Wiza, Krzysztof Walczak, Wojciech Cellary
Ớ Adding a fourth dimension to three dimensional virtual spaces
Robina E. Hetherington, John P. Scott
Ớ A VRML97-X3D extension for massive scenery management in virtual worlds
Jean-Eudes Marvie, Kadi Bouatouch
Ớ Building Virtual and Augmented Reality museum exhibitions
Rafal Wojciechowski, Krzysztof Walczak, Martin White, Wojciech Cellary
Ớ The unreal editor as a Web 3D authoring environment
David Arendash
Ớ 3D graphics rendering time modeling and control for mobile terminals
Nicolaas Tack, Francisco Morán, Gauthier Lafruit, Rudy Lauwereins