Trong hệ thống, bốn điểm đánh dấu màu được đính kèm để xác định vị trí hiện tại của khớp tay thật: vai, khuỷu tay, cổ tay và đầu ngón tay (Hình 21) trong mỡi khung hình bằng một webcam duy nhất. Ý tưởng của module này là tạo ra môi trường ảo ảnh thị giác cho người dùng / bệnh nhân bằng cách kết nối thông tin của các chi thực và ảo. Điều này được thực hiện bằng cách tập luyện trên hệ thống với các chi bị suy yếu cùng với sự trợ giúp của module theo dõi. Từ module theo giám sát này, vị trí hiện tại của khớp vai, khớp khuỷu tay, khớp cổ tay và đầu ngón tay được xác định và đây là nơi loại bỏ các phân đoạn cánh tay thực và đính kèm mơ hình. Mơ hình này sẽ cho phép người dùng cảm nhận như cánh tay của chính họ trên màn hình hiển thị. Để
tạo ra mơi trường ảo giác như vậy, bốn lớp được phát triển mơ tả như Hình 21. Lớp đầu tiên được cung cấp với video trực tiếp qua webcam để tạo môi trường AR. Trong lớp thứ hai, ba đối tượng phủ sóng được phát triển dựa trên chiều rộng và chiều cao của cánh tay trên của người dùng, cẳng tay và bàn tay được chụp bởi webcam. Vùng bên trong của các đối tượng phủ sóng được nhập với nền AR được chụp từ mơi trường AR để nó sẽ xuất hiện dưới dạng loại bỏ cánh tay thật khỏi màn hình hiển thị.
Vị trí của các đối tượng phủ sóng dựa trên vị trí hiện tại của điểm đánh dấu màu ở vai, khuỷu tay và khớp cổ tay để cánh tay thật sẽ luôn chồng lên các đối tượng phủ sóng bất cứ khi nào người dùng cánh tay di chuyển. Trong lớp thứ ba, hệ thống sẽ được gắn ở điểm đánh dấu khớp vai và phủ lên trên các vật thể che phủ để tạo cảnh ảo giác của cánh tay thật. Việc kết xuất hệ thống được hồn thành trong nền tảng GUI với cơng cụ đồ họa 3D. Để hình dung gần nhất có thể với các chi thật của người dùng, hệ thống giám sát, thu thập và xử lý thông tin để đảm bảo người bệnh cảm giác thật. Một trong những chức năng của hệ thống là tạo ra ảo giác quyền sở hữu và khi người dùng khơng thể hồn thành nhiệm vụ cần thiết do chuyển động của động cơ bị hạn chế, nó sẽ đảm nhận cơng việc của cánh tay thực như thể người dùng vẫn đang thực hiện nhiệm vụ tiếp cận. Sự xuất hiện này trên màn hình sẽ đánh lừa người sử dụng bằng nỡ lực của chính mình để đạt đến mục tiêu.
Hình 22: Biểu diễn đồ họa của mơi trường ảo.
Mô-đun thu thập dữ liệu thời gian thực
đó, mơ đun thu thập dữ liệu trong hệ thống được phát triển để so sánh dữ liệu do người dùng xác định với dữ liệu thời gian thực từ các tín hiệu được xử lý hoặc dự đốn ý định của người dùng từ tín hiệu sinh học tiềm ẩn của họ là tín hiệu EMG, đồng thời nó cũng phục vụ như một phản hồi sinh học cho người dùng để thúc đẩy sự phục hồi từ các chức năng bị mất một cách hiệu quả. Mô đun thu thập dữ liệu là mơ-đun trong đó hai nền tảng giao tiếp thông qua giao tiếp phổ biến (UDP) bằng cách thiết lập giao thức internet (IP) và thông tin cổng cho cả người gửi (Matlab) và người nhận (CS6). Một trong những thách thức trong thiết kế hệ thống tập vật lý trị liệu trong môi trường ảo việc thiết kế hệ thống điều khiển. Hệ thống tập luyện nên rõ ràng và thích hợp thì càng tốt cho người dùng trong q trình vận động của cánh tay, đồng thời có thể cung cấp các dữ liệu hỡ trợ thích hợp cần thiết trong q trình phục hồi.
Hình 23: Sơ đồ bộ điều khiển với việc tiên đốn các góc quay.
Quỹ đạo của bàn tay đặt vào tay cầm hay chân đạp được xác định là đường tròn sẽ cho ra các giá trị lực, vận tốc, vị trí từ các thơng số của cảm biến lực và encoder. Việc xác định vị trí các khớp cũng sẽ là các tham số dành cho việc tính tốn cùng với cảm biến lực và encoder để tính tốn chính xác cần thiết trong q trình điều khiển.
1 2... n meas
f R R R f
Với n là hệ trục thứ n mà cảm biến gắn lên, fmeas là vectơ lực được đo bới cảm biến lực, Ri là ma trận quay của hệ trục thứ i, f là lực so với hệ trục toàn cục.
Khi mục tiêu là đảm bảo lực tương tác là 0 thì lực tham chiếu là tập 0 và sao số của lực giữa người sử dụng và hệ thống là tổng của tất cả các lực chuyển tới hệ trục tham chiếu. Phương trình sẽ là:
e u l w
f f f f
Với fe là sai số lực ở hệ trục tham chiếu, còn fu, fl, fw là lực của khâu cánh tay trên, cánh tạy dưới, cổ tay. Sai số lực được chuyển thành tại vị trí cổ tay. Hướng cổ tay thì moment tác động lên cổ tay được xác định để tính lực tạo ở cổ tay. Giống như tính tốn vị trí cổ tay, tất cả đều phải so sành với hệ trục tham chiếu toàn cục.
1 2... 7
w R R R w
Với w là moment tổng tác động lên cổ tay và cũng như là ở cảm biến lực tác động tay quay. Thêm vào đó thay đổi vị trí góc quay cũng được tính dựa vào lực tác động lên trục quay. Các góc quay tương ứng cũng các khớp sẽ được tính dựa trên bài tốn phân tích động lực học.
Hình 24: Sơ đồ khối hệ thống điều khiển hỡ trợ với sự tác động của chủ và tớ.
Sơ đồ (Hình 24) khối điều khiển trợ giúp song phương cho thấy sự hỗ trợ lực lượng được cung cấp bởi chủ cho cánh tay nô lệ. Trong hệ thống điều khiển này cánh tay người bị yếu hay bị tê/liệt được xem như cánh tay tớ, cánh tay này sẽ chuyển động kéo theo và được theo dõi giám sát bởi cánh tay chủ áp đặt lên nó. Trong đó, fact và
cạnh đó meas và cmd là góc khớp đo và mong muốn, mi và si là giá trị moment của khớp thứ i của bộ chủ và tớ.
Thơng tin vị trí của tay và cùi trỏ cũng như quỹ đạo của chúng có thể xác định thơng qua bài toán động học nghịch. Ở mức độ điều khiền thấp, bám theo vị trí khớp được thực hiện thông qua việc điều khiển PID.
Mục tiêu của việc điều khiển hỗ trợ là cung cấp sự hỗ trợ cần thiết để đạt được mục tiêu cụ thể trong quá trình phục hồi chức năng trong vật lý trị liệu. Mục tiêu nhằm đạt được duy trì chuyển động đối xứng của 2 tay tuần tự. Trong sơ đồ điều khiển này, một lực kích hoạt được tạo ra bằng bộ điều khiển PD điều khiển sai số giữa độ chính xác mong muốn. Thêm vào đó, sai số góc xoay của tay người tập thực tế và góc mong muốn cũng phải được xác định để xác định độ chính xác hệ thống.
4.2 Hệ thống điện
4.2.1 Máy tính giao tiếp với vi điều khiển và kinect
Để giao tiếp với vi điều khiển, nhóm giao tiếp qua cổng COM port với tốc độ 115200 baudrate. Tín hiệu gửi qua vi điều khiển là dạng ch̃i, chính là tốc độ quay và momen lực của tay quay và chân đạp. Các giá trị được gửi về máy tính xử lí và hiển thị lên màn hình giao diện. Kinect đồng thời kết nối với máy tính và truyền dữ liệu về máy tính nhận dạng khung xương và tính tốn tọa độ các khớp trên cơ thể người.
Hình 25: Sơ đồ máy tính giao tiếp với vi điều khiển và Kinect.
4.2.2 Giao tiếp giữa cảm biến và vi điều khiển
Vi điều khiển có các chân tín hiệu digital và analog, Encoder truyền tín hiệu về vi điều khiển dưới dạng tín hiệu digital và cảm biến momen quay truyền tín hiệu về vi điều khiển dưới dạng analog.
Hình 26: Sơ đồ kết nối cảm biến với vi điều khiển.
4.3 Hệ thống truyền và xuất dữ liệu
Cấu trúc hệ thống điều khiển gồm 2 nhánh và 1 bộ xử lí trung tâm(PC). Với nhánh 1 gồm vi điều khiển tổng hợp các dữ liệu từ cảm biến, sau đó đưa về bộ xử lí trung tâm (PC), nhánh 2 là Kinect chứa các cảm biến về quang học, hồng ngoại, độ sâu và gửi về bộ xử lí trung tâm (hình 25 và hình 27). Bộ xử lí trung tâm (PC) tổng hợp và hiển thị các thơng số lên màn hình.
Bộ xử lí trung tâm(PC) Vi điều khiển
Hệ thống cảm biến Kinect
Màn hình giao diện
Hình 27: Cấu trúc hệ thống điều khiển.
4.4 Truyền thơng
Máy tính giám sát tính hiệu qua kết nối cổng COM. Trên máy tính xử lí trung tâm có chương trình: đọc dữ liệu từ vi điều khiển, đọc dự liệu từ Kinect, mô phỏng 3D nhân vật đạp xe, lập biểu đồ thời gian thực về góc quay của tay và chân, giao diện hiển
thị các thông số từ vi điều khiển và Kinect. Ngơn ngữ lập trình phần mềm là C# và ngơn ngữ lập trình vi điều khiển là C++.
4.5 Hệ thống cảm biến 4.5.1 Kinect 4.5.1 Kinect
Kinect (tên mật trong thời gian phát triển là Project Natal) là thiết bị cảm biến ngoại vi thu chuyển động phát triển bởi Microsoft dành cho máy console Xbox 360 và
Windows. Khi kết nối vào Xbox 360, người chơi có thể điều khiển và tương tác với máy console mà không cần tay cầm điều khiển, thông qua giao diện người dùng tự nhiên sử dụng cử chỉ và lệnh thoại.
Hiện tại Microsoft đưa ra 2 phiên bản Kinect. Một cho Xbox 360 và 1 cho PC (Kinect for PC). Microsoft ra mắt bộ công cụ phát triển phần mềm Kinect cho Windows 7 (SDK – Software Developer Kit) ngày 16 tháng 6 năm 2011. Bộ công cụ phát triển phần mềm này cho phép các nhà phát triển viết ứng dụng cho Kinect ở ngôn ngữ C#, C++/CLI, Visual Basic 2005.
Kinect là một thiết bị tích hợp cảm biến chiều sâu, camera màu và một nhóm microphones cùng nhiều thứ khác đặt bên trong một hộp nhỏ và phẳng. Hộp phẳng này được gắn kèm với một động cơ nhỏ để có thể cho phép thiết bị thay đổi góc quay theo phương ngang. Thiết bị cảm biến Kinect bao gồm những thành phần sau:
• Color camera
• Infrared (IR) emitter • IR depth sensor • Tilt motor
• Microphone array ( gồm 4 microphone giống nhau hoạt động ở 16bit với tốc độ lấy mẫu là 16KHz)
• LED
Hình 28: Kinect.
4.5.2 Encoder Gới thiệu Gới thiệu
Encoder là một bộ phận rất quan trọng trong sơ đồ cấu tạo của máy CNC. Có thể dễ hình dung rằng nó giống như bộ phận cơng tơ mét ở xe máy hay ơ tơ, nó sẽ đo đạc và hiển thị các thông số về tốc độ của máy cho người sử dụng biết thông qua hệ thống giám sát của máy tính điều khiển.
Hình 29: Encoder.
Encoder ở các hệ thống điều khiển tự động là bộ phận để đo lường dịch chuyển thẳng hoặc góc, đồng thời chuyển đổi vị trí góc/vị trí thẳng mà nó ghi nhận được thành tín hiệu nhị phân.
Được cấu tạo gồm một đĩa tròn xoay, quay quanh trục. Trên đĩa được đục lỗ (rãnh), khi đĩa này quay và chiếu đèn led lên trên mặt đĩa thì sẽ có sự ngắt qng.
Hình 30: Cấu tạo bên trong Encoder
Khi đó, phía mặt bên kia của đĩa, người ta đặt một con mắt thu (photosensor) để thu nhận tín hiệu từ đĩa quay.
Nguyên lý hoạt động của Encoder
Với các tín hiệu có ánh sáng chiếu qua, hoặc khơng có ánh sáng chiếu qua, người ta ghi nhận được đèn led có chiếu qua lỡ hay khơng. Số xung đếm được và tăng lên nó tính bằng số lần ánh sáng bị cắt!
Giả sử trên đĩa chỉ có 1 lỡ duy nhất thì cứ mỡi lần con mắt thu nhận được tín hiệu đèn led thì có nghĩa là đĩa đã quay được 1 vòng.
Đây là nguyên lý hoạt động của loại Encoder cơ bản, còn đối với với nhiều chủng loại khác thì đương nhiên đĩa quay sẽ có nhiều lỡ hơn và tín hiệu thu nhận cũng sẽ khác hơn.
4.5.3 Cảm biến momen xoắn
Các cảm biến đo mơ-men xoắn thế hệ đầu tiên thường có tín hiệu ngõ ra dạng tương tự. Hiện tượng nhiễu thường xuất hiện giữa module cấp nguồn và điều khiển, nhất là trong trường hợp dây cấp nguồn dài. Vì vậy, mức điện áp ngõ ra của cảm biến thường được tăng lên tới ± 5V hoặc ± 10V. Tuy nhiên trong nhiều ứng dụng khác, khó có thể
giảm hay loại bỏ những phần nhiễu này. Giải pháp ở đây chính là sử dụng cảm biến điện tử với tín hiệu được số hóa. Hình dưới đây mơ tả các phần tử của cảm biến:
Hình 31: Cấu trúc bên trong cảm biên moment
Phần tử strain gauge (điện trở đo biến dạng - giống bên trong loadcell) được đặt ở trên trục. Phần tử quay của bộ chuyển đổi cũng được đặt trên trục. Mạch điện được đặt ở phần thân vỏ. Bên trong mạch điện có một vi điều khiển, dùng để đo giá trị thu được từ strain gauge. Tín hiệu từ strain gauge cũng sẽ được khuếch đại và số hóa ở đây. Tín hiệu số này được chuyển đổi sang chuẩn giao tiếp như RS-485. Vi điều khiển cịn có các chức năng khác như giám sát bộ cấp nguồn, lưu số serial của thiết bị, giá trị chuẩn hóa, khoảng đo, ngày hiệu chuẩn …
Hình 32: Sơ đồ khối cảm biến moment
CHƯƠNG 5: TƯƠNG TÁC THỰC ẢO 5.1. Giới thiệu 5.1. Giới thiệu
Trong những năm gần đây, lĩnh vực thực tế ảo (VR) đã phát triển và được ứng dụng rộng rãi trong cuộc sống. Các ứng dụng thực tế cho việc sử dụng công nghệ này bao gồm nhiều lĩnh vực, từ đào tạo hàng không và ứng dụng quân sự, đến đào tạo công nghiệp về vận hành máy móc, đến y học, nơi các bác sĩ phẫu thuật có thể được
đào tạo về kỹ thuật phẫu thuật bằng hệ thống VR. Môi trường ảo (hoặc thực tế ảo) là mô phỏng của môi trường thế giới thực được tạo thông qua phần mềm máy tính và được người dùng trải nghiệm thông qua giao diện máy con người. Một loạt các thiết bị phần cứng và phần mềm có thể được sử dụng để tạo ra các mô phỏng VR với mức độ phức tạp khác nhau. Trong khi ở thế giới thực, chúng ta có được kiến thức về mơi trường của mình trực tiếp thơng qua các giác quan của chúng ta về thị giác, thính giác, xúc giác, quyền sở hữu, ngửi mùi trong thế giới ảo, chúng ta sử dụng các giác quan tương tự để có được thơng tin về thế giới ảo thơng qua giao diện máy con người (ví dụ, màn hình hiển thị gắn trên đầu). Giao diện máy của con người có thể cung cấp thơng tin cụ thể cho một hoặc nhiều giác quan, tùy thuộc vào loại thiết bị đã được chọn để sử dụng. Thông tin thu thập về môi trường ảo thông qua giao diện sau đó được sử dụng để hướng dẫn các tương tác của người tham gia trong thế giới ảo. Đầu vào từ môi trường ảo cũng có thể được kết hợp với đầu vào cảm giác tự nhiên từ môi trường thực, để tạo đầu vào lai cho hệ thần kinh trung ương (CNS).
Thiết bị hiển thị
Thiết bị hiển thị hình ảnh đơn giản nhất là màn hình máy tính để bàn, sử dụng màn hình đồ họa 2 chiều nâng cao. Mặc dù các màn hình như vậy sẽ khơng thực tế như màn hình 3 chiều âm thanh nổi thực, cảm giác về chiều sâu có thể được tăng cường thông qua việc sử dụng các tín hiệu sâu như phối cảnh, chuyển động tương đối, tắc và phối cảnh trên không.1 Sử dụng tinh thể lỏng máy chiếu màn hình (LCD) và màn hình treo tường lớn vì màn hình cũng sẽ nâng cao cảm giác nhận thức sâu sắc (và do đó cảm giác về sự hiện diện) ở người dùng. Các thiết lập như vậy rất thuận tiện, dễ sử dụng, không cần đeo kính hoặc tai nghe có dây và cho phép cả nhà trị liệu và bệnh nhân có thể xem cùng một cảnh một cách dễ dàng. Những màn hình này đã được ưa