BÁO CÁO HỆ THỐNG CƠ ĐIỆN TỬ THÔNG MINH Đề tài: Control the robot hand with brain waves using machine learning algorithm + Part of chapter 10 Modeling and Control of Space Robots

BÁO CÁO HỆ THỐNG CƠ ĐIỆN TỬ THÔNG MINH Đề tài: Control the robot hand with brain waves using machine learning algorithm + Part of chapter 10 Modeling and Control of Space Robots HƯƠNG 1. TỔNG QUAN Nội dung chính • Xu hướng phát triển về robot phục vụ cho người khuyết tật • Vấn đề đặt ra cho robot điều khiển bằng sóng não • Mục tiêu của đề tài 1.1 Xu hướng phát triển về robot phục vụ cho người tàn tật Ngày nay tốc độ phát triển công nghệ thay đổi chóng mặt. Các thiết bị thông minh như điện thoại, ô tô hiện đại, máy công nghiệp tự động…. phát triển rất mạnh mẽ. Một trong những lĩnh vực cũng được quan tâm rất lớn đó là robot hiện đại thay thế con người trong môi trường là việc như robot lắp ráp, robot cứu hỏa, robot thám hiểm không trung, dưới nước… nhưng đặc biệt cũng phải kể đến robot phục vụ cho người tàn tật một lĩnh vực được quan tâm rất mạnh trong những năm gần đây. Các robot phục vụ cho người tàn tật đã được đưa vào sản xuất và phục vụ cho người tàn tật như robot xe lăn, khung xương robot để hỗ chợ người tàn tật, cánh tay robot giả điều khiển bằng các cảm biến từ cơ ở bắp tay

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CƠ KHÍ BÁO CÁO HỆ THỐNG CƠ ĐIỆN TỬ THÔNG MINH Đề tài: Control the robot hand with brain waves using machine learning algorithm + Part of chapter 10 Modeling and Control of Space Robots Hoàng Thế Nam Nam.HT202908M@sis.hust.edu.vn Ngành Cơ Điện Tử Chuyên ngành Cơ Điện Tử Thông Minh Giảng viên hướng dẫn: MSHV : TS Hoàng Hồng Hải 20202908M HÀ NỘI, 1/2021 Chữ ký GVHD MỤC LỤC CHƯƠNG TỔNG QUAN 1.1 Xu hướng phát triển robot phục vụ cho người tàn tật 1.2 Vấn đề đặt cho việc điều khiển robot sóng não 1.3 Mục tiêu đề tài CHƯƠNG TÍNH TỐN, THIẾT KẾ KẾT CẤU CƠ KHÍ 2.1 Tổng quan mơ hình động học robot Hệ tọa độ quỹ đạo Phương trình động học Robot Chuyển động Robot 10 Động lực học Robot 14 2.2 Tìm hiểu chân, tay nhân tạo 17 2.3 Thiết kế chế tạo lắp ráp sản phẩm 18 2.3.1 Thiết kế khí 18 2.3.2 Quá trình thiết kế 19 2.4 Tính tốn khả làm việc 22 CHƯƠNG TÍNH TỐN THIẾT KẾ HỆ THÔNG ĐIỀU KHIỂN 26 3.1 Xây dựng sơ đồ khối hệ thống thu nhận tín hiệu sóng não sử dụng tín hiệu sóng não điều khiển cấu chấp hành 26 Thiết bị đo sóng não lấy tín hiệu từ sóng não 27 Module thu nhận tín hiệu sóng não 31 Vi xử lý trung tâm 31 Module điều khiển dộng 32 Nguồn cho mạch vi điều khiển với yêu cầu cấp nguồn 5v 12v cho hệ thống động với công suất 6w 33 Mạch nạp code cho vi điều khiển thông qua cổng USB 34 Module điều khiển động 35 Module bluetooth Atmega 328pu 35 3.2 Sơ đồ nguyên lý 36 CHƯƠNG XỬ LÝ TÍN HIỆU SĨNG NÃO BẰNG CÁC THUẬT TỐN DEEP LEARNING 37 4.1 Tổng quan 37 4.2 Dataset 37 4.3 Giới thiệu mạng thần kinh tích chập mạng thần kinh hồi quy 38 Mạng thần kinh tích chập 38 Mạng thần kinh hồi quy 39 4.4 Xử lí tín hiệu sóng não phát chuyển động nắm nâng tay 40 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 44 5.1 Kết luận: 44 5.2 Hướng phát triển 44 DANH MỤC TÀI LIỆU THAM KHẢO 45 CHƯƠNG TỔNG QUAN Nội dung • Xu hướng phát triển robot phục vụ cho người khuyết tật • Vấn đề đặt cho robot điều khiển sóng não • Mục tiêu đề tài 1.1 Xu hướng phát triển robot phục vụ cho người tàn tật Ngày tốc độ phát triển cơng nghệ thay đổi chóng mặt Các thiết bị thông minh điện thoại, ô tô đại, máy công nghiệp tự động… phát triển mạnh mẽ Một lĩnh vực quan tâm lớn robot đại thay người môi trường việc robot lắp ráp, robot cứu hỏa, robot thám hiểm không trung, nước… đặc biệt phải kể đến robot phục vụ cho người tàn tật lĩnh vực quan tâm mạnh năm gần Các robot phục vụ cho người tàn tật đưa vào sản xuất phục vụ cho người tàn tật robot xe lăn, khung xương robot để hỗ chợ người tàn tật, cánh tay robot giả điều khiển cảm biến từ bắp tay Hình 1.1 Khung xương robot cho người khuyết tật phẩm công nghệ cao [7] Hình 1.2 Khung xương trợ lực lại giúp người khuyết tật [7] Vài năm trở lại bước đột phá lĩnh vực robot cho người tàn tật điều khiển sóng não giúp người phá vỡ giói hạn thể sớm khai phá nhiều chân trời công nghệ văn minh Năm 2018 nhóm nghiên cứu đại học Johns Hopkins đá sản xuất thành công cánh tay giả điều khiển sóng não Cánh tay với cấu tạo 26 khớp có 17 khớp cầm nắm giúp người khuyết tật nhiều Hình 1.3 Matheny người đàn ơng giới sử dụng cánh tay giả điều khiển sóng não [8] 1.2 Vấn đề đặt cho việc điều khiển robot sóng não Vấn đề đặt cho việc điều khiển robot sóng não xác thiết bị đọc sóng não Việc đọc xác sóng não khơng giúp điều khiển xác mong muốn mà cịn đem đến an tồn cho người dùng Vấn đề viêc lấy tín hiệu sóng não người để phân tích hoạt động việc khó phải nghiên cứu chuyên xâu Mất nhiều thời gian, việc điều khiển robot không đồng với người người có số sóng não khác Xun suốt q trình nghiên cứu người thực hành khó bị thay Do việc sản xuất hàng loạt chưa có Các nhà khoa học giới tiếp tục nghiên cứu tương lai đưa thị trường 1.3 Mục tiêu đề tài Mục tiêu đề tài thiết kế cánh tay với cử động linh hoạt giống với cử động người, đồng thời thiết kế nhỏ gọn mặt hình thức Tiếp xây dựng thư viện sóng não cử ngón tay để lập trình điều khiển ngón tay làm phiên demo cánh tay cầm nắm vật nhỏ chai nước bút… CHƯƠNG TÍNH TỐN, THIẾT KẾ KẾT CẤU CƠ KHÍ 2.1 Tổng quan mơ hình động học robot Hệ tọa độ quỹ đạo • Hệ trục tọa độ Trong hình học, hệ tọa độ hệ thống sử dụng nhiều số, tọa độ, để xác định vị trí điểm phần tử hình học khác dãy số không gian Euclide Các tọa độ xem số thực số phức Việc sử dụng hệ tọa độ cho phép vấn đề hình học chuyển thành vấn đề số ngược lại Hệ tọa độ xác định mặt phẳng không gian theo trục từ điểm cố định gọi gốc tọa độ (Origin) Mục tiêu vị trí robot đặt phép đo dọc theo trục hệ thống trục tọa độ Robot sử dụng nhiều loại hệ trục tọa độ, loại thích hợp cho loại lập trình cụ thể Có thể liệt kê vài loại sau Hệ tọa độ (The base coordinate system): Được đặt gốc robot Đây cách dễ để di chuyển robot từ vị trí sang vị trí khác Hình 2.1 : Cách xác định hệ trục tọa độ Hệ tọa độ có điểm Zero gốc robot, làm cho chuyển động dự đốn robot cố định Do hữu ích cho việc di chuyển robot từ vị trí sang vị trí khác Khi đứng trước robot di chuyển hệ tọa độ bản, hệ thống robot cấu hình bình thường, kéo cần điều khiển hướng phía người dùng (user) di chuyển robot dọc theo trục X, di chuyển cần điều khiển sang hai bên di chuyển robot dọc theo Trục Y xoay cần điều khiển di chuyển robot dọc theo trục Z Qui tắc bàn tay phải (dùng xác định phương, chiều trục x, y, z) Dùng bàn tay phải nắm ngón út áp út lại, cịn ngón: ngón cái, ngón trỏ ngón xịe cho vng góc cặp với Khi ngón phương chiều trục Z ngón trỏ phương, chiều trục X, ngón phương chiều trục Y Hệ tọa độ đối tượg công việc (work object coordinate system) Hệ tọa độ công cụ (The tool coordinate system) Hệ tọa độ World (The world coordinate system) Hệ tọa độ người dùng (The user coordinate system) Hệ tọa độ chuyển vị (The displacement coordinate system) Quỹ đạo Quỹ đạo vấn đề chung điều khiển robot, để hồn thành nhiệm vụ • cụ thể trước hết phần công tác phải di chuyển theo quỹ đạo xác định Nói cách khác, quỹ đạo yếu tố để mô tả hoạt động robot Việc thiết kế quỹ đạo cung cấp liệu đầu vào cho hệ thống điều khiển nên sở trực tiếp cho việc điều khiển robot nhân tố quan trọng việc thiết kế chi tiết khí robot Thuật ngữ quỹ đạo chuyển động hay gọi tắt quỹ đạo gồm đồ thị hình dáng đường dịch chuyển thời gian thực chuyển động vận tốc, gia tốc Vì toán thiết kế quỹ đạo liên quan đến vấn đề động học động lực học Các yếu tố đầu vào toán bao gồm đường dịch chuyển điều kiện ràng buộc động học động lực học - Các yếu tố đầu quỹ đạo phần cơng tác Nói chung, mơ tả xác đường dịch chuyển khó khăn Người ta giảm bớt tham số cách quy định điểm biên vùng hoạt động, thêm điểm trung gian mà đường phải qua, sau xấp xỉ (nội suy) đường đơn giản tương tự vậy, yếu tố thời gian quỹ đạo xác định cho điểm mà thường quy định cho đoạn đường Chúng thường quy định giá trị giới hạn vận tốc cho phép, hay gia tốc cho phép, gán giá trị mặc định Thuật toán thiết kế quỹ đạo không gian khớp yêu cầu: - - Không địi hỏi tính tốn q nhiều; Vị trí, vận tốc, gia tốc khớp phải biểu diễn hàm liên tục; - - Giảm thiểu hiệu ứng bất lợi, ví dụ quỹ đạo không trơn Dạng đơn giản quỹ đạo chuyển động điểm - điểm, thêm điểm trung gian quỹ đạo có dạng chuyển động theo đường Chuyển động điểm- điểm: Sử dụng cho số loại robot robot hàn điểm, tán đinh, xếp dỡ vật liệu, dạng chuyển động này, người ta quan tâm đến tọa độ điểm đầu, điểm cuối đường dịch chuyển thời gian chuyển động điểm khơng quan tâm đến dạng hình học đường dịch chuyển - Chuyển động theo đường: Trong nhiều hoạt động hàn hồ quang, sơn, xếp dỡ vật liệu khơng gian có nhiều chướng ngại vật, robot cần điều khiển theo đường Khi số lượng điểm đường lớn hai Đó không điểm phải qua đơn mà phải khống chế vận tốc gia tốc để đáp ứng yêu cầu công nghệ Các điểm gọi điểm chốt, số lượng điểm nhiều hay tùy thuộc yêu cầu độ xác quỹ đạo Phương trình động học Robot Phương trình động học Robot phương trình ứng với tốn động học vị trí thuận nghịch Bài tốn động học vị trí thuận: dùng để xác định vị trí hướng dụng cụ biết vị trí góc khớp (1, 2, 3, 4, 5, 6 ….) → (x, y, z, , , …) (2.1) Bài toán động học vị trí ngược: ngược với tốn thuận nghĩa dùng để xác định vị trí góc khớp biết vị trí hướng dụng cụ (x, y, z, , , …)→(1, 2, 3, 4, 5, 6….) (2.2) Đối với robot có khâu liên kết với thông qua khớp động (khớp quay khớp tịnh tiến) Nếu khâu gắn với hệ trục tọa độ, sử dụng phép biến đổi mơ tả vị trí tương đối hướng hệ toạ độ Hình 2.2: Hệ trục tọa độ cho khâu robot Pum Trong đó: - A1 ma trận mơ tả hướng vị trí hệ toạ độ gắn khâu thứ so với hệ toạ độ gốc - A2 ma trận mô tả mối quan hệ hướng vị trí hệ tọa độ thứ hai so với hệ tọa độ gắn khâu thứ - Tích ma trận A ma trận T = A1.A2 (Theo Denavit) Nếu Robot có khâu thì: T6=A1A2A3 A4A5A6 (2.3) T6 gọi ma trận vector cuối, mơ tả hướng vị trí hệ toạ độ gắn lên khâu chấp hành cuối so với hệ toạ độ gốc Nếu Robot có số bậc tự w>3 bậc tự dùng để định vị, bậc tự lại dùng để định hướng Hệ toạ độ biểu diễn khâu chấp hành cuối (điểm tác động cuối) Trong đó: Bộ thông số Denavit-Hartenberg.(D-H) Một Robot gồm nhiều khâu cấu thành từ khâu nối tiếp thông qua khớp động Gốc chuẩn Robot là khâu số khơng tính vào số khâu Khâu nối với khâu chuẩn khớp 1, khớp đầu mút khâu cuối Bất kỳ khâu đặc trưng hai yếu tố : - Độ dài pháp tuyến chung an - Góc trục khớp đo mặt phẳng vg góc với an :ký hiệu n Hình 2.3: Chiều dài góc xoắn khâu n Trong đó: - n : Góc xoắn khâu n (Khớp n so với khớp (n+1)) - an : Chiều dài khâu n ( Khớp n so với khớp (n+1)) Khoảng cách hai khâu góc quay hai khâu Khảo sát quan hệ khâu liền kề nhau, thường hai khâu liên kết trục khớp Module thu nhận tín hiệu sóng não Hình 3.8 Sơ đồ nguyên lý HC05 Chức chân: • Các chân VCC GND chân nguồn • RX TX nhận gửi giữ liệu sử lý trung tâm • Chân STATE chân trạng thái • EN chân để chọn hai chế độ AT Mode DATA Mode Vi xử lý trung tâm Hình 3.9 Atmega 328p Tên Cấu trúc Xung nhịp lớn Bộ nhớ chương trình Bộ nhớ EEPROM Giá trị AVR 8bit 20Mhz 32KB 1KB 31 2KB Bộ nhớ RAM 1.8-5.5V Điện áp hoạt động timer 8bit timer 16bit Số timer kênh Số kênh Bảng Các thông số Atmega 328p Module điều khiển dộng Hình 3.10 Sơ đồ nguyên lý module PCA9685 Tên Điện áp Tần số xung PWM Độ phân giải Giao tiếp Địa Điện trở ngõ Thông số 5V 1.6KHz 12Bit I2C chân Push-Pull Open-Drain Bảng Các thông số module PCA9685 32 Nguồn cho mạch vi điều khiển với yêu cầu cấp nguồn 5v 12v cho hệ thống động với cơng suất 6w 6v Hình 3.11 Nguồn cấp điện cho động Hình 3.12 Nguồn USB 33 Mạch nạp code cho vi điều khiển thông qua cổng USB Hình 3.13 Cầu chuyển đổi USB sang UART Hình 3.14 Cách thức giao tiếp rx-tx Hình 3.15 Dãy bit 01 truyền thơng nối tiếp 34 Hình 3.16 Sơ đồ dây chíp CH340 Atmega Module điều khiển động Hình 3.17 Module PCA9685 động Module bluetooth Atmega 328pu Hình 3.18 Module bluetooth hc05 Atmega 328pu 35 3.2 Sơ đồ nguyên lý Sau thiết kế xong khối điều khiển trung tâm, cấu chấp hành, khối tín hiệu vào sơ đồ nguyên lý hệ thống điều khiển Hình 3.19 Sơ đồ nguyên lý mạch điều khiển 36 CHƯƠNG XỬ LÝ TÍN HIỆU SĨNG NÃO BẰNG CÁC THUẬT TOÁN DEEP LEARNING 4.1 Tổng quan Hãy nhớ lại buổi sáng hôm nay: tắt báo thức, mặc quần áo, đánh răng, pha cà phê, uống cà phê khóa cửa bạn làm Bây tưởng tượng làm lại tất việc mà khơng cần dùng tay Những bệnh nhân bị chức tay cắt cụt khuyết tật thần kinh thức dậy với thực tế hàng ngày Khôi phục khả thực hoạt động bệnh nhân sống hàng ngày thiết bị giả giao diện nãomáy tính (BCI) làm tăng đáng kể tính độc lập chất lượng sống họ Hiện tại, khơng có lựa chọn thực tế, giá phải rủi ro cho bệnh nhân bị thiểu thần kinh để điều khiển trực tiếp phận giả bên hoạt động não họ Hình 4.1 Tín hiệu sóng não người hoạt động Được ghi lại từ da đầu người, tín hiệu điện não đồ gợi lên hoạt động não Mối quan hệ hoạt động não tín hiệu điện não đồ phức tạp hiểu rõ ngồi xét nghiệm cụ thể phịng thí nghiệm Việc cung cấp thiết bị BCI không xâm lấn, rủi ro thấp, giá phải phụ thuộc vào tiến việc giải thích tín hiệu điện não đồ Việc xác định bàn tay nắm, nâng thay đối tượng cách sử dụng liệu điện não đồ lấy từ đối tượng khỏe mạnh họ thực hoạt động Hiểu rõ mối quan hệ tín hiệu điện não đồ chuyển động tay quan trọng để phát triển thiết bị BCI cung cấp cho bệnh nhân khuyết tật thần kinh khả di chuyển khắp giới với tự chủ cao 4.2 Dataset Tập Dataset [11] hứa ghi điện não đồ đối tượng thực thử nghiệm nắm nâng (GAL) Đối với GAL, bạn có nhiệm vụ phát kiện: HandStart 37 FirstDigitTouch BothStartLoadPhase LiftOff Replace BothReleased Những kiện xảy theo thứ tự Trong tập huấn luyện, có hai tệp cho chủ đề + tổ hợp chuỗi: • tệp * _data.csv chứa liệu EEG 32 kênh thô (tốc độ lấy mẫu 500Hz) • tệp * _events.csv chứa nhãn thông minh khung thật cho tất kiện (1: hoạt động; 0: không hoạt động) Các tệp kiện cho thử nghiệm không cung cấp phải dự đoán Mỗi khung thời gian cung cấp cột id theo chủ đề, chuỗi khung mà thuộc Sáu cột nhãn một, tùy thuộc vào việc liệu kiện tương ứng có xảy ± 150ms (± 75frame) hay không Các cột tệp liệu dán nhãn theo kênh điện cực liên quan chúng Bạn sử dụng mối quan hệ khơng gian vị trí điện cực, thể sơ đồ sau: Hình 4.2 32 kênh điện cực 4.3 Giới thiệu mạng thần kinh tích chập mạng thần kinh hồi quy Mạng thần kinh tích chập Trong học sâu, mạng thần kinh tích chập (cịn gọi mạng nơ-ron tích chập hay phổ biến mạng thần kinh/nơ-ron chuyển đổi, tiếng Anh: convolutional neural network, viết tắt CNN hay ConvNet) lớp mạng thần kinh sâu (deep neural network), áp dụng phổ biến để phân tích hình ảnh trực quan 38 Mạng gọi shift invariant (dịch chuyển bất biến) hay mạng thần kinh nhân tạo không gian bất biến (SIANN), dựa kiến trúc trọng số chia sẻ đặc tính đối xứng tịnh tiến (translational symmetry) CNN có nhiều ứng dụng thị giác máy tính, hệ thống gợi ý, phân loại hình ảnh, tính tốn hình ảnh y tế (điện tốn hình ảnh y tế), xử lý ngơn ngữ tự nhiên chuỗi thời gian tài Hình 4.3 Luồng CNN để xử lý hình ảnh đầu vào phân loại đối tượng dựa giá trị Mạng thần kinh hồi quy Mạng thần kinh hồi quy (hay gọi mạng thần kinh/nơ-ron tái phát, mạng thần kinh tái phát, tiếng Anh: recurrent neural network, viết tắt RNN) lớp mạng thần kinh nhân tạo, nơi kết nối nút để tạo thành đồ thị có hướng dọc theo trình tự thời gian Điều cho phép mạng thể hành vi động tạm thời Có nguồn gốc từ mạng thần kinh truyền thẳng, RNN dùng trạng thái (bộ nhớ) để xử lý chuỗi đầu vào có độ dài thay đổi Điều làm cho RNN áp dụng cho tác vụ nhận dạng chữ viết tay (handwriting recognition) hay nhận dạng tiếng nói có tính chất kết nối, khơng phân đoạn Hình 4.4 Recurrent Neural Networks have loops Hình vẽ mơ tả đoạn mạng nơ-ron hồi quy A với đầu vào xt đầu ht Một vòng lặp cho phép thơng tin truyền từ bước qua bước qua bước khác mạng nơ-ron 39 Bộ nhớ dài-ngắn hạn (tiếng Anh: Long short-term memory, viết tắt LSTM) mạng thần kinh hồi quy (RNN) nhân tạo sử dụng lĩnh vực học sâu Không giống mạng thần kinh truyền thẳng (FNN) tiêu chuẩn, LSTM có chứa kết nối phản hồi Mạng không xử lý điểm liệu đơn lẻ (như hình ảnh), mà cịn xử lý tồn chuỗi liệu (chẳng hạn lời nói video) Ví dụ, LSTM áp dụng cho tác vụ nhận dạng chữ viết tay, nhận dạng tiếng nói phát bất thường có tính chất kết nối, không phân đoạn giao thông mạng IDS (hệ thống phát xâm nhập) Một đơn vị LSTM thông thường bao gồm tế bào (cell), cổng vào (input gate), cổng (output gate) cổng quên (forget gate) Tế bào ghi nhớ giá trị khoảng thời gian bất ý ba cổng điều chỉnh luồng thông tin ra/vào tế bào Hình 4.5 The repeating module in an LSTM contains four interacting layers 4.4 Xử lí tín hiệu sóng não phát chuyển động nắm nâng tay Bước 1: Gải nén tập train tập test dataset Bước 2: Wavelet Denoising Wavelets localize đặc trưng liệu theo tỷ lệ khác Bạn giữ lại đặc trưng tín hiệu hình ảnh quan trọng loại bỏ nhiễu Ý tưởng đằng sau việc làm biến đổi wavelet, ngưỡng wavelet, biến đổi wavelet dẫn đến biểu diễn thưa thớt cho nhiều tín hiệu hình ảnh giới thực Điều có nghĩa biến đổi wavelet tập trung đặc trưng tín hiệu hình ảnh vài hệ số wavelet có độ lớn lớn Các hệ số Wavelet có giá trị nhỏ thường bị nhiễu bạn "thu nhỏ" hệ số 40 loại bỏ chúng mà khơng ảnh hưởng đến chất lượng tín hiệu hình ảnh Sau bạn ngưỡng hệ số, bạn cấu trúc lại liệu cách sử dụng biến đổi wavelet ngược Đây kết qua sử dụng hàm Wavelet Denoising để lọc nhiễu Hình 4.6 Biến đổi wavelet rời rạc để lọc nhiễu Tiếp đến gán label cho cử tay hoạt động tập event Hình 4.7 Số lượng sample gắn nhãn hoạt động Vậy xong bước tiền xử lí bao gồm đọc liệu, lọc nhiễu, trích chọn đặc trưng gán nhãn cho cử tay 41 Bước 3: Sử dụng mạng thần kinh tích chập (CNN) Hình 4.8 Model CNN Độ xác mơ hình là: 0.9711% Hình 4.9 Độ xác model CNN Sau ta tiến hành test model cách thử nghiệm với liệu tập dataset test.zip (Chỉ kiểm tra điểm mà kiện hoạt động) => Accuracy = 0.7966666551530361% 42 Bước 4: Sử dụng mạng thần kinh hồi quy nhớ dài-ngắn hạn (LSTM) Hình 4.10 Model LSTM Độ xác mơ hình là: 0.9560% Hình 4.11 Độ xác model LSTM Sau ta tiến hành test model cách thử nghiệm với liệu tập dataset test.zip (Chỉ kiểm tra điểm mà kiện hoạt động) => Accuracy = 0.7% Nhận xét: Việc xử dụng model CNN toán dataset mang lại độ xác cao so với việc sử dụng model LSTM 43 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận: Kết đạt được: Mơ hình cánh tay nhóm lắp ráp điều khiển sóng não Hiện nhóm tiến hành thực nghiệm với thiết bị tai nghe Kết ban đầu thu dạng tín hiệu sóng não với trạng thái khác não bộ, điều khiển bàn tay từ tín hiệu sóng thu Tuy nhiên, khó khăn đề tài việc thực nghiệm (luyện tập với thiết bị tai nghe) cần tiến hành thời gian dài đưa liệu xác ổn định 5.2 Hướng phát triển Mục tiêu phát triển đề tài dùng ứng dụng thông minh vào cánh tay robot trí tuệ nhân tạo AI để phân tích xử lí tín hiệu sóng não, với kết hợp với xử lý ảnh Phát triển cánh tay hoàn thiện nhỏ gọn có chức cử động giống với tay người Đưa thư viện sóng não chuẩn để người khuyết tật sử dụng sản phẩm Việc sử dụng xử lý ảnh cánh tay thông qua camera để nhận diện vật đầu vào nhận diện lập trình sẵn Sau trình nhận diện vật thể ứng dụng trí tuệ nhân tạo đưa định thay người việc điều khiển cấu chấp hành đưa lực cụ thể loại đồ vật định Như lực tác động lên chai nước khác với lực tác động lên bút…việc ứng dụng hai công nghệ vào thay cho cảm giác thần kinh khác người khuyết tật sử dụng thiết bị Thời gian tới tiếp tục nghiên cứu đề tài với hi vọng phát triển sản phẩm hoàn thiện để thương mai hóa Việc đọc sóng não cần tìm hiểu cách kĩ lưỡng thiết bị tốt việc đọc sóng não quan trọng Nếu đọc sai gây nguy hiểm cho người sử dụng 44 DANH MỤC TÀI LIỆU THAM KHẢO [1] S.G Mason, G.E Birch, “A general framework for brain-computer interface design”, IEEE Transactions on Neural Systems and Rehabilitation Engineering, Volume: 11, Issue: 1, Page(s): 70 - 85 (2003) [2] Krucoff, Max O.; Rahimpour, Shervin; Slutzky, Marc W.; Edgerton, V Reggie; Turner, Dennis A (1 January 2016) "Enhancing Nervous System Recovery through Neurobiologics, Neural Interface Training, and Neurorehabilitation" Frontiers in Neuroscience 10: 584 doi:10.3389/fnins.2016.00584 PMC 5186786 PMID 28082858 [3] Warwick, K, Gasson, M, Hutt, B, Goodhew, I, Kyberd, P, Schulzrinne, H and Wu, X: "Thought Communication and Control: A First Step using Radiotelegraphy", IEE Proceedings on Communications, 151(3), pp.185–189, 2004 [4] Yanagisawa, Takafumi (2011) "Electrocorticographic Control of Prosthetic Arm in Paralyzed Patients" American Neurological Association doi:10.1002/ana.22613 ECoG- Based BCI has advantage in signal and durability that are absolutely necessary for clinical application [5] https://www.sparkfun.com/products/14758 [6] https://tailieumienphi.vn/doc/giao-trinh-proteus-7-thiet-kea-mo-phong-machdien-tu-l47ttq.html [7]https://www.ancungnguu.com/blog-xe-lan/su-dung-khung-xuongrobotcho-nguoi-khuyet-tat-nguoi-bi-liet [8]https://www.vietkhampha.com/nguoi-dan-ong-dau-tien-tren-the-gioi-songvoi-canh-tay-robot-dieu-khien-bang-tri-nao-36985.html [9] http://caodanglongan.edu.vn/trong-tuong-lai-lai-xe-se-khong-can-den-tay-lainua-ma-dung-song-nao/ [10]https://mentalhealthdaily.com/2014/04/15/5-types-of-brain-wavesfrequencies-gamma-beta-alpha-theta-delta/ [11] https://www.kaggle.com/c/grasp-and-lift-eeg-detection/data [12] Rochdi Merzouki, Arun Kumar Samantaray, Pushparaj Mani Pathak, Belkacem Ould Bouamama: " Inteligent mechatronics system book”" 45