Nhận dạng chuyển động ứng dụng cho điều khiển máy tính

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI PHẠM VĂN LƯỢNG TÊN ĐỀ TÀI LUẬN VĂN NHẬN DẠNG CHUYỂN ĐỘNG ỨNG DỤNG CHO ĐIỀU KHIỂN MÁY TÍNH Chuyên ngành : KỸ THUẬT ĐIỆN TỬ LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT ĐIỆN TỬ NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS ĐỖ TRỌNG TUẤN Hà Nội – 2016 Luận Văn Tốt Nghiệp LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực tham khảo có dẫn chứng cụ thể Luận văn có sử dụng thư viện Matlab, thư viện STmicroelectronics, thư viện chip CC2500 Texas Instruments, thư viện USB Tilen Majerle Học viên: Phạm Văn Lượng Phạm Văn Lượng 14BKĐT Trang: CB140212 Luận Văn Tốt Nghiệp Danh mục chữ viết tắt Từ viết tắt IMU VQ DTW HMM ANN MLP DPS IC SPI UART GPIO QFN Từ gốc Inertial measurement unit Vector quantization Dynamic time warping Hidden markov model Artificial neural network Multilayer perceptron Degrees Per Second Integrated circuit (Chip) Serial Peripheral Interface Universal asynchronous receiver/transmitter General-purpose input/output Quad-flat no-leads Danh mục bảng Bảng Bảng ràng buộc chức linh kiện chip 43 Bảng 2 Bảng nguồn cấp cho linh kiện 46 Bảng Lệnh thao tác tay tương ứng 69 Bảng Định dạng khung liệu lệnh bàn phím 82 Bảng 3 Định dạng khung liệu lênh chuột 82 Bảng Các lệnh bàn phím chuột tương ứng với thao tác tay 83 Danh mục hình vẽ, đồ thị Phạm Văn Lượng 14BKĐT Trang: CB140212 Luận Văn Tốt Nghiệp Hình 1 Một thiết bị hỗ trợ trình chiếu thị tường 12 Hình Sơ đồ hệ thống nhận dạng 14 Hình Sơ đồ nhận dạng chuyển động dùng IMU 16 Hình Ảnh minh họa neuron người 17 Hình Mô hình mạng neuron nhân tạo 17 Hình Đồ thị Hard-limite 18 Hình Đồ thị Piecewise linear 19 Hình Đồ thị Sigmoid 19 Hình Đồ thị Hyperbolic tangent 20 Hình 10 Mạng neuron truyền thẳng lớp 20 Hình 11 Mạng neuron truyền thẳng nhiều lớp 21 Hình 12 Mạng neuron hồi quy lớp 22 Hình 13 Hồi quy tuyến tính Y = a1X + a2 23 Hình 14 Xấp xỉ neuron Y = f(X, a1, , an) 23 Hình 15 Mạng perceptron lớp 25 Hình 16 Đồ thị kết phép toán XOR 27 Hình 17 Thực hàm XOR mạng MLP 28 Hình 18 Lan truyền tín hiệu trình học theo phương pháp lan truyền ngược sai số 29 Hình Sơ đồ khối module 32 Hình 2 Sơ đồ khối module USB 33 Hình Sơ đồ khối chip LSD9DS0 35 Hình Kiểu dáng sơ đồ chân LSD9DS0 36 Hình Mạch nguyên lý của LSD9DS0 36 Hình Nút bấm 37 Hình Sơ đồ khối BQ24074 38 Hình Sơ đồ chân BQ24074 39 Hình Mạch nguyên lý BQ24074 39 Hình 10 LED RGB 40 Hình 11 Sơ đồ khối IC CC2500 41 Phạm Văn Lượng 14BKĐT Trang: CB140212 Luận Văn Tốt Nghiệp Hình 12 Sơ đồ chân chíp CC2500 42 Hình 13 Mạch nguyên lý chíp CC2500 42 Hình 14 Sơ đồ khối chíp STM32F401CBxx 45 Hình 15 Sơ đồ chân chíp STM32F401CBxx 46 Hình 16 Sơ đồ khối chíp TPS76933 47 Hình 17 Sơ đồ chân TPS76933 47 Hình 18 Sơ đồ khố Module chuẩn giao tiếp 48 Hình 2.19 Ý tưởng tách mạch thành phần 49 Hình 20 Nguyên lý mạch chip 50 Hình 21 Mạch nguyên lý cảm biến LSM9DS0 51 Hình 22 Mạch nguyên lý sạc pin ổn áp 3.3V 52 Hình 23 Layout mạch 53 Hình 24 Biên dạng 3D mạch 53 Hình 25 Mạch nguyên lý module usb 54 Hình 26 Layout mạch usb 55 Hình 27 Biên dạng 3D mạch usb 55 Hình 28 Nguyên lý mạch thu phát không dây 56 Hình 29 Layout mạch thu phát không dây 57 Hình 30 Biên dạng 3D mạch thu phát không dây 57 Hình 31 Khung liệu cảm biến chuyển động 58 Hình 32 Lưu đồ thuật toán huấn luyện neuron 60 Hình 33 Lưu đồ thuật toán chíp STM32F401CBU6 đọc liệu cảm biến 62 Hình 34 Lưu đồ thuật toán đọc liệu cho việc nhận dạng 63 Hình 35 Lưu đồ nhận dạng chip 64 Hình 36 Lưu đồ thuật toán mạch USB 65 Hình Các thao tác tay chọn 68 Hình Đồ thị tín hiệu động tác phất tay xuống 69 Hình 3 Đồ thị so sánh tín hiệu gốc vói tín hiệu qua lọc 70 Hình Dạng tín hiệu động tác phất tay lên 71 Hình Dạng tín hiệu động xoay tay sang phải lần 72 Phạm Văn Lượng 14BKĐT Trang: CB140212 Luận Văn Tốt Nghiệp Hình Dạng tín hiệu động tác xoay tay sang trái lần 73 Hình Dạng tín hiệu động tác xoay tay sang phải lần 74 Hình Dạng tín hiệu động tác xoay tay sang trái lần 75 Hình Dạng tín hiệu động tác đưa tay trước 76 Hình 10 Dạng tín hiệu động tác đưa tay sau 77 Hình 11 Sơ đồ khối huấn luyện mẫu với khung liệu đầu vào 606 78 Hình 12 Biểu đồ đánh giá chất lượng khâu huấn luyện với khung liệu 606 78 Hình 13 Sơ đồ khối huấn luyện mẫu với khung liệu đầu vào 120 79 Hình 14 Biểu đồ đánh giá chất lượng khâu huấn luyện với khung liệu 120 79 Hình 15 Sơ đồ khối huấn luyện mẫu với khung liệu đầu vào 120 80 Hình 16 Biểu đồ đánh giá chất lượng khâu huấn luyện với khung liệu 72 80 Hình 17 Máy tính nhận thiết bị 83 Phạm Văn Lượng 14BKĐT Trang: CB140212 Luận Văn Tốt Nghiệp Mục lục LỜI CAM ĐOAN Danh mục chữ viết tắt Danh mục bảng Danh mục hình vẽ, đồ thị LỜI MỞ ĐẦU CHƯƠNG TỔNG QUAN 12 1.1 Giới thiệu thiết bị hỗ trợ trình chiếu có thị trường 12 1.2 Thiết bị mà luận văn hướng tới 13 1.3 Lý thuyết nhận dạng 13 1.4 Giới thiệu mạng neuron 16 1.5 Mô hình mạng Neuron 17 1.5.1 Mô hình neuron 17 1.5.2 Liên kết mạng neuron nhân tạo 20 1.5.3 Khả ứng dụng mạng neuron nhân tạo nhận dạng 22 1.6 Mạng neuron lan truyền thẳng nhiều lớp 24 1.6.1 Mạng perceptron lớp 24 1.6.2 Mạng perceptron nhiều lớp 27 Kết luận chương 29 CHƯƠNG THIẾT KẾ THIẾT BỊ ĐIỀU KHIỂN MÁY TÍNH 30 2.1 Yêu cầu chức 30 2.2 Yêu cầu kỹ thuật 30 2.2.1 Yêu cầu kỹ thuật phần cứng 30 2.2.2 Yêu cầu kỹ thuật phần mềm 31 Phạm Văn Lượng 14BKĐT Trang: CB140212 Luận Văn Tốt Nghiệp 2.3 Sơ đồ khối hệ thống 32 2.4 Mạch 34 2.4.1 Mạch 34 2.4.2 Mạch USB 54 2.4.3 Mạch thu phát không dây 56 2.5 Phầm mềm 58 2.5.1 Chương trình huấn luyện 58 2.5.2 Chương trình mạch 61 2.5.3 Chương trình mạch usb 65 Kết luận chương 66 Chương KIỂM THỬ VÀ ĐÁNH GIÁ 67 3.1 Khảo sát phím thường dùng trình chiếu 67 3.2 Lựa chọn thao tác tay tương ứng với lệnh điều khiển 67 3.3 Khảo sát tín hiệu cảm biến 69 3.4 Đánh giá chất lượng nhận dạng 78 3.5 Kết nối bàn phím chuột qua chuẩn USB 82 KẾT LUẬN 84 TÀI LIỆU THAM KHẢO 85 Phạm Văn Lượng 14BKĐT Trang: CB140212 Luận Văn Tốt Nghiệp LỜI MỞ ĐẦU Ngày với phát triển khoa học kỹ thuật, đặc biệt bùng nổ công nghiệp bán dẫn tạo máy tính phục vụ nhiều lĩnh vực cho người Con người sử dụng máy tính để tăng hiệu suất công việc, kể lưu trữ, tính toán, giải trí, giảng dậy, thuyết trình… Máy tính ngày nói thiếu công việc.Tuy công việc đặc thù người ta tạo thiết bị phụ trợ dành riêng cho công việc chuột bàn phím cho game thủ, bàn vẽ WACOM cho người thiết kế đồ họa, máy đọc mã vạch cho nhân viên thu ngân remote cho người thuyết trình giảng viên sử dụng PowerPoint… Tất thiết bị phụ trợ chung mục đích nâng cao hiệu suất công việc Một thiết bị phụ trợ thân thuộc với tất người dùng máy tính biết chuột máy tính.Trước chuột máy tính đời tất việc nhập liệu thông qua bàn phím, việc điều khiển nhập liệu cho máy tính công việc không đơn giản, thật khó để mô tả điều khó khăn Sau chuột máy tính phát minh, giải phóng người với phím nhấn cứng nhắc, tương tác người máy tính thực cách trơn tru, thân thiện từ hiệu suất tăng lên Với giáo viên, người thuyết trình việc sử dụng phần mềm trình chiếu PowerPoint… thường xuyên Đối với công việc đặc thù người có thiết bị hỗ trợ remote để điều khiển việc trình chiếu Tuy nhiên remote làm hạn chế việc truyền đạt nội dung thông qua ngôn ngữ hình thể.Từ có ý tưởng làm thiết bị hỗ trợ việc trình chiếu phải gây cản trở cho việc truyền đạt ngôn ngữ hình thể Thay việc cầm remote tay đeo ngón tay, chuyển động ngón tay nhận dạng tùy vào chuyển động khác có lệnh tương ứng cho việc trình chiếu Phạm Văn Lượng 14BKĐT Trang: CB140212 Luận Văn Tốt Nghiệp Qua em gửi lời cám ơn đến PGS.TS Đỗ Trọng Tuấn hướng dẫn em suốt thời gian học tập làm luận văn Dưới hướng dẫn thầy em cung cấp nhiều phương pháp luận, sở lý thuyết, phương pháp phân tích, phương pháp tiếp cận vấn đề Quan trọng cách vận dụng lý thuyết vào thực tế Em cám ơn thầy các, cô giúp đỡ em trình học tập trường Đại Học Bách Khoa Hà Nội Em xin chân thành cám ơn! Hà Nội, Ngày… tháng… năm 2016 Học viên: Phạm Văn Lượng Phạm Văn Lượng 14BKĐT Trang: CB140212 Luận Văn Tốt Nghiệp Qua hình 3.3 nhận thấy tín hiệu khung liệu tương đối đảm bảo Ngoài tín hiệu sau qua lọc làm mượt hơn, loại bỏ tương đối thành phần nhiễu Động tác phất tay lên Hình Dạng tín hiệu động tác phất tay lên Phạm Văn Lượng 14BKĐT Trang: 71 CB140212 Luận Văn Tốt Nghiệp Động tác xoay tay sang phải lần Hình Dạng tín hiệu động xoay tay sang phải lần Phạm Văn Lượng 14BKĐT Trang: 72 CB140212 Luận Văn Tốt Nghiệp Động tác xoay tay sang trái lần Hình Dạng tín hiệu động tác xoay tay sang trái lần Phạm Văn Lượng 14BKĐT Trang: 73 CB140212 Luận Văn Tốt Nghiệp Động tác xoay tay sang phải lần Hình Dạng tín hiệu động tác xoay tay sang phải lần Phạm Văn Lượng 14BKĐT Trang: 74 CB140212 Luận Văn Tốt Nghiệp Động tác xoay tay sang trái lần Hình Dạng tín hiệu động tác xoay tay sang trái lần Phạm Văn Lượng 14BKĐT Trang: 75 CB140212 Luận Văn Tốt Nghiệp Động tác đưa tay trước Hình Dạng tín hiệu động tác đưa tay trước Phạm Văn Lượng 14BKĐT Trang: 76 CB140212 Luận Văn Tốt Nghiệp Động tác đưa tay sau Hình 10 Dạng tín hiệu động tác đưa tay sau Phạm Văn Lượng 14BKĐT Trang: 77 CB140212 Luận Văn Tốt Nghiệp 3.4 Đánh giá chất lượng nhận dạng Sau lấy mẫu huấn luyện khâu kiểm tra chất lượng nhận dạng Với 130 mẫu cho thao tác tay thu thập cho việc huấn luyện sử dụng lại vào việc kiểm tra Qua lần huấn luyện thử với loại khung liệu 606,120,72 nhận thấy số nốt mạng neuron dành cho việc nhận dạng mà chất lượng chấp nhận 30 nốt Tôi đánh giá chất lượng mạng neuron 30 nốt với lớp đầu vào, lớp ẩn, lớp đầu cho kiểu khung liệu Kiểm tra với khung liệu 606 Hình 11 Sơ đồ khối huấn luyện mẫu với khung liệu đầu vào 606 Hình 12 Biểu đồ đánh giá chất lượng khâu huấn luyện với khung liệu 606 Phạm Văn Lượng 14BKĐT Trang: 78 CB140212 Luận Văn Tốt Nghiệp Kiểm tra chất lượng với khung liệu 120 Hình 13 Sơ đồ khối huấn luyện mẫu với khung liệu đầu vào 120 Hình 14 Biểu đồ đánh giá chất lượng khâu huấn luyện với khung liệu 120 Phạm Văn Lượng 14BKĐT Trang: 79 CB140212 Luận Văn Tốt Nghiệp Kiểm tra chất lượng với khung liệu 72 Hình 15 Sơ đồ khối huấn luyện mẫu với khung liệu đầu vào 120 Hình 16 Biểu đồ đánh giá chất lượng khâu huấn luyện với khung liệu 72 Phạm Văn Lượng 14BKĐT Trang: 80 CB140212 Luận Văn Tốt Nghiệp Đánh giá Các biểu đồ đánh giá có hàng cột Những hàng cột động tác cần khảo sát bao gồm: o 1- Động tác phất tay lên o - Động tác phất tay xuống o - Động tác xoay tay sang trái lần o - Động tác xoay tay sang trái lần o - Động tác xoay tay sang phải lần o - Động tác xoay tay sang phải lần o - Động tác đưa tay trước o - Động tác đưa tay sau Các ô xanh động tác nhận dạng đúng, thông số bên số mẫu nhận đúng, thông số phần trăm đưới thể phần trăm tổng số mẫu kiểm tra nhận Các ô đỏ động tác nhận dạng sai, thông số bên số mẫu nhận sai, thông số phần trăm thể phần trăm tổng số mẫu kiểm tra nhận sai Các ô màu xám cột ô tỉ lệ phần trăm nhận nhận sai Chữ số phần trăm màu xanh phía động tác nhận đúng, chữ số phần trăm phía động tác bị nhận sai sang động tác khác Các ô màu xám bên phải hàng ô tỉ lệ phần trăm nhận nhầm Chữ số phần trăm màu xanh phía động tác không bị nhận nhầm động tác khác, chữ số phần trăm màu đỏ phía động tác bị nhận nhầm động tác khác Qua biểu đồ đánh giá hình 3.12, hình 3.14, hình 3.16 thấy tỉ lệ nhận cao Vì chọn khung liệu 72 phần tử cho việc thực nhận dạng chíp vi điều khiển Phạm Văn Lượng 14BKĐT Trang: 81 CB140212 Luận Văn Tốt Nghiệp 3.5 Kết nối bàn phím chuột qua chuẩn USB Với kết nối USB sử dụng thư viện Tilen Majerle, thư viện cung cấp đồng thời chuẩn kết nối bàn phím chuột Các lệnh bàn phím chuột thực hai định dạng liệu khác mô tả theo bảng Bit Bit Bit BYTE BYTE BYTE BYTE BYTE BYTE BYTE BYTE BYTE Bit Bit Bit Bit Bit Bên trái ALT Bên trái SHIFT Bên trái CTRL ID bàn phím = 0x01 Bên phải Bên phải Bên phải Bên phải GUI ALT SHIFT CTRL Bên trái GUI Không dùng để 0x00 Phím Phím Phím Phím Phím Phím Bảng Định dạng khung liệu lệnh bàn phím Bit BYTE Bit Bit Bit Bit Bit Bit Phím chuột Phím chuột phải Phím chuột trái ID chuột = 0x02 BYTE BYTE BYTE BYTE Bit Chuyển động chuột theo trục X Chuyển động chuột theo trục Y Chuyển động bánh xe cuộn chuột Bảng 3 Định dạng khung liệu lênh chuột Như trình bày thiết bị thực thi lệnh có lệnh bàn phím, lệnh chuột Phạm Văn Lượng 14BKĐT Trang: 82 CB140212 Luận Văn Tốt Nghiệp STT Phím chức Thao tác tay Dạng thiết bị Byte lệnh thực thi Mã lệnh Phím tiến Phất tay xuống Bàn phím BYTE 80 Phím lùi Phất tay lên Bàn phím BYTE 79 Phím chuột trái Xoay tay sang trái lần Chuột BYTE 1 Phím chuột phải Xoay tay sang phải lần Chuột BYTE Phím ESC Xoay tay sang trái lần Bàn phím BYTE 41 Phím F5 Xoay tay sang phải lần Bàn phím BYTE 62 Cuộn chuột tiến Đưa tay trước Chuột BYTE Cuộn chuột lùi Đưa tay sau Chuột BYTE -1 Bảng Các lệnh bàn phím chuột tương ứng với thao tác tay Hình 17 Máy tính nhận thiết bị Khi cắm thiết bị usb đề tài vào máy tính máy tính tự đông nhận thiết bị thành chuột bàn phím với chuẩn usb hid thể hình 3.17 Phạm Văn Lượng 14BKĐT Trang: 83 CB140212 Luận Văn Tốt Nghiệp Hình 18 Sản phầm thực tế Hình 3.18 kết sản phẩm thực tế kết trải qua bước từ phân tích ý tưởng, phân tích chức năng, đưa phương pháp thiết kế thực thi từ phần mềm đến phần cứng KẾT LUẬN Qua trình chạy thử nghiệm thiết bị đề tài cho thấy thiết bị đáp ứng tốt chức đặt Tuy nhiên có số hạn chế  Các lệnh có độ trễ tương đối lớn  Những động tác lệnh không bị ép thành tám lệnh dậy Phương pháp phát triển  Giảm trễ cách rút ngắn thời gian lấy mẫu động tác  Huấn luyện mạng neuron với nhiều mẫu nhằm tăng số lệnh thực tăng độ xác lệnh  Chọn chip không dây thiết kế mạch nhằm tăng khoảng cách giao tiếp thiết bị máy tính  Phát triển thiết bị điều nhiều thiết bị khác máy tính, điện thoại, đồ chơi, đồ dùng dân dụng… Phạm Văn Lượng 14BKĐT Trang: 84 CB140212 Luận Văn Tốt Nghiệp TÀI LIỆU THAM KHẢO [1].Chin-Teng Lin, C.S George Lee (1996), Neural fuzzy systems: a neurofuzzy synergism to intelligent systems, Prentice-Hall Inc [2] Datasheet LSM9DS0 STMicroelectronics www.st.com/resource/en/datasheet/lsm9ds0.pdf [3] Datasheet BQ24074 Texas Instruments http://www.ti.com/lit/ds/slus810k/slus810k.pdf [4] Datasheet CC2500 Texas Instruments www.ti.com/lit/ds/symlink/cc2500.pdf [5] Datasheet STM32F401CBU6 STMicroelectronics http://www.st.com/resource/en/datasheet/stm32f401cb.pdf [6] Datasheet TPS76933 Texas Instruments http://www.ti.com/lit/ds/slvs203e/slvs203e.pdf [7]D.E Rumelhart; G.E Hinton and R.J Williams (1986), Learning internal representations by error propagation, Rumelhart, D.E et al (eds.): Parallel distributed processing: Explorations in the microstructure of cognition (Cambridge MA.: MIT Press), 318-362 Phạm Văn Lượng 14BKĐT Trang: 85 CB140212 ... cứu, Ngoài ứng dụng kể ứng dụng khác sử dụng điện thoại, máy bay không người lái, tay cầm chơi game, điều khiển tv Với tôi, muốn ứng dụng công nghệ nhận dạng chuyển động mẻ vào việc điều khiển trình... chuyển động ngón tay Phạm vi nghiên cứu luận văn thiết kế mạch, đưa phương pháp nhận dạng chuyển động phù hợp với sensor theo dõi chuyển động ngón tay Từ đưa lệnh điều khiển máy tính ứng dụng cho. .. hình thể để điều khiển, hỗ trợ trình chiếu Qua kiến thức tích lỹ trình học tập công việc nhận thấy lý thuyết nhận dạng phù hợp cho việc nhận dạng chuyển động dùng để lệnh điều khiển máy tính hỗ trợ