ĐỀ tài NCKH lập trình thi công và phát triển robot nhện iot (internet of thing)

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN LẬP TRÌNH THI CÔNG VÀ PHÁT TRIỂN ROBOT NHỆN IoT (Internet of Thing) MÃ SỐ: SV2020-159 SKC007382 Tp Hồ Chí Minh, tháng 07/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN LẬP TRÌNH THI CƠNG VÀ PHÁT TRIỂN ROBOT NHỆN IoT (Internet of Thing) SV2020 - 159 Chủ nhiệm đề tài: Nguyễn Quốc Thành TP Hồ Chí Minh, 07/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN LẬP TRÌNH THI CƠNG VÀ PHÁT TRIỂN ROBOT NHỆN IoT (Internet of Thing) SV2020 - 159 Thuộc nhóm ngành khoa học: Công nghệ kỹ thuật điều khiển tự động hoá SV thực hiện: SV thực hiện: SV thực hiện: SV thực hiện: Dân tộc: Lớp, khoa: Đào tạo chất lượng cao Ngành học: Công nghệ kỹ thuật điều khiển tự động hoá Chủ nhiệm đề tài: Nguyễn Quốc Thành Người hướng dẫn: TS Lê Mỹ Hà TP Hồ Chí Minh, 07/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: Lập trình, thi cơng phát triển Robot nhện IoT ( Internet of thing) - Chủ nhiệm đề tài: Nguyễn Quốc Thành Mã số SV:16151083 - Lớp: 16151CL1 Khoa: Đào tạo chất lượng cao - Thành viên đề tài: Stt Họ tên Nguyễn Quốc Thành Nguyễn Nhật Nam Trần Khả Anh Tùng Nguyễn Việt Long - Người hướng dẫn: TS Lê Mỹ Hà Mục tiêu đề tài: Trong thời đại công nghiệp hóa nói chung lĩnh vực quân nói riêng có nhiều việc độc hại nguy hiểm cho người Vì robot dần trở thành vật thay cho người Để đạt yêu cầu đặt người phải nghiên cứu, phát triển hoàn thiện bước Vì nhóm nghiên cứu chọn đề tài “Thiết kế, thi cơng lập trình điều khiển Robot chân” Với đề tài này, nhóm nghiên cứu tìm hiểu Robot chân : - Nghiên cứu phương pháp tính động học thuận, động học nghịch robot - Nghiên cứu thiết kế quỹ đạo chuyển động cánh tay robot - Nghiên cứu dáng robot, vi trí đặt chân, phương pháp chuyển hướng - Nghiên cứu vi điều khiển để lập trình robot - Nghiên cứu lập trình ứng dụng Android để điều khiển robot - Sử dụng deep learning để nhận dạng khn mặt 3.Tính sáng tạo: Sử dụng deep learning để nhận dạng người bị nạn 4.Kết nghiên cứu: - Hoàn thành nghiên cứu sở lý thuyết robot nhện - Thi cơng hồn thiện phần cứng - Chương trình biên dịch thành công - Điểu khiển robot di chuyển Đóng góp mặt giáo dục đào tạo, kinh tế - xã hội, an ninh, quốc phòng khả áp dụng đề tài: robot nhện đảm nhiệm tốt vai trị dị tìm, trinh sát, cứu nạn khu vực người vào 6.Công bố khoa học SV từ kết nghiên cứu đề tài: Khơng có Ngày 26 tháng 07 năm 2020 SV chịu trách nhiệm thực đề tài (kí, họ tên) Nhận xét người hướng dẫn đóng góp khoa học SV thực đề tài (phần người hướng dẫn ghi): Ngày 26 tháng 07 năm 2020 Người hướng dẫn (kí, họ tên) MỤC LỤC CHƯƠNG : TỔNG QUAN 1.1 Đặt vấn đề .1 1.2.Mục tiêu đề tài .1 1.3.Giới hạn đề tài 1.4.Nội dung đề tài .2 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Động học robot .3 2.1.1 Giới thiệu chung 2.1.2 Bộ thông số Denavit-Hartenberg (DH) 2.1.3 Bài toán động học thuận robot 2.1.4 Bài toán động học nghịch robot 2.1.5 Phương pháp điều khiển thân robot 2.2 Kiểu dáng di chuyển cho robot 11 2.2.1 Di chuyển liên tục 12 2.2.2 Di chuyển không liên tục 13 2.2.2.1 Dáng di chuyển pha không liên tục 14 2.2.2.2 Dáng di chuyển pha không liên tục 15 2.3 Phương pháp điều khiển tốc độ chuyển động 17 2.4 Tổng quan Deep Learning 18 2.5 Mạng nơ ron (NEURAL NETWORK) 20 2.5.1 Giới thiệu 20 2.5.2 Các thành phần mạng nơ ron 20 2.6 Mạng nơ ron tích chập (CNN) 22 2.6.1 Giới thiệu 22 2.6.2 Cấu trúc mạng nơ rơn tích chập 23 2.6.3 Lớp tích chập (Convolutional Layer) 24 2.6.4 Phần đệm mức trượt (Padding and Stride) 26 2.6.5 Lớp kích hoạt phi tuyến tính (Non-linearity Layers) 27 2.6.6 Lớp tổng hợp (Pooling Layers) 28 2.6.7.Lớp làm phẳng (Flattening Layers) 29 2.6.8.Lớp kết nối đầy đủ (Fully-Connected Layer) 29 2.7 Model nhận dạng khuôn mặt 30 2.7.1 MobileNet V1 (2017) (Extractor) 30 2.7.2 Single Shot Detector (SSD) (Detector) 32 CHƯƠNG 3: THIẾT KẾ MƠ HÌNH ROBOT 34 3.1 Thiết kế phần cứng 34 3.3.1 Thiết kế mô phần cứng 34 3.3.2 Tiến hành thi công 34 3.2.Lựa chọn thiết bị 35 3.2.1 Bộ điều khiển board arduino mega 2560 35 3.2.2 Shield Mega Sensor V2 37 3.2.3.Động RC Servo 37 3.2.5 Khối cấp nguồn Adapter 40 3.2.6 Camera Logitech C270 41 3.3.Sơ đồ nối dây 42 3.4 Thuật toán điều khiển 42 3.4.1 Thuật toán điều khiển robot 42 3.4.2 Huấn luyện model nhận dạng người 44 CHƯƠNG 4: THỰC NGHIỆM VÀ KẾT QUẢ 45 4.1.Kết điều khiển 45 4.2.Kết nhận dạng người 46 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 47 5.1.Kết luận 47 5.1.1 Những công việc thực 47 5.1.2 Những mặt hạn chế 47 5.2.Hướng phát triển 47 DANH MỤC HÌNH ẢNH Hình 2.1: Chiều dài góc xoắn khâu…………………………………………… Hình 2.2: Các thơng số khâu: θ, d, a α………………………………………………4 Hình 2.4: Thơng số động học cho chân robot…………………………………………….6 Hình 2.5: Hệ tọa độ cho chân robot…………………………………………………………….8 Hình 2.6: Phép chiếu mặt phẳng Oxy…………………………………………………… Hình 2.7: Phép chiếu mặt phẳng Oxz…………………………………………………… Hình 2.8: Chuyển động xoay theo trục……………………………………………………… 10 Hình 2.9: Phép xoay thân robot…………………………………………………………10 Hình 2.10: Phép tịnh tiến cho thân robot………………………………………………11 Hình 2.11: Đồ thị dáng di chuyển liên tục……………………………………………….12 Hình 2.12: Sơ đồ bước chân dáng di chuyển liên tục………………………………… 13 Hình 2.13: Đồ thị dáng di chuyển pha khơng liên tục………………………………….14 Hình 2.15: Sơ đồ bước chân dáng di chuyển pha không liên tục (pha 2)………….15 Hình 2.16: Đồ thị dáng di chuyển pha khơng liên tục…………………………………….16 Hình 2.17: Sơ đồ bước chân dáng di chuyển pha không liên tục (1 pha)………….16 Hình 2.18: Sơ đồ bước chân dáng di chuyển pha khơng liên tục (pha 2)………….17 Hình 2.19: Sơ đồ bước chân dáng di chuyển pha không liên tục (pha 3) ……….17 Hình 2.20: Sơ đồ bước chân dáng di chuyển pha không liên tục (pha 4) ……….17 Hình 2.21: Quỹ đạo chuyển động chân robot…………………………………… 18 Hình 2.22: So sánh DL thuật tốn học tập khác………………………………19 Hình 2.23 Đơn vị xử lý (Processing Unit)……………………………………………………20 Hình 2.24 Máy tính nhìn thấy mảng pixel giá trị ảnh………………….23 Hình 2.25 Cấu trúc mạng CNN nhiều lớp………………………………………………24 Hình 2.26 Ngõ vào mặt nạ CNN (a) Ngõ vào 7x7 (b) Bộ lọc tích chập 3x3……25 Hình 2.27 Phép nhân tích chập CNN……………………………………………………25 Hình 2.28 Kết phép tích chập (a) Bức ảnh ngõ vào(b) Feature map ảnh sau tích chập…………………………………………………………………………………… 25 Hình 2.29 Thực phép nhân tích chập ngõ vào………………………………………26 Hình 2.30 Phép tích chập cho feature map lớp độc lập…………………………26 Hình 2.29 Thực phép nhân tích chập ngõ vào………………………………………27 Hình 2.30 Phép tích chập cho feature map lớp độc lập………………………….27 Hình 2.33 Feature map sau qua lớp kích hoạt………………………………………….28 Hình 2.34 Hàm max pooling (a) Hàm max pooling thực (b) Feature map ảnh sau qua max pooling………………………………………………………… 28 Hình 2.35 Quá trình làm phẳng………………………………………………………………29 Hình 2.36 Lớp Fully-Connected………………………………………………………………29 Hình 2.37 Cấu trúc Depthwise separable convolution……………………………… 30 Hình 2.38 Cấu trúc MobileNet-v1……………………………………………………….32 Hình 2.39 Cấu trúc model SSD………………………………………………………… 33 Hình 2.40 Framework SSD……………………………………………………………….33 Hình 3.1: Mơ hình Robot chân SolidWorks 2015……………………………………34 Hình 3.2: Mơ hình Robot chân………………………………………………………………34 Hình 3.2: Board Arduino Mega 2560…………………………………………………………35 Hình 3.3: Sơ đồ nguyên lý Arduino Mega 2560…………………………………………… 36 Hình 3.4: Arduino Mega Sensor Shield……………………………………………………….37 Hình 3.5: Sơ đồ chức chân Mega Sensor Shield…………………………….37 Hình 3.6: Cấu tọa bên RC Servo……………………………………………………….38 Hình 3.7: Điều khiển vị trị trục động cách điều chế độ rộng xung…… 39 Hình 3.8: RC Servo 946R………………………………………………………………………39 Hình 3.8:Module Bluetooth HC-05……………………………………………………………40 Hình 3.9 Cấp nguồn Adapter………………………………………………………………….41 Hình 3.10 Camera Logitech C270…………………………………………………………….42 Hình 3.10 Sơ đồ nối dây……………………………………………………………………… 42 Hình 3.11 Mơ hình điều khiển robot………………………………………………………….43 Hình 3.12 Lưu đồ điều khiển robot………………………………………………………….44 Hình 4.1 App điều khiển……………………………………………………………………….45 Hình 4.2 Hình ảnh robot lúc hoạt động…………………………………………………… 46 Bảng 3.2 Tóm tắt thơng số Arduino Mega 2560 Microcontroller Operating Voltage Input Voltage (recommended) Input Voltage (limits) Digital I O Pins Analog Input Pins DC Current per I O Pin DC Current for 3.3V Pin Flash Memory SRAM EEPROM Clock Speed Hình 3.3: Sơ đồ nguyên lý Arduino Mega 2560 3.2.2 Shield Mega Sensor V2 Arduino Mega Sensor Shiled c với cổng COM giao tiếp I2C c cách đơn giản thời điểm Shield Mega Sensor c nguồn cấp riêng biệt từ đ dễ dàng điều khiển thiết bị RC Servo cảm biến thiết bị giao tiếp ngoại vi Bluetooth Wifi… Hình 3.4: Arduino Mega Sensor Shield Hình 3.5: Sơ đồ chức chân Mega Sensor Shield 3.2.3.Động RC Servo C loại động thường d ng để làm mơ hình robot động DC Servo RC Servo động bước (Step motor) Đề tài s dụng động RC Servo để điều khiển Robot động RC Servo c phần hồi tiếp trạng thái biến tr tích hợp bên động việc điều khiển đơn giản h a ch cần chân phát tín hiệu PWM mơ hình gần giống với việc s dụng động Servo 37 công nghiệp dễ dàng ứng dụng thuật toán xây dựng đề tài để phát triển công nghiệp Tại không s dụng động DC Servo Step Motor? Hai loại động c điểm khác biệt chung với động RC Servo đ vị trí Home Với Động RC Servo s dụng biến tr vị trí Home đặt mức điện tr cố định DC Servo Step Motor lấy vị trị lúc cấp nguồn vị trí Home muốn kiểm sốt tọa độ cánh tay robot ta phải s dụng thêm cảm biến cơng t c hành trình … Như phải s dụng nhiều chân vi điều khiển cồng kềnh thiết kế DC Servo: phần hồi tiếp trạng thái thông dụng encoder với số lượng động lớn đ i hỏi vi điều khiển phải mạnh yêu cầu tốc độ x l cao c ng số lượng vector ng t lớn Nếu khơng đáp ứng đủ dễ gây tình trạng treo vi điều khiển Step Motor: c momen yếu DC Servo RC Servo thiết kế to cồng kềnh hay xảy tình trạng bước khơng c phần hồi tiếp tích hợp nên gây sai số điều khiển Cho nên RC Servo ph hợp với mơ hình robot di chuyển không bánh xe cấu tạo bên động RC Servo hình 3.6: Hình 3.6: Cấu tọa bên RC Servo ng) 10 Motor (Động cơ) Electronics Board (Board điện t ) Positive Power Wire (Red) (Dây nguồn màu đỏ) Signal Wire (Yellow or White) (Dây tín hiệu thường màu vàng màu tr Negative or Ground Wire (Black) (Dây GND đen) Potentiometer (Biến tr ) Output Shaft Gear (Trục Bánh r ng đầu ra) Servo Attachment Horn Wheel Arm Servo Case (Vỏ Servo) Integrated Control Chip (Chip điều khiển) 38 Trong hệ thống Servo đáp ứng dãy xung số ổn định Cụ thể mạch điều khiển đáp ứng tín hiệu số c xung biến đổi từ 1ms – 2ms Các xung g i 50 lần giây Chú số xung giây điều khiển servo mà chiều dài xung Servo đ i hỏi khoảng 30 – 60 xung giây Nếu số thấp độ xác cơng suất để trì servo giảm Với độ dài xung 1ms Servo điều khiển quay theo chiều (giả s chiều kim đồng hồ) Với độ dài xung 2ms Servo quay theo chiều ngược lại Điều khiển vị trí trục động cách điều chế độ rộng xung (Hình 3.7) Hình 3.7: Điều khiển vị trị trục động cách điều chế độ rộng xung Đề tài chọn động RC Servo TowerPro MG946R để ph hợp với yêu cầu cánh tay Robot RC Servo TowerPro MG946R hình 3.8: Bảng 3.3 Thơng số hoạt động RC Servo TowerPro MG946R Weight (Trọng lượng) Dimension (Kích thước) Stall torque 39 Operating speed (Tốc độ hoạt động) Operating voltage (Điện áp hoạt động) Temperature range (Khoảng nhiệt độ) 3.2.4 Module Bluetooth HC- 05 Mạch thu phát Bluetooth HC-05 chân hoàn ch nh giúp dễ dàng kết nối với điều khiển module khác để truyền phát tín hiệu Bảng 3.5 Thơng số kỹ thuật Module Bluetooth HC-05 Điện áp hoạt động Baudrate Dải tần s ng hoạt động D ng điện 3.2.5 Khối cấp nguồn Adapter Với số thông cần thiết sau: Điện áp đầu vào: 100-240V 50 60Hz Điện áp đầu ra: 5v-3a Kích thước chân c m: 5.5*2.5mm 40 \ Hình 3.9 Cấp nguồn Adapter 3.2.6 Camera Logitech C270 Bảng 3.6 Thông số kĩ thuật Camera Logitech C270 Ta s C270 để ph hợp giá thành kích thước c ng tốc độ frame hình Hình 3.10 Camera Logitech C270 3.3.Sơ đồ nối dây Các động rc kết nối vào micro controller cấp nguồn từ adepter Tổng cộng c 12 động rc module bluetooth HC-05 kết nối với arduino Hình 3.10 Sơ đồ nối dây 3.4 Thuật toán điều khiển 3.4.1 Thuật toán điều khiển robot Việc s dụng 12 động RC Servo đ i hỏi phải chọn loại vi điều khiển phải đáp ứng đủ 12 ngõ b m xung PWM Arduino Mega 2560 dựa tảng chip Atmega 2560 đáp ứng đủ cho việc điều khiển mơ hình 42 Mơ hình điều khiển robot Hình 3.11 Mơ hình điều khiển robot Lưu đồ điều khiển Hình 3.12 Lưu đồ điều khiển robot 3.4.2 Huấn luyện model nhận dạng người Nh m huấn luyện chọn model object detect MobileNet-SSD với data người gồm 100 ảnh Model huấn luyện v ng tiếng lưu trữ máy tính c core-i5 2.4GHz Ram 4GB Cấu trúc model MobileNet-SSD trình bày chương Do lượng data nên nh m nghiên cứu khơng tiến hành đánh giá q trình huấn luyện 44 CHƯƠNG 4: THỰC NGHIỆM VÀ KẾT QUẢ 4.1.Kết điều khiển Sau kiểm tra động học thuận nghịch ta tiến hành điều khiển robot qua module bluetooth app điện thoại hình (hình 4.1) Robot hoạt động tốt c thể di chuyển theo cách đứng vững khơng cần tác động bên ngồi Hình 4.1 App điều khiển Hình 4.2 Hình ảnh robot lúc hoạt động 4.2.Kết nhận dạng người Tuy c n hạn chế data model sau train hoạt động tốt c thể nhận dạng người môi trường xung từ đ làm tiền đề cho thuật toán tracking object sau 46 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1.Kết luận 5.1.1 Những công việc thực Sau thời gian nghiên cứu tìm hiểu nh m đã thực : Tìm hiểu tổng quan mơ hình robot c chân n i chung mơ hình robot bốn chân n i riêng Nghiên cứu tính tốn độ ổn định cho robot bốn chân Đây s quan trọng cho việc điều khiển chuyển động cho robot Nghiên cứu loại dáng robot đưa mơ hình hình học cho loại dáng Dựa vào động học thuận nghịch tính tốn vị trí đặt chân cho robot để c bước mượt tránh bước nhảy Thiết kế thành công phần khí Robot chân Robot hoạt động mục tiêu mong muốn 5.1.2 Những mặt hạn chế Bên cạnh nội dụng thực v n c n nhiều hạn chế đề tài như: Bài toán động học ch dừng lại động học vị trí chưa tính tốn tốn động học vận tốc Bài toán động lực học s dụng giả thiết để giảm bớt khối lượng tính tốn chưa hồn ch nh Việc nhận dạng chưa c chức n ng mơ hình robot Mơ hình robot thực nghiệm ch bề mặt phẳng với quỹ đạo thẳng chuyển hướng Sai số quỹ đạo chưa kiểm sốt Do khơng s dụng cảm biến lực bàn chân nên khơng kiểm sốt tượng trượt gây sai số quỹ đạo Độ ổn định mơ hình thực nghiệm chưa cao 5.2.Hướng phát triển Dựa nghiên cứu thành công đề tài “Thiết kế thi cơng lập trình điều khiển Robot chân” c thể phát triển: Chế tạo mơ hình khí với độ tin cậy cao Nghiên cứu dáng di chuyển để robot c thể di chuyển địa hình khơng phẳng c vật cản Thiết kế cấu robot để c thể tương tác với môi trường xung quanh Xây dựng tốn động học hồn ch nh cho robot Tiến hành giải thuật tracking để tối ưu h a chức n ng model detect object 47 ... TPHCM THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: Lập trình, thi cơng phát triển Robot nhện IoT ( Internet of thing) - Chủ nhiệm đề tài: Nguyễn Quốc Thành Mã số SV:16151083...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN LẬP TRÌNH THI CƠNG VÀ PHÁT TRIỂN ROBOT NHỆN IoT (Internet of Thing) SV2020... điều khiển để lập trình robot Nghiên cứu lập trình ứng dụng Android để điều khiển robot S dụng deep learning để nhận dạng khuôn mặt 1.3.Giới hạn đề tài Với đề tài nh m thi? ??t kế robot chân với