(Đồ án tốt nghiệp) điều khiển robot sử dụng xử lý ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA ĐIỀU KHIỂN ROBOT SỬ DỤNG XỬ LÝ ẢNH GVHD : LÊ MỸ HÀ SVTH : LÊ TẤN MSSV: 14151089 SVTH: HỒ THỊ DIỆU LINH MSSV: 14151061 SKL006581 Tp Hồ Chí Minh, tháng 07/2018 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ THÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO -***   *** - ĐỒ ÁN TỐT NGHIỆP ĐIỀU KHIỂN ROBOT SỬ DỤNG XỬ LÝ ẢNH SVTH: KHĨA: NGÀNH: GVHD: TP HƠ CHÍ MINH, THÁNG NĂM 2018 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO -***   *** - ĐỒ ÁN TỐT NGHIỆP ĐIỀU KHIỂN ROBOT SỬ DỤNG XỬ LÝ ẢNH SVTH: KHÓA: NGÀNH: GVHD: TP HƠ CHÍ MINH, THÁNG NĂM 2018 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh NHIỆM VỤ ĐỒ ÁN Để giúp cho việc đánh giá giáo viên bám sát mục tiêu trình thực hiện, nhóm đặt nhiệm vụ đồ án sau đây: Thiết kế lắp ráp robot dạng xe Thu hình ảnh vật nhận dạng vật qua màu sắc Điều khiển xe gắp vật sau nhận dạng vật Điều khiển xe chế độ tay i Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Chữ ký GVHD ii Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Chữ ký GVPB iii Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh LỜI CẢM ƠN Để hoàn thành báo cáo này, nhóm vơ biết ơn giúp đỡ từ nhiều phía q trình học tập xây dựng đồ án Xin gửi lời cảm ơn chân thành đến thầy Lê Mỹ Hà hướng dẫn tận tình bước phương hướng, giúp nhóm bám sát mục tiêu thực đồ án Xin gửi lời cảm ơn đến bạn lớp, q trình tìm tịi học hỏi chia sẻ tài liệu tài nguyên khác linh kiện, công nghệ, … Đặc biệt cảm ơn đến nhóm anh chị khóa 13 thực đồ án đề tài năm trước, hướng dẫn bảo tận tình vấn đề nhóm gặp phải trình làm đồ án Một lần xin cảm ơn giúp đỡ từ người iv Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh TỔNG QUAN VỀ ĐỀ TÀI Hình ảnh robot phục vụ đời sống người ngày khơng cịn điều xa lạ, số lĩnh vực cơng nghiệp, dịch vụ, … lại cịn phổ biến Mặc cho tranh cãi vấn đề robot dần thay người gây kết tích cực hay tiêu cực cơng nghệ robot phát triển vũ bão Một số thành tựu robot giới trao quyền công dân Ả Rập - Sophia, trung tâm hàng hóa lớn Thượng Hải, Trung Quốc với 200.000 đơn hàng ngày vận hành dây chuyền đại nhân viên có nhiệm vụ bảo dưỡng robot, … Không thể phủ nhận tầm quan trọng robot ngày tương lai, không đơn giản cỗ máy Sarah Bergbreiter – Phó giáo sư đại học MaryLand Hoa Kỳ diễn thuyết việc robot ngày dần trở nên giống với tưởng tượng Trong nói, yếu tố tạo nên điều có việc kết nối cảm biến mềm.[1] Đề tài Điều khiển robot xử lý ảnh nhóm thực đồ án có quy mơ khơng lớn tập trung vào việc xử lý hình ảnh đối tượng thu điều khiển qua việc kết nối với wifi Cũng tìm hiểu yếu tố giúp phát triển robot gần với người nói Qua tiếp tục tìm hiểu học tập chuyên sâu thị giác máy tính IoT, công nghệ “hot” công nghiệp 4.0 v Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh MỤC LỤC NHIỆM VỤ ĐỒ ÁN NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN LỜI CẢM ƠN TỔNG QUAN VỀ ĐỀ TÀI DANH MỤC HÌNH ẢNH VÀ BẢNG BIỂU TÀI LIỆU THAM KHẢO Chương 1: LÝ THUYẾT VỀ XỬ LÝ ẢNH 1.1.Xử lý ảnh 1.2.Các khái niệm xử lý ảnh 1.2.1 Pixel 1.2.2 Thành phần màu ảnh 1.2.3 Mức xám ảnh 1.2.4 Khôn 1.2.5 Histo 1.3.Xử lý ảnh 1.3.1 Các lọc ảnh 1.3.2 Cân b 1.3.3 Thres 1.3.5 Các phép tốn hình thái học Chương 2: XỬ LÝ ẢNH TRÊN PYTHON 2.1.Python 2.2.Thư viện OpenCV python 2.3.Một số thư viện hỗ trợ xử dụng t 2.4.Bộ điều khiển PID 2.5.Sơ đồ thuật toán cho đồ án Chương 3: THIẾT KẾ HỆ THỐNG 3.1.Sơ đồ khối hệ thống vi Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh 3.2 Lựa chọn thiết bị phần cứng 3.2.1 ESP8 3.2.2 Came 3.2.3 Động DC giảm tốc GA25 12V620RPM 3.2.4 Bánh xe V2 65mm 3.2.5 Mạch điều khiển động DC L298 3.2.6 Động servo MG996R 3.2.7 Cảm biến hồng ngoại 3.2.8 Mạch ổn áp nguồn DC 12V LM2596S 3.2.9 Pin lipo XP05503GT-S 11.1V-550mAh-45C 3.3 PHẦN MỀM SỬ DỤNG 3.3.1 Ardui 3.3.2 IP Ca 3.4 Sơ đồ kết nối 3.5 Thiết kế mơ hình Chương 4: CÀI ĐẶT VÀ THIẾT KẾ CHƯƠNG TRÌNH 4.4 Cài đặt thị giác cho robot 4.5 Thiết kế chương trình 4.6 Sơ đồ giải thuật chương trình 4.8 Giao diện điều khiển tự động qua wif 4.7 Thực nghiệm thực tế Chương 5: KẾT QUẢ ĐẠT ĐƯỢC VÀ HƯỚNG PHÁT TRIỂN vii Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh Upload mã vào Arduino: Tool > Port > COM3 Tool > Board > Nodemcu v1.0 Tool > Seriai Monitor để theo dõi kết nối Arduino Chỉnh Tên wifi pass code Hình Theo dõi kết nối ESP8266 vào mạng wifi Ctrl + U để build upload code Khá lâu cho lần đầu Theo dõi hình Seriai Monitor in IP Arduino Nhập địa vào Chrome, giao diện điều khiển đơn giản thành công Nếu Seriai Connecting .tức sai wifi nên phải chỉnh upload lại Khi đổi wifi phải chỉnh lại Hình Tùy chỉnh board ESP8266 38 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh 4.4 Cài đặt thị giác cho robot Cài đặt IP Camera google play: Video Preference > Video resoiuton > 720x480 Kéo xuống > Start Chép địa IP hình vào chromeh kèm /video Ví dụ 192.168.1.0:8080/video thấy stream từ Android Mở code Python chuột phải > Edit > IDLE 3.6: Chỉnh lại địa Android Arduino (ESP) + F5 > Save để chạy Trên hình có tâm vng vùng chọn màu theo dõi 4.5 Thiết kế chương trình Cơng nghệ: Python,OpenCV, ESP8266 NodeMCU, Android + IP Camera Quy trình hoạt động: Điện thoại Android cài đặt phần mềm IP Camera tạo kênh stream hình ảnh, truyền qua mạng Wifi laptop Ứng dụng máy tính viết Python, sử dụng thư viện OpenCV tiếp nhận stream, lọc khu vực có màu vật thể nhận, truyền lệnh tiến thẳng, rẽ trái/phải, mở/đóng kẹp qua wifi cho ESP8266 (VĐK xe) ESP8266 tiếp nhận lệnh, thi hành lệnh xe Xử lý ảnh máy tính: Khi bắt đầu, phần mềm chia khung hình theo trục x y để xác định tâm điểm Chuyển màu định dạng RGB thành định dạng HSV Từ màu HSV tăng giảm giá trị cho đạt ngưỡng ngưỡng màu xác định Hình Giới hạn thơng số HSV với màu cần tracking 39 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh Từ giới hạn ta lọc khung hình, mặt nạ [9,9] (mask) ảnh nhị phân kích thước khung hình ban đầu, điểm ảnh nằm giới hạn ( gần với màu vật thể ban đầu) có giá trị 255, ngồi có giá trị Ví dụ lọc màu xanh ảnh gốc: Hình Ảnh gốc quan sát Thu mặt nạ sau: Hình Mặt nạ thu 40 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh Đối với nhiễu chấm trắng nhỏ hình 4.9, ta dùng phương pháp hình thái học Open Close để xóa Sau đó, tìm đường trịn ngoại tiếp vật, từ xác định tâm vật thể Xác định trung tâm vật thể khung hình, so sánh với tâm khung hình, từ tìm vị trí vật, tâm vật thể thẳng, ngồi bên rẽ bên Khi vật thể vào kẹp, cảm biến vật cản FC-51 sáng đèn, báo tín hiệu LOW cho ESP, ESP báo máy vi tính, máy tính xử lý cho kẹp khép lại Nếu vật màu xanh dương, xe điều khiển bánh xe dịch chuyển sang bên trái, sau để vật xuống quay lại vị trí ban đầu Nếu vật màu xanh lá, xe điều khiển bánh xe dịch chuyển sang bên phải, sau để vật xuống quay lại vị trí ban đầu Xe tiếp tục làm đến khơng cịn vật xác định ESP8266 xe: ESP lập trình IDE Arduino cho phép tái sử dụng thư viện, upload code nhanh chóng dễ dàng ESP sau kết nối vào mạng Wifi tạo Web server đơn giản để truy cập qua trính duyệt web điều khiển xử lý yêu cầu từ Python Khi truy cập vào địa chỉ, esp xử lý tương ứng 4.6 Sơ đồ giải thuật chương trình Xe có chế độ Auto Manual: - Ngun lí hoạt động: + Dữ liệu từ camera truyền đến máy tính xử lý ảnh, máy tính sau xử lý ảnh truyền liệu đến mạch điều khiển NodeMCU ESP8266 + NodeMCU nhận lệnh truyền liệu đến cấu mạch điều khiển động L298N để điều khiển động cho xe di chuyển 41 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh + Cảm biến hồng ngoại FC-51 có nhiệm vụ đọc giá trị có vật cản để tay kẹp nhận biết gắp cách xác - Chế độ Auto: + Xe chạy tự động gắp vật Khi vật màu xanh dương, xe gắp dịch chuyển bỏ vật sang bên trái Khi vật màu xanh lá, xe gắp vật dịch chuyển để bỏ vật sang bên phải - Chế độ Manual: + Xe điều khiển giao diện Web Server đơn giản, có nút nhấn để dịch chuyển xe đóng mở cấu gắp theo ý muốn (Xem hình 4.10 ) Hình 10 Sơ đồ thuật tốn 42 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh 4.7 Giao diện điều khiển tay web Hình 11 Giao diện điều khiển tay web 4.8 Giao diện điều khiển tự động qua wifi Hình 12 Giao diện điều khiển tự động qua wifi 43 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh 4.7 Thực nghiệm thực tế Hình 13 Hình ảnh mơ hình xe thực tế - Khi thực nghiệm nhiều môi trường, ta rút kết luận xe là: + Xe khơng gắp xác vật với điều kiện có hồng ngoại Ảnh hưởng hồng ngoại làm cho cảm biến bị nhiễu khơng thể nhận tín hiệu cách tốt + Xe không nhận dạng màu sắc vật môi trường thiếu ánh sáng - Môi trường thực nghiệm môi trường đầy đủ ánh sáng không bị ảnh hưởng hồng ngoại Mỗi trường hợp thực nghiệm 10 lần kết sau: 44 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh * Trường hợp 1: Vật khung hình Hình 14 Hình ảnh vật khung hình Khoảng cách từ xe tới vật: Tọa độ vật: Thời gian xe trung bình xe gắp vật: Hệ số PID ổn định: 45 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh * Trường hợp 2: Vật lệch 2/5 khung hình phía bên trái Hình 15 Hình ảnh vật lệch 2/5 khung hình phía bên trái Khoảng cách từ xe tới vật: Tọa độ vật: Thời gian xe trung bình xe gắp vật: Hệ số PID ổn định: 65cm ( x , y ) = ( 122 , 56 ) 15s Kp = 4.2 Ki = 1.2 Kd = 0.9 46 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh * Trường hợp 3: Vật góc khung hình phía bên trái Hình 16 Hình ảnh vật có góc khung hình Khoảng cách từ xe tới vật Tọa độ vật: Thời gian xe trung bình xe gắp vật: Hệ số PID ổn định: 69cm ( x , y ) = ( 78 , 60 ) 13s Kp = 4.2 Ki = 1.2 Kd = 0.9 47 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh * Trường hợp 4: Vật lệch 4/5 khung hình phía bên phải Hình 17 Hình ảnh vật lệch 4/5 khung hình phía bên phải Khoảng cách từ xe tới vật: Tọa độ vật: Thời gian xe trung bình xe gắp vật: Hệ số PID ổn định: 65cm ( x , y ) = ( 463 , 53 ) 13s Kp = 4.0 Ki = 1.2 Kd = 0.9 48 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh * Trường hợp 5: Vật lệch 4/5 khung hình phía bên phải Hình 18 Hình ảnh vật lệch góc phải khung hình Khoảng cách từ xe tới vật: Tọa độ vật: Thời gian xe trung bình xe gắp vật: Hệ số PID ổn định: 69cm ( x , y ) = ( 579 , 58 ) 15s Kp = 4.2 Ki = 1.2 Kd = 0.9 * Nhận xét kết thực nghiệm: - Độ ổn định xe ngồi phụ thuộc vào tốc độ xử lý, cịn phụ thuộc khác nhiều vào phần khí địa hình Những điều làm ảnh hưởng đến góc xoay xe nhiều - Trường hợp vật khung hình, tốc độ xử lý gắp vật xe nhanh - Trường hợp vật lệch trái, lệch phải khung hình, đơi lúc xe quay cịn rung lắc làm cho thời gian xử lý lâu - Độ ổn định PID chưa tối ưu, góc lệch có chênh lệch nhỏ thông số PID 49 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh Chương 5: KẾT QUẢ ĐẠT ĐƯỢC VÀ HƯỚNG PHÁT TRIỂN 5.1 KẾT QUẢ ĐẠT ĐƯỢC 5.1.1 Tổng quan Thực phần khí đề tài board mạch điều khiển, chạy tương đối ổn định Nhận dạng đối tượng có màu sắc khác Nghiên cứu kết nối thiết bị chung mạng wifi Điều khiển robot xác định đối tượng thao tác gắp, thả, di chuyển vật Xây dựng thành công giao diện điều khiển 5.1.2 Ưu điểm Tỉ lệ phát đối tượng cao sai số tích cực thấp Khả phát vật xác Làm việc phạm vi rộng điều kiện ánh sáng Điều chỉnh thông số camera phù hợp với hệ thống Ứng dụng xử lý ảnh hệ thống nhận dạng nhận dạng vật thể ứng dụng cần phát triển thêm tính khả thi cao.Nếu nghiên cứu cách có quy mơ chắn ứng dụng mang tính hứa hẹn 5.1.3 Khuyết điểm Vẫn cịn sai số trình xử lý Tốc độ xử lý nhận diện vật tương đối chậm thông số PID chưa tối ưu Giải thuật xử lý tốt mặt trước đối tượng (không thể phát đối tượng xoay góc lớn nghiên sang hai bên) Q trình nhận dạng bị ảnh hưởng số điều kiện môi trường như: ánh sáng, vật cản, màu sắc ngoại cảnh 50 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh Nhận diện đối tượng màu sắc đơn giản Đôi không nhận dạng đối tượng điều kiện ánh sáng điều kiện mơi trường khác Robot bị rung lắc gặp điều kiện đường xấu Giao diện điều khiển đơn giản Vì lí đề tài dừng lại mức mơ hình nên phần cứng sản phẩm khơng đáp ứng hết yêu cầu lĩnh vực xử lý ảnh trường hợp đặc biệt trời, vật q nặng Do đó, khơng tránh khỏi trường hợp sai sót vận hành 5.2 HƯỚNG PHÁT TRIỂN Thực việc nhận dạng đối tượng dựa vào thuật toán nhận dạng Haar, dùng mạng thần kinh Sử dụng camera có chức hồng ngoại không bị ảnh hưởng bời môi trường, sử dụng vào ban đêm Trang bị thêm kính lọc để đạt độ xác Đo khoảng cách dùng phương pháp tổng quát Thiết kế môi trường làm việc với ánh sáng nhân tạo lý tưởng, kín, loại bỏ nhiễu từ ánh sáng tự nhiên 51 ... ĐỒ ÁN TỐT NGHIỆP ĐIỀU KHIỂN ROBOT SỬ DỤNG XỬ LÝ ẢNH SVTH: KHĨA: NGÀNH: GVHD: TP HƠ CHÍ MINH, THÁNG NĂM 2018 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh NHIỆM VỤ ĐỒ ÁN. .. hành bước 20 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh Hình Lưu đồ thuật toán (1) 21 Đồ án tốt nghiệp Đề tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh Hình Lưu đồ... tài: Điều khiển Robot gắp vật sử dụng xử lý ảnh 1.3 Xử lý ảnh Các bước xử lý ảnh (hình 1.11) Hình 11 Xử lý ảnh 1.3.1 Các lọc ảnh Như nhiều dạng tín hiệu khác, việc gặp phải nhiễu thu ảnh khó tránh