Hiện nay robot và thị giác máy ngày càng được ứng dụng nhiều trong sản xuất vì tính ứng dụng cao, độ chính xác và khả năng làm việc hiệu quả. Cánh tay robot SCARA là một loại robot phổ biến thường được sử dụng trong việc đóng gói các sản phẩm tự động. Khi kết hợp với thị giác máy tính, robot sẽ có thể thực hiện được những công việc phức tạp và thay thế cho con người. Luận văn này hướng tới việc áp dụng thị giác máy vào robot để thực hiện gắp và phân loại các đối tượng. Luận văn tập trung vào việc xây dựng một mô hình bao gồm robot SCARA, camera và máy tính. Máy tính sẽ lấy ảnh liên tục của đối tượng từ camera và tiến hành phân loại, tính toán vị trí và góc xoay. Sau đó, máy tính ra lệnh cho robot di chuyển để thực hiện gắp và đặt đối tượng đến vị trí mong muốn. Bên cạnh đó, luận văn còn xây dựng phần mềm giao diện để người sử dụng có thể quan sát quá trình hệ thống vận hành một cách trực quan. Việc xây dựng phần mềm giao diện này dựa trên nền tảng Qt và thư viện OpenGL, OpenCV. Luận văn đã cơ bản thành công trong việc phân loại vật đứng yên. Tuy nhiên cũng còn nhiều hạn chế cần khắc phục và phát triển thêm để hoàn thiện và đưa ra sử dụng thực tế. 1.2. Mục tiêu luận văn Mục tiêu của luận văn là xây dựng một hệ thống kết hợp giữa cánh tay robot và thị giác máy tính thỏa các yêu cầu sau: • Hệ thống camera, máy tính phải đảm bảo xác định được vị trí vật thể, cánh tay robot phải tiến hành gắp, xếp đúng vị trí vật. • Hệ thống phải xác định được hướng xoay vật thể trên mặt phẳng nằm ngang, cánh tay robot phải linh hoạt trong việc xoay gắp và đặt vật thể. • Xây dựng được giao diện giám sát hệ thống thân thiện với người dùng bao gồm các thông tin từ camera cũng như hình ảnh mô phỏng của robot để tiện cho việc giám sát và theo dõi. 1.3. Cấu trúc tổng quát hệ thống Luận văn tập trung nghiên cứu điều khiển cánh tay robot, nghiên cứu các giải thuật thị giác máy tính thông qua việc xây dựng mô hình hệ thống robot SCARA kết hợp thị giác máy tính. Hình 1.3 Mô hình nghiên cứu trong luận văn Hình 1.4 Đối tượng cần nhận diện và gắp được Hệ thống robot SCARA kết hợp thị giác máy tính có sơ đồ như sau: Hình 1.5 Sơ đồ hệ thống Hệ thống bao gồm các thành phần: • Camera: đóng vai trò cảm biến, thu hình ảnh và truyền về máy tính. • Robot SCARA: đóng vai trò phần tử chấp hành, thực hiện thao tác di chuyển, gắp và nhả vật theo lệnh được gửi từ máy tính. • Máy tính: đóng vai trò trung tâm xử lí thông tin. Máy tính nhận dữ liệu hình ảnh từ camera, chạy thuật toán thị giác máy để xác định vị trí, hướng của vật thể cần gắp và gửi lệnh yêu cầu robot thực hiện. Máy tính còn cung cấp giao diện hình ảnh cho người sử dụng. 1.4. Cấu trúc luận văn Luận văn bao gồm 7 chương: • Chương 1: Giới thiệu chung về vấn đề nghiên cứu, mô hình nghiên cứu trong luận văn. • Chương 2: Trình bày cơ sở lý thuyết động học robot và áp dụng các lý thuyết đó vào mô hình robot SCARA. • Chương 3: Trình bày cơ sở lý thuyết của phương pháp nhận diện đối tượng. • Chương 4: Trình bày về thiết kế phần cứng của hệ thống. • Chương 5: Trình bày về lập trình hệ thống và giao diện. • Chương 6: Trình bày một cách chi tiết về giải thuật nhận diện đối tượng. • Chương 7: Trình bày kết quả đạt được, nhận chung về luận văn và hướng phát triển.
TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG LUẬN VĂN TỐT NGHIỆP ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP VẬT SỬ DỤNG THUẬT TOÁN YOLO VÀ HOUGHLINES KỸ SƯ NGÀNH KỸ THUẬT ĐIỀU KHIỂN & TỰ ĐỘNG HĨA TP HỒ CHÍ MINH, 2020 TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG LUẬN VĂN TỐT NGHIỆP ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP VẬT SỬ DỤNG THUẬT TOÁN YOLO VÀ HOUGHLINES CONTROL OF SCARA ROBOT FOR PICK AND PLACE APPLICATION USING YOLO AND HOUGHLINES ALGORITHMS KỸ SƯ NGÀNH KỸ THUẬT ĐIỀU KHIỂN & TỰ ĐỘNG HÓA GIẢNG VIÊN HƯỚNG DẪN TS NGUYỄN VĨNH HẢO KS BÙI THANH HUYỀN TP HỒ CHÍ MINH, 2020 TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN – ĐIỆN TỬ Độc lập - Tự - Hạnh phúc BỘ MÔN: ĐIỀU KHIỂN TỰ ĐỘNG TP HCM, ngày….tháng… năm…… NHẬN XÉT LUẬN VĂN TỐT NGHIỆP CỦA CÁN BỘ HƯỚNG DẪN Tên luận văn: ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP VẬT SỬ DỤNG THUẬT TỐN YOLO VÀ HOUGHLINES Nhóm Sinh viên thực hiện: Cán hướng dẫn: TS Nguyễn Vĩnh Hảo KS Bùi Thanh Huyền Đánh giá Luận văn Về báo cáo: Số trang Số bảng số liệu Số tài liệu tham khảo _ Số chương Số hình vẽ Sản phẩm Một số nhận xét hình thức báo cáo: Về nội dung luận văn: Về tính ứng dụng: Về thái độ làm việc sinh viên: Đánh giá chung: Luận văn đạt/không đạt yêu cầu luận văn tốt nghiệp kỹ sư, xếp loại Giỏi/ Khá/ Trung bình Điểm sinh viên: Đặng Hồng Phúc Nam /10 Nguyễn Thị Hạnh Nhi /10 Cán hướng dẫn Cán hướng dẫn (Ký tên ghi rõ họ tên) (Ký tên ghi rõ họ tên) TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN – ĐIỆN TỬ Độc lập - Tự - Hạnh phúc BỘ MÔN: ĐIỀU KHIỂN TỰ ĐỘNG TP HCM, ngày….tháng… năm…… NHẬN XÉT LUẬN VĂN TỐT NGHIỆP CỦA CÁN BỘ PHẢN BIỆN Tên luận văn: ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP VẬT SỬ DỤNG THUẬT TOÁN YOLO VÀ HOUGHLINES Nhóm Sinh viên thực hiện: Cán phản biện: Đánh giá Luận văn Về báo cáo: Số trang _ Số chương Số bảng số liệu Số hình vẽ Số tài liệu tham khảo Sản phẩm Một số nhận xét hình thức báo cáo: Về nội dung luận văn: Về tính ứng dụng: Về thái độ làm việc sinh viên: Đánh giá chung: Luận văn đạt/không đạt yêu cầu luận văn tốt nghiệp kỹ sư, xếp loại Giỏi/ Khá/ Trung bình Điểm sinh viên: Đặng Hồng Phúc Nam /10 Nguyễn Thị Hạnh Nhi /10 Cán phản biện (Ký tên ghi rõ họ tên) Lời cảm ơn Lời đầu tiên, chúng em xin gửi lời cảm ơn chân thành đ ến quý th ầy cô tr ường Đại học Bách Khoa TP.HCM nói chung, mơn Điều khiển Tự động nói riêng, truyền dạy cho chúng em kiến thức quí báu su ốt quãng th ời gian học tập trường Đại học Bách Khoa Chúng em xin chân thành cảm ơn thầy Nguyễn Vĩnh Hảo cô Bùi Thanh Huyền giảng viên hướng dẫn chúng em Thầy tận tình ch ỉ d ạy, h ỗ trợ kiến thức kinh nghiệm cho chúng em đ ể có th ể hồn thành đ ề tài lu ận văn Sự dẫn dắt thầy, cô may mắn lớn đường học tập nghiệp chúng em Cảm ơn gia đình, người thân quan tâm, chăm lo cho chúng ăn học Cảm ơn cha mẹ dạy dỗ, nuôi nấng chúng khôn lớn Cảm ơn bạn bè, đàn anh phòng lab hỗ tr ợ, giúp đỡ tận tình thời gian học tập làm việc lab TPHCM, ngày 31 tháng năm 2020 Sinh viên TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN – ĐIỆN TỬ Độc lập - Tự - Hạnh phúc BỘ MÔN: ĐIỀU KHIỂN TỰ ĐỘNG TP HCM, ngày tháng năm 2020 ĐỀ CƯƠNG CHI TIẾT TÊN LUẬN VĂN: ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP VẬT SỬ DỤNG THUẬT TOÁN YOLO VÀ HOUGHLINES Cán hướng dẫn: TS Nguyễn Vĩnh Hảo KS Bùi Thanh Huyền Thời gian thực hiện: Từ ngày 20/2/2020 đến ngày 30/8/2020 Sinh viên thực hiện: Nội dung đề tài: Mục tiêu: Xây dựng điều khiển cho mơ hình robot SCARA K ết h ợp v ới th ị giác máy thực ứng dụng gắp phân loại vật thể tĩnh Thiết kế giao diện sử dụng máy tính phục vụ viết nghiên cứu sử dụng Phương pháp thực Nghiên cứu khí, lập trình thiết kế điều khiển robot Nghiên cứu giải thuật để xử lý ảnh RGB, phân loại gắp vật thể đứng yên Kết mong đợi Xây dựng thành công điều khiển robot, protocol thư viện giao tiếp Xây dựng thành cơng giải thuật xác định vị trí phân loại vật thể đứng yên ... MÔN ĐIỀU KHIỂN TỰ ĐỘNG LUẬN VĂN TỐT NGHIỆP ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP VẬT SỬ DỤNG THUẬT TOÁN YOLO VÀ HOUGHLINES CONTROL OF SCARA ROBOT FOR PICK AND PLACE APPLICATION USING YOLO. .. MÔN: ĐIỀU KHIỂN TỰ ĐỘNG TP HCM, ngày….tháng… năm…… NHẬN XÉT LUẬN VĂN TỐT NGHIỆP CỦA CÁN BỘ HƯỚNG DẪN Tên luận văn: ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP VẬT SỬ DỤNG THUẬT TOÁN YOLO VÀ HOUGHLINES. .. - Hạnh phúc BỘ MÔN: ĐIỀU KHIỂN TỰ ĐỘNG TP HCM, ngày tháng năm 2020 ĐỀ CƯƠNG CHI TIẾT TÊN LUẬN VĂN: ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP VẬT SỬ DỤNG THUẬT TOÁN YOLO VÀ HOUGHLINES Cán hướng