LUẬN văn tốt NGHIỆP đề tài ứng dụng xử lý ảnh điều khiển robot hàn

TRƯỜNG ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CƠ KHÍ  ĐỀ CƯƠNG LUẬN VĂN TỐT NGHIỆP Đề tài: Ứng dụng xử lý ảnh điều khiển robot hàn GVHD: TS Lê Đức Hạnh SVTH: Phan Thanh Sơn download by : skknchat@gmail.com MỤC LỤC Chương 1: Tổng quan 1.1 Giới thiệu chung 1.2 Sơ lược robot công nghiệp .4 1.2.1 Định nghĩa robot công nghiệp 1.2.2 Phân loại robot công nghiệp 1.3 Sơ lược Robot hàn 1.3.1 Tại phải sử dụng Robot hàn .6 1.3.2 Một số loại Robot hàn phổ biến .7 1.3.3 Phương pháp tìm đường hàn tự động .8 1.3.4 Súng hàn Chương 2: Lựa chọn phương án 2.1 Lựa chọn camera 2.1.1 Stereo camera 2.1.2 ToF camera (Time of flight camera) 10 download by : skknchat@gmail.com DANH MỤC HÌNH ẢNH Hình 1.1 Các lĩnh vực liên quan đến Visual Servoing Hình 1.2 Cartesian/Gantry Robots .5 Hình 1.3 Articulated Robots Hình 1.4 Parallel Robots Hình 1.5 Kết tìm kiếm Robot hàn Hình 1.6 Vision sensor Hình 1.7 Súng hàn .9 Hình 2.1 Intel Realsense d435 .9 Hình 2.2 Kinect V2 10 download by : skknchat@gmail.com Chương 1:Tổng quan 1.1.Giới thiệu chung Ngày nay, với phát triển không ngừng khoa học cơng nghệ, robot ngày đóng vai trị quan trọng lĩnh vực đời sống, xã hội, thay dần sức lao động người tạo sản phẩm chất lượng có độ xác cao Do đó, u cầu tính linh hoạt, độ xác mạnh mẽ robot ngày cao hoạt động nhiều môi trường khác Để đáp ứng yêu cầu thế, robot thường tích hợp cảm biến để đo đạc cảm nhận môi trường xung quanh (đặc biệt robot hoạt động môi trường không cấu trúc) Các loại cảm biến thường sử dụng cảm biến lực, cảm biến siêu âm, laser, cảm biến thị giác…Trong đấy, cảm biến thị giác (ví dụ camera) phổ biến nhất, cách cảm biến thị giác cảm nhận môi trường gần giống với người cho phép đo đạc không cần đến tiếp xúc trực tiếp Sử dụng điều khiển dựa thị giác giúp robot cảm nhận phản ứng với môi trường phức tạp, trước Camera bắt đầu sử dụng điều khiển robot từ năm sáu mươi kỉ trước Thông tin thị giác sử dụng điều khiển vịng hở, robot “nhìn” sau “di chuyển”, độ xác phụ thuộc trực tiếp vào độ xác cảm biến hình ảnh robot Điều khiển hồi tiếp sử dụng thông tin thị giác (điều khiển vịng kín) bắt đầu phát triển vào năm 90 giúp tăng độ xác hệ thống Hệ thống điều khiển vịng kín gọi Visual Servoing Visual servoing kỹ thuật để điều khiển robot, thông tin hồi tiếp thị giác sử dụng vòng điều khiển kín giúp cải thiện độ xác Đây kĩ thuật với kết hợp nhiều lĩnh vực khác thị giác máy tính, động học động lực học, lý thuyết điều khiển kĩ thuật tối ưu hóa (Hình 1.1) Sự thiếu xác cấu khí bù đắp sử dụng kỹ thuật visual servoing Dữ liệu thị giác hồi tiếp sơ đồ điều khiển giúp hệ thống đạt độ xác yêu cầu cho dù hệ thống khí chưa thật hồn chỉnh Một tác vụ robot Visual Servoing sử dụng đặc trưng hình ảnh trích xuất từ đối tượng để điều khiển chuyển động robot/camera Có nhiều nghiên cứu khác download by : skknchat@gmail.com tập trung vào việc lựa chọn đặc trưng hình ảnh, cấu trúc sơ đồ điều khiển, khảo sát mạnh mẽ sai số hay không chắn hiệu chỉnh robot camera Một hệ thống Visual Servoing thiết kế sử dụng đặc trưng 2D tọa độ điểm hình ảnh, đặc trưng 3D tọa độ Cartesian kết hợp hai Dựa lựa chọn đặc trưng sơ đồ điều khiển, hệ thống robot có hành vi khác Do gây khó khăn để thiết kế lựa chọn thông tin thị giác sơ đồ điều khiển cho đáp ứng phù hợp Sử dụng thị giác điều khiển robot giúp giải nhiều vấn đề khác nhờ vào thông tin thị giác thu thập mà khơng có tiếp xúc với môi trường Tuy nhiên, số vấn đề cần xem xét sử dụng cảm biến thị giác điều khiển robot Những vấn đề bao gồm ổn định cục toàn cầu, quỹ đạo robot tính hình ảnh phải phù hợp, tách rời tối đa thông tin thị giác bậc tự điều khiển, tránh kỳ dị cực tiểu cục ma trận điều khiển (ma trận tương tác), đảm bảo tính nằm trường nhìn camera, tránh va chạm tránh giới hạn góc khớp robot Hình 1.1 Các lĩnh vực liên quan đến Visual Servoing Visual servoing (VS) kỹ thuật điều khiển hồi tiếp sử dụng thông tin thị giác giúp tăng cường độ xác tính linh động hệ thống robot [3,4,5,6,7] Các tác vụ điều khiển visual servoing định nghĩa để điều khiển vị trí robot download by : skknchat@gmail.com khung tọa độ toàn cục khung tọa độ đối tượng mục tiêu, sử dụng đặc trưng thị giác trích xuất từ hình ảnh theo thời gian thực [8,9] Hàm sai số visual servoing định nghĩa sai số đặc trưng thị giác đặc trung thị giác vị trí mong muốn Mục tiêu sơ đồ điều khiển dựa thị giác điều chỉnh sai số triệt tiêu (sai số khơng) Một hay nhiều camera sử dụng để thu thập thông tin thị giác từ đối tượng để điều khiển robot [3, 5, 9, 10, 11] Dựa cách thông tin thị giác sử dụng, VS phân thành hai sơ đồ điều khiển position based visual servoing (PBVS) image based visual servoing (IBVS) [3,5,6,7,12] Sự kết hợp hai sơ đồ điều khiển tạo thành sơ đồ lai gọi 2- 1/2D visual servoing [13] Trong hệ thống PBVS, đầu vào tính tốn khơng gian 3D (vì lý này, phương pháp gọi 3D visual servoing) Vị trí đối tượng so với camera ước lượng từ đặc trưng hình ảnh đối tượng Có nhiều phương pháp khác để xác định vị trí đối tượng (xem [14]) Tất phương pháp yêu cầu biết mơ hình hình học hồn chỉnh đối tượng thông số calib camera Với hệ thống điều khiển IBVS, đầu vào tính tốn khơng gian ảnh 2D (vì lý này, phương pháp cịn gọi 2D visual servoing) [8] Phương pháp biết đến mạnh mẽ sai số calib camera robot [15] Tuy nhiên hội tụ mặt lý thuyết đảm bảo vùng (hồn tồn khơng thể phân tích để xác định) xung quanh vị trí mong muốn Ngoại trừ trường hợp đơn giản, việc phân tích độ ổn định liên quan đến lỗi hiệu chỉnh điều bất khả thi, hệ thống ghép nối phi tuyến Hai khía cạnh ảnh hưởng lớn đến hành vi hệ thống visual servoing là: việc lựa chọn đặc trưng thị giác sử dụng làm đầu vào điều khiển sơ đồ điều khiển thiết kế Cùng đặc trưng, hệ thống có hành vi khác sử dụng sơ đồ điều khiển khác luật điều khiển cho hành vi khác xem xét đặc trưng khác Hành vi thu với kết hợp lựa chọn thường không mong muốn: chọn đặc trưng cụ thể sơ đồ điều khiển cụ thể dẫn đến số vấn đề tính ổn định hội tụ download by : skknchat@gmail.com Trong phạm vi luận văn này, ứng dụng IBVS với đặc trưng thị giác chọn Image moments hay gọi Image moments based visual servoing để điều khiển robot nhận diện gắp vật 2D có hình dạng phức tạp 1.2 Sơ lược robot công nghiệp 1.2.1 Định nghĩa robot công nghiệp Theo viện Robotics Mỹ RIA định nghĩa: Robot công nghiệp thiết bị đa chức năng, có khả tái lập trình, thiết kế để di chuyển vật liệu, tay gắp thiết bị chuyên biệt khác thông qua chuyển động lập trình khác cho tác vụ đa dạng khác Nhìn từ quan điểm người kỹ sư: Robots thiết bị phức tạp, đa Nó bao gồm kết cấu khí, hệ thống cảm biến hệ thống điều khiển tự động Các nguyên lý robotics dựa kết nghiên cứu báo cáo lĩnh vực khí, điện, tự động hóa, tốn khoa học máy tính Để xem robot, thiết bị phải thỏa mãn tiêu chí sau: - Tái lập trình được: thiết kế cho chuyển động lập trình phụ thay đổi, mà không cần phải thay phần cứng - Tính đa dụng: khả làm việc, thích nghi với nhiều ứng dụng khác thay vài thiết bị phần cứng ví dụ tool - Cảm biến: có khả lấy thơng tin từ mơi trường xung quanh - Tương tác với người 1.2.2 Phân loại robot công nghiệp 1.2.2.1.Phân loại theo cấu trúc khí - Cartesian/Gantry Robots: Dạng robot có cấu trúc khớp tịnh tiến theo phương trục tọa độ Descartes Khơng gian làm việc có dạng hình hộp chữ nhật Certesian/Gantry Robot có kết cấu đơn giản, độ cứng vững cao, độ tuyến tính điều khiển cao, thường dung ứng dụng gắp đặt vật, lắp ráp, hàn hồ quang,… download by : skknchat@gmail.com Hình 1.2 Cartesian/Gantry Robots - Articulated Robots (Robot khớp lề): Dạng robot có khớp quay Là dạng robot dựa cấu trúc nối tiếp Độ cứng vững linh hoạt cao, sử dụng rộng rãi ứng dụng nhiều Hình 1.3 Articulated Robots - Parallel Robots (Robot song song): Là dạng robot bao gồm nhiều chuỗi động học kết nối bệ cố định với phận đầu cuối Robot coi dạng khái quát không gian liên kết bốn download by : skknchat@gmail.com Hình 1.4 Parallel Robots 1.2.2.2.Phân loại theo nguồn dẫn động - Robot dung ngườn cấp điện: Nguồn điện cấp cho robot nguồn điện xoay chiều chiều Ưu điểm robot loại thiết kế gọn, chạy êm, độ xác cao - Robot dung nguồn khí nén: Là dạng robot trang bị máy nén, bình chứa khí động kéo máy nén Robot loại thường sử dụng ứng dụng có tải trọng nhỏ Có tay máy xy-lanh khí nén thực chuyển động thẳng chuyển động quay Do khí nén lưu chất nén nên robot loại thường sử dụng thao tác gắp đặt khơng cần độ xác cao - Robot dùng nguồn thủy lực: Là dạng robot sử dụng nguồn thuỷ lực lưu chất không nén dầu ép Hệ thống cần trang bị bơm để tạo áp lực dầu Tay máy xy - lanh thuỷ lực chuyển động thẳng quay động dầu robot loại sử dụng ứng dụng có tải trọng lớn 1.3 Sơ lược Robot hàn 1.3.1 Tại phải sử dụng Robot hàn Hàn trình sử dụng nhiệt độ cao để làm nóng chảy vật liệu, sau làm nguội vật liệu, dẫn đến hợp hai phận Chế tạo hàn hiểu download by : skknchat@gmail.com chi phí thời gian so với q trình chế tạo khác Hàn phần thiếu sản xuất công nghiệp tiên tiến Tuy nhiên, hàn gây số vấn đề liên quan đến sức khỏe người Ngoài ra, hàn kỹ thuật khó, phải đạt nhiều tiêu chí để mối hàn đạt tiêu chuẩn Việc áp dụng robot cải thiện chất lượng mối hàn, suất, tính quán mối hàn lại giúp giảm chi phí Robot hàn giới thiệu vào năm 1960, phát triển mạnh số năm gần đây, đặc biệt ngành công nghiệp ô tô 1.3.2.Một số loại Robot hàn phổ biến Về cấu trúc khí, vào kết cấu động học, công nghệ truyền động, không gian làm việc, đặc tính chuyển động phân thành loại thơng dụng Mục dù có nhiều loại Robot hàn, ngành công nghiệp ô tô thường tập trung vào cánh tay Robot có khớp nối 6-Dof Tận dụng lợi chế 6-Dof, cánh tay robot thích ứng với nhu cầu hàn Hình 1.5 Kết tìm kiếm Robot hàn Khi nói đến điều khiển, định Robot làm liên quan đến hàn Bộ điều khiển để robot hàn có số chức để lên kế hoạch chuyển động, tốc độ cấp vật liệu, dòng điện hồ quang,…Với điều khiển này, robot lập trình trước nhiệm vụ cần làm Nhiều điều khiển tiên tiến download by : skknchat@gmail.com kết hợp với cảm biến để tìm đường hàn, cảm biến giúp robot cải thiện tính linh hoạt, độ xác khơng phụ thuộc vào hệ thống ráp chi tiết 1.3.3 Phương pháp tìm đường hàn tự động 1.3.3.1 Computer Vision Computer Vision kết hợp camera thuật toán máy tính Thuật tốn máy tính trích xuất đặc điểm hình ảnh camera ghi lại, sau tính tốn vị trí đối tượng tạo điểm đặc trưng camera Hình 1.6 Vision sensor Computer Vision robot hàn phát đường hàn thực tế, sau điều khiển robot đến điểm hàn Đây loại cảm biến khơng tiếp xúc mà đo đường hàn trước q trình hàn, cảm biến quang phổ biến lĩnh vực cảm biến theo dõi tìm đương  Ưu điểm: Linh hoạt phương pháp hiệu việc tìm đường hàn  Nhược điểm: Tốn cần bảo trì camera 1.3.4 Súng hàn Có nhiều loại súng hàn robot với nhiều tùy chọn, cấu tạo thiết kế khác Đầu tiếp xúc, đầu phun cổ thiên nga phận súng hàn Phần súng hàn chọn dựa ứng dụng hàn, Thông thường, Cổ thiên nga nghiêng 45 ° giá đỡ có cảm biến phát sock chọn cho nhiệm vụ hàn đa dụng Sự kết hợp cho phép robot hàn đủ tính linh hoạt để thích ứng với hầu hết download by : skknchat@gmail.com đường hàn Quan trọng là, cảm biến phát sock giúp robot tránh làm hỏng thiết bị hàn đắt tiền Hình 1.7 Súng hàn Chương 2: Lựa chọn phương án 2.1 Lựa chọn camera 2.1.1 Stereo camera Hình 2.1 Intel Realsense d435 Stereo camera loại máy ảnh có hai nhiều ống kính với cảm biến hình ảnh khung phim riêng biệt cho ống kính Điều cho phép máy ảnh mơ tầm nhìn ống nhịm người mang lại cho máy khả chụp ảnh ba chiều, trình gọi chụp ảnh âm Máy ảnh âm sử dụng để tạo chế độ xem âm hình ảnh 3D cho phim để chụp ảnh phạm vi Khoảng cách thấu kính máy ảnh âm điển hình (khoảng cách trục) khoảng cách hai mắt người (được gọi khoảng cách mắt) khoảng 6,35 cm, đường sở dài (khoảng cách máy ảnh lớn ) tạo chiều cực đoan Ưu điểm: Phạm vi đo lớn, bị tác động mơi trường download by : skknchat@gmail.com Nhược điểm: để đo xác việc chuẩn bị phần cứng phần mềm phức tạp 2.1.2 ToF camera (Time of flight camera) Camera ToF bao gồm cảm biến sử dụng tia laser nhỏ để phát ánh sáng hồng ngoại Ánh sáng chiếu tới vật thể người phía trước máy ảnh phản xạ trở lại cảm biến Khoảng thời gian ánh sáng cần để phản xạ lại tính tốn chuyển thành thơng tin khoảng cách sử dụng để tạo đồ chiều sâu Hình 2.2 Kinect V2 Ưu điểm: Tính tốn đơn giản, độ xác cao, giá thành thấp Nhược điểm: Dễ bị nhiễu nguồn ánh sáng bên 10 download by : skknchat@gmail.com ... Sử dụng điều khiển dựa thị giác giúp robot cảm nhận phản ứng với môi trường phức tạp, trước Camera bắt đầu sử dụng điều khiển robot từ năm sáu mươi kỉ trước Thông tin thị giác sử dụng điều khiển. .. điều khiển, hệ thống robot có hành vi khác Do gây khó khăn để thiết kế lựa chọn thông tin thị giác sơ đồ điều khiển cho đáp ứng phù hợp Sử dụng thị giác điều khiển robot giúp giải nhiều vấn đề. .. Sơ lược robot công nghiệp .4 1.2.1 Định nghĩa robot công nghiệp 1.2.2 Phân loại robot công nghiệp 1.3 Sơ lược Robot hàn 1.3.1 Tại phải sử dụng Robot hàn