TỔNG QUAN
Đặt vấn đề
Trong mọi lĩnh vực đời sống hiện nay, Robot đang được sử dụng một cách rộng rãi, có nhiều đóng góp mạnh mẽ, tích cực và đem lại nhiều hiệu quả vượt trội
Theo số liệu thống kê của Hiệp hội robot Nhật Bản, 49% robot công nghiệp được sử dụng trong ngành sản xuất máy móc điện tử, 18% trong ngành sản xuất ôtô, 6% trong ngành xử lý và làm khuôn, 5% trong ngành chế tạo máy móc, 4% trong ngành thép, 4% trong ngành thực phẩm Ngoài ra, robot cũng được sử dụng trong các ngành hóa chất, máy chính xác, gốm, giấy, nông nghiệp và lâm nghiệp,
Theo số liệu thống kê năm 2016 từ Liên đoàn Robot Quốc Tế (International Federation of Robotics) cho thấy tự động hóa trong lĩnh vực công nghiệp đang tăng trưởng nhanh trên khắp thế giới, với tỷ lệ trung bình 74 robot công nghiệp được lắp đặt trên 10.000 lao động
Tuy nhiên, trong hầu hết các ứng dụng công nghiệp, robot thường chỉ thực hiện các công việc đơn giản, lặp đi lặp lại Sử dụng robot để gắp ngẫu nhiên từ thùng là một thách thức vì robot phải xác định và nhặt một bộ phận cụ thể trong môi trường hỗn loạn Khi robot gắp một bộ phần từ thùng chứa, các bộ phận khác sẽ liên tục thay đổi vị trí và hướng Hệ thống phải nhận ra đúng vật thể, và tính toán thứ tự gắp như thế nào, nâng lên và đặt chúng mà không đụng vào các bộ phận khác hoặc thành thùng
Trước sự phát triển mạnh mẽ của nền khoa học kỹ thuật trong vài thập niên gần đây và những vấn đề thực tiễn đặt ra, công nghệ xử lý ảnh đã được tích hợp vào hệ thống robot Được bổ trợ bởi các camera càng ngày càng nhỏ hơn, mạnh mẽ hơn và giá thành thấp hơn cùng các thuật toán ngày càng phức tạp, các bộ xử lý chuyên biệt cho hệ thống xử lý hình ảnh, hệ thống Robot đang dần thay đổi các quá trình và cải thiện tốc độ sản xuất
2 Tuy nhiên, hệ thống xử lý ảnh chịu tác động mạnh bởi điều kiện ánh sáng môi trường, đặc trưng của đối tượng như vật liệu, màu sắc, hình dáng,…, phông nền, nên viêc ứng dụng robot còn một số hạn chế, đòi hỏi nghiên cứu sâu hơn
Sau khi tốt nghiệp đại học, tôi có cơ hội làm việc tại một xưởng sản xuất giầy thể thao nhãn hàng Nike Ở công đoạn quét keo dán đế của chuyền sản xuất, tồn tại một số vấn đề: một là, công nhân tiếp xúc với hóa chất (keo, nước xử lý) khoảng 8 tiếng mỗi ngày, về lâu dài sẽ dẫn đến bệnh nghề nghiệp; hai là, môi trường làm việc xung quanh khu vực này khá nóng (39~40 độ C) do nhiệt lượng thừa tỏa ra từ lò sấy; ba là, số lượng công nhân ở công đoạn này là cao nhất so với các công đoạn còn lại của chuyền sản xuất giầy
Hình 1.1 Chuyền quét keo dán đế ngành giầy Để giải quyết vấn đề này, xưởng đã lắp đặt một dây chuyền phun keo tự động Nguyên lý cốt lõi là sử dụng công nghệ quét 3D để dựng lại hình ảnh của chiếc giầy trong môi trường máy tính, sau đó tạo quỹ đạo phun keo mong muốn trên mô hình 3D, xuất dữ liệu tọa độ truyền cho tay máy thực hiện phun keo thay thế cho công nhân
3 Hình 1.2 Giầy thực tế trên chuyển sản xuất
Hình 1.3 Quỹ đạo đường phun keo Tuy nhiên, hệ thống scan 3D theo phương pháp laser triangular còn có một số vấn đề như:
- So với quỹ đạo mong muốn, quỹ đạo thực tế của tay máy vẽ trên bề mặt chiếc giầy có sai số nằm trong khoảng ± 5mm và không ổn định
Hình 1.4 Quỹ đạo thực tế của tay máy
- Khi scan 100 lần cùng một chiếc giầy, kết quả tọa độ của một số vị trí đặc trưng trên bề mặt giầy thay đổi theo cả 3 phương XYZ trong khoảng ± 10mm
4 Hình 1.5 Thống kê tọa độ các điểm nằm trên quỹ đạo phun keo trước khi calib Sai số xuất phát từ nhiều nguyên nhân như: chất lượng giầy trước khi đưa vào hệ thống scan so với khuôn mẫu canh chỉnh máy sai lệch lớn, dung sai chế tạo của các chi tiết máy và bộ truyền động cơ khí, sai lệch trong quá trình kẹp giữ khuôn giầy trước khi scan và phun keo, sai lệch quỹ đạo di chuyển của bản thân tay máy được đề cập trong tài liệu của nhà cung ứng Tuy nhiên, sai số của hệ thống scan có ảnh hưởng lớn nhất Khi tiến hành định kì 2 tuần calib lại hệ thống scan, sai số scan 3D giảm từ ± 10mm xuống ± 3mm Tuy nhiên, vẫn có hai vấn đề: một là, khi calib lại hệ thống scan phải calib lại hệ thống tay máy để đạt được sai số quỹ đạo và chất lượng phun keo trong sai số cho phép của chuyền sản xuất; hai là, vẫn chưa giải quyết triệt để vấn đề sai số, chất lượng phun keo gặp nhiều vấn đề, giầy không đạt chiếm 35% tổng sản lượng sản xuất, trong khi đó giá trị cho phép là 5%
Hình 1.6 Thống kê tọa độ các điểm nằm trên quỹ đạo phun keo sau khi calib
Vì vậy, luận văn này sẽ nghiên cứu, thiết kế hệ thống 3D vision hoạt động trong môi trường nhà xưởng đáp ứng yêu cầu sai số cho phép của công đoạn scan 3D nhằm cải thiện vấn đề chất lượng của chuyền sản xuất giầy tự động nhãn hàng Nike/ Adidas
Một số công trình nghiên cứu trong và ngoài nước
1.2.1 Một số nghiên cứu trên thế giới
1.2.1.1 Robot tự động lắp ráp ghế IKEA
Tác giả: Nanyang Technological University, Singapore
Năm công bố nghiên cứu lần đầu tiên: 4/ 2018
Một vài thành tựu, đặc điểm nổi bật:
Hệ thống robot bao gồm một camera 3D và hai tay máy được trang bị cơ cấu gắp tại khâu tác động cuối Nhóm nghiên cứu đã thiết kế giải thuật sử dụng thư viện mã nguồn mở 3D giúp cho robot hoàn thành công việc lắp ráp ghế kiểu Stefan của công ty IKEA trong khoảng thời gian 8 phút 55 giây Kết quả nghiên cứu đã được đăng trên tạp chí Science Robotics
Hình 1.7 Robot tự động lắp ráp ghế IKEA
1.2.1.2 Robot tự động gắp vật dựa theo chiều cao
Tác giả: BRASS Company, USA
Năm công bố nghiên cứu lần đầu tiên: 2017
Một vài thành tựu, đặc điểm nổi bật:
Hệ thống robot bao gồm một camera 3D LMI Gocator 2340 lắp trên cánh tay robot UR3 của công ty BRASS và cơ cấu gắp tại khâu tác động cuối Camera quét thu nhận hình ảnh thực của vật thể, từ đó tính toán đưa ra dữ liệu chiều cao Robot dựa vào
6 giải thuật đã thiết lập, gắp đối tượng từ chiều cao thấp nhất đến cao nhất, sắp xếp theo một hàng thẳng
Hình 1.8 Robot tự động gắp vật dựa trên chiều cao
1.2.1.3 Tay máy ứng dụng trong nguyên công khoan của KUKA
Tác giả: Felix von Drigalski and Airbus Group, Sweden
Năm công bố nghiên cứu lần đầu tiên: 2016
Một vài thành tựu, đặc điểm nổi bật:
Hệ thống robot bao gồm một tay máy hãng KUKA, một camera, một bộ đèn LED, bộ cảm biến lực và một cơ cấu gá đặt mũi khoan lắp trên khâu tác động cuối Khi bắt đầu khoan, robot sẽ tác dụng một lực vừa đủ, đo bởi cảm biến lực, để giữ cho tấm kim loại cố định Robot tiến hành khoan với giá trị moment xoắn được tính toán trước Kết quả lỗ khoan sẽ thu nhận về nhờ bộ camera và đèn LED Từ việc phân tích hình ảnh thu được, nhóm nghiên cứu đánh giá chất lượng và có những hiệu chỉnh thông số
7 Hình 1.9 Robot ứng dụng trong nguyên công khoan của KUKA
1.2.1.4 Tay máy tích hợp công nghệ Vision 3D
Tác giả: Theodor Borangiu, University of Bucharest, Romania
Năm công bố nghiên cứu lần đầu tiên: 2010
Một vài thành tựu, đặc điểm nổi bật:
Nghiên cứu đã thử nghiệm hai ứng dụng công nghệ 3D vision trên tay máy công nghiệp Ứng dụng thứ nhất, xây dựng lại hình ảnh 3D của vật thể dựa trên dữ liệu hình ảnh thu được từ máy scan công nghệ laser-based lắp trên tay máy công nghiệp 6-DOF Ứng dụng thứ hai, xây dựng quỹ đạo di chuyển 3D của robot theo biên dạng của vật thể dựa trên dữ liệu hình ảnh từ máy scan
Hình 1.10 Robot tích hợp công nghệ vision 3D
1.2.2 Một số nghiên cứu trong nước
1.2.2.1 Tay máy tự động phun keo
8 Đơn vị nghiên cứu: Automation team, Công ty TNHH Giầy Chingluh Việt Nam Một vài thông tin:
Mặt giầy đã được vô Last sẽ đưa vào máy scan công nghệ laser triangular để dựng lại hình ảnh 3D trên máy tính Dựa trên dữ liệu tọa độ 3D, nhóm nghiên cứu xây dựng quỹ đạo di chuyển của robot theo biên dạng của chiếc giầy theo từng size khác nhau Sau đó kiểm tra sai số vị trí bằng cách vẽ quỹ đạo di chuyển trên phom mẫu và tiến hành thực nghiệm kiểm tra chất lượng đường phun keo trên sản phẩm giầy thực tế
Hình 1.11 Tay máy tự động phun keo
1.2.2.2 Tay máy khoan sử dụng công nghệ quét 3D
Tác giả: Huỳnh Nam Sơn, Control and Automation Lab, Bách Khoa TPHCM Năm công bố nghiên cứu lần đầu tiên: 6/2018
Một vài thành tựu, đặc điểm nổi bật:
Tác giả đã xây dựng hệ thống cánh tay robot kết hợp với hệ thống 3D vision ứng dụng vào nguyên công khoan chi tiết trong lĩnh vực cơ khí Hệ thống 3D vision bao gồm một camera Intel Realsense D435 công nghệ StereoVision và cảm biến laser để tái tạo hình ảnh hình học của vật thể Bước đầu xây dựng giải thuật xử lý dữ liệu tọa độ của vật thể thu được nhờ camera, sau đó truyền dữ liệu cho bộ điều khiển của cánh tay robot Motoman UP6
9 Hình 1.12 Tay máy khoan sử dụng công nghệ quét 3D
Mục tiêu, nội dung đề tài
Mục tiêu đề tài: Thiết kế hệ thống 3D vision kết hợp với tay máy 6-DOF ứng dụng trong công đoạn phun keo ngành công nghiệp giầy Nike/ Adidas hoạt động trong điều kiện môi trường nhà xưởng
- Thiết kế cơ cấu bàn xoay vật thể
- Thiết kế cơ cấu gá đặt camera
- Thiết kế cơ cấu gá đèn laser
- Thiết kế giải thuật thu nhận ảnh 2D
- Thiết kế giải thuật xử lý ảnh, tái tạo ảnh 3D
- Thực nghiệm, đo đạc, đánh giá sai số.
Phương pháp nghiên cứu
Dựa trên cơ sở lý thuyết sẵn có như:
- Mô hình hóa, điều khiển tay máy 6 bậc tự do
- Calibrate thông số nội, ngoại camera theo mô hình pinhole
- Phương pháp xử lý thu nhận tia laser
Và cơ sở vật chất hiện có của phòng thí nghiệm Control and Automation, ta tiến hành thiết kế và thực nghiệm đánh giá hệ thống
Tay máy YASKAWA MOTOMAN HP3
Hình 1.13 Tay máy Yaskawa Motoman HP3 Một số thông số cơ bản:
11 Bảng 1.1 Bảng thông số kĩ thuật tay máy Yaswaka Motoman HP3
Camera D435 depth của hãng Intel
Hình 1.14 Camera D435 của hãng Intel Bảng 1.2 Bảng thông số kỹ thuật camera D435 hãng Intel Đặc điểm kĩ thuật Độ phân giải ảnh RGB 1920 x 1080 @ 30fps Độ phân giải ảnh depth 1280x720 @ 30fps
Công nghệ Active IR Stereo
Chiều dọc: 91.2 0 Chiều ngang: 65.5 0 Hướng nghiêng: 100.6 0
Môi trường Trong nhà/ngoài trời
Thư viện hỗ trợ SDK 2.0
Đầu bài thiết kế và các thông số ban đầu
Các thông số đầu vào cho toàn bộ hệ thống: Điều kiện môi trường:
Môi trường nhà xưởng theo tiêu chuẩn Nike: độ sáng 300 flux
Kích thước: chiều dài L%0mm, chiều rộng W8mm, chiều cao H.5mm
Bề mặt nhẵn trơn, không có khuyết lõm, không phản xạ tia laser
13 Hình 1.15 Khuôn giầy mẫu Đầu bài thiết kế
Sai số giữa ảnh 3D trên máy tính và vật thể thực tế: e = ± 1 mm
Thời gian thu nhận và dựng ảnh 3D trên máy tính: t = 10s
Tốc độ di chuyển khâu cuối của tay máy 10mm/s
Sai số vị trí quỹ đạo của khâu cuối tay máy và biên dạng vật thể: e =± 2 mm Góc hợp khâu cuối của tay máy và mặt phẳng ngang trong quá trình di chuyển: α = 45deg.
Yêu cầu hệ thống
Sử dụng công nghệ 3D vision để ghi nhận hình ảnh vật thể thực tế Chương trình máy tính sẽ xử lý dữ liệu tọa độ 3D và đường biên dạng di chuyển Khâu cuối tay máy sẽ di chuyển thay quỹ đạo đã thiết lập
LỰA CHỌN PHƯƠNG ÁN
Lựa chọn phương pháp quét 3D
Hình 2.1 Phương pháp stereo vision
+ Tốc độ xử lý nhanh
Dựa trên mô hình Stereo Vision của Ali Sophian [3], Ali Sophian đã sử dụng 2 camera với độ phân giải 0.9MP với tốc độ chụp 30FPS để dựng lại hình ảnh vật thể hình hộp chữ nhật kích thước 150x150x15 Kết quả cho được độ chính xác là 5mm/m và tốc độ chụp là nhỏ hơn 1s
• Đối tượng: Hình hộp chữ nhật 150x150x15
• Độ phân giải camera: 1280x720 Pixel = 0.9MP
• Độ chính xác: 0.753mm / 150mm = 0.5% = 5mm/m
Hình 2.2 Phương pháp structure light
+ Dễ bị ảnh hưởng bởi ánh sáng môi trường
+ Độ chính xác chưa cao
Dựa trên mô hình Structure Light đã có của E.Cuesta ở [4] E.Cuesta sử dụng camera XCD H280E với độ phân giải 1920x1080 Pixel để tái tạo hình ảnh 3D của đối tượng có kích thước 100x100x150 với số ảnh chụp 16 ảnh trong vòng dưới 4s Dưới đây là thông số và kết quả của nghiên cứu:
• Độ phân giải camera: 1920x1080 Pixel = 2MP
• Độ chính xác: ự ọ ụ = 9,81 = 98,1 (3.4) Ở đây ta bỏ qua lực hướng kính tác dụng lên ổ : Fr = 0N
Chọn ổ chặn 8201 là thép không gỉ , có đường kính trong là 12mm, C200N, C0700N X=1,66 , Y=1
Tải trọng quy ước Q=Qa
1.1 ( à ệ ℎẹ) à = 1( à ệ ướ 100 ) Tuổi thọ trung bình tính bằng triệu vòng quay
= , ≈ 1118070( ệ ò ) (3.6) Tuổi thọ trung bình tính bằng năm với vận tốc quay 0,25 vòng/s
Từ đây ta rút ra, với ứng dụng này, hoàn toàn có thể sử dụng ổ đỡ thường, không cần ổ chặn Ở đây, ta sử dụng ổ lăn dạng gối đỡ, để tránh lực dọc trục đè lên hết động cơ Như hình dưới, dạng gối đỡ này có khả năng tải lên đến 10kg
29 Hình 3.3 Gối đỡ vòng bi trục đứng
3.1.3 Mô hình thực tế và kiểm nghiệm sai số
Thứ tự lắp ráp bàn xoay
- Gắn động cơ vào mặt đế, rồi gắn cứng khớp nối vào trục động cơ
- Gắn 4 trục rồi gá mặt trên, gắn hờ gối đỡ ổ lăn lên mặt bàn
- Luồn trục chính đã gắn cứng với bàn tròn qua ổ lăn
- Siết trục chính vào đầu còn lại của khớp nối
- Cuối cùng mới siết cứng ổ lăn với mặt trên, mục đích của ổ lăn là để đỡ tải , và cũng có tác dụng đỡ trục
Hình 3.4 Mô hình bàn xoay trên Solidwork
30 Hình 3.5 Mô hình thực tế bàn xoay
Hình 3.6 Kiểm nghiệm sai số bàn xoay Thiết bị sử dụng:
- Đồng hồ so, độ chia nhỏ nhất 0.01mm
- Gá đặt đồng hồ so trên tay máy Yaskawa HP3
- Di chuyển tay máy HP3 sao cho đầu ty của đồng hồ so vừa đụng vào bề mặt của bàn xoay theo phương thẳng đứng
- Ghi nhận giá trị của đồng hồ so ở vị trí hiện tại
- Xoay bàn xoay bằng tay, ghi nhận giá trị của đồng hồ so ở nhiều điểm khác trên bề mặt bàn xoay
- Điều chỉnh cơ khí bàn xoay sao cho mọi điểm trên bàn xoay cách đầu ty đồng hồ so với giá trị trong khoảng [-0.3 ; 0.3] (mm).
Thiết kế cơ cấu gá đặt camera
Hệ thống Vision của phương pháp Laser Triangulation bao gồm 1 camera, 1 laser cũng chính là thành phần quan trọng nhất của hệ thống, chính vì vậy hệ thống gá đặt phải đảm bảo độ chính xác, đứng vững, có thể cân chỉnh mà vẫn biết vị trí, góc xoay của camera và laser, phục vụ cho quá trình xác định ma trận thông số ngoại của camera, tăng độ chính xác cho quá trình xử lý ảnh
Hình 3.7 Đồ gá camera trên Solidwork
32 Hình 3.8 Mô hình thực tế đồ gá camera
Thiết kế cơ cấu gá đặt laser
Hình 3.9 Sơ đồ động của cơ cấu gá đặt laser 1- Động cơ
2- Bộ truyền đai 3- Con trượt và đồ gá đèn laser
Tiêu chí để lựa chọn kiểu ray trượt như sau:
- Sai số hệ thống đặt ra là ± 0.4 mm nên sai số bề mặt ray trượt và sai số độ song song đề ra nhỏ hơn ± 0.4 mm
- Chế độ làm việc 2 ca, mỗi ca 8 tiếng, một năm làm việc 250 ngày, làm việc êm, ít rung động Sai số độ song song của ray trượt là thông số cần được quan tâm và được thể hiện qua hình 3.10
Hình 3.10 Sai số độ song song của ray trượt Hình 3.11 trình bày về sai số độ song song của ray trượt theo datasheet của hãng TBI motion
Hình 3.11 Biểu đồ tra sai số độ song song của ray trượt
34 Theo hình 3.11 với chiều dài thanh trượt khoảng 1000 mm, độ chính xác loại Normal
(N) thì sai số song song tương đối thấp 22 m Vì thế, lựa chọn thanh trượt hãng TBI Motion
3.3.2 Chọn loại ray trượt Để tính toán chọn loại ray trượt cho trục X, Y, Z ta dựa vào 3 tiêu chí được mô tả như hình 3.5
Hình 3.12 Các loại moment tác dụng lên con trượt Tuổi thọ con trượt L (km) được tính theo công thức:
- f h : hệ số độ cứng (hình 3.13)
- f t : hệ số nhiệt độ (hình 3.14)
- f c : hệ số tiếp xúc (bảng 3.2)
- C : chỉ số tải động cơ bản (N)
- P td : tải trọng tương đương tác dụng lên con trượt (N)
Tải trọng tương đương được tính theo công thức:
- K : là hệ số moment tương đương (mm 1 )
- K A , K B , K C tương ứng với moment tương đương theo hướng M A , M B , M C
Hình 3.13 Hệ số độ cứng f h
Hình 3.14 Hệ số nhiệt độ f t
36 Bảng 3.2 Hệ số tiếp xúc f c
37 Hình 3.15 Sơ đồ tổng quát lực tác dụng lên con trượt Tính toán:
Lực tác dụng lên con trượt:
F ms mg N (3.11) Lực quán tính sinh ra khi tăng tốc:
t (3.12) Lực tác dụng lớn nhất sinh ra theo phương ngang:
F F F N (3.13) Moment lớn nhất tác dụng lên con trượt:
M C P l Nmm (3.15) Chọn thanh trượt TRS15VS, thông số như bảng 3.4 và bảng 3.5
38 Bảng 3.4 Các loại thanh trượt hãng TBI Motion
Bảng 3.5 Bảng tra hệ số tương đương K, thanh trượt hãng TBI Motion
39 Tải trọng tương đương cho moment M A :
P K M N Tải trọng tương đương cho moment M C :
P P P N (3.16) Tuổi thọ của thanh trượt:
Thiết kế hệ thống điện điều khiển
Mạch điện bao gồm các phần chính: máy tính, vi điều khiển, driver và nguồn điện Các thành phần này kết nối với nhau thông qua dây dẫn điện Trong phạm vi nghiên cứu, ta sử dụng board Arduino Mega2560 để nhận lệnh từ máy tính thông qua chuẩn truyền UART, xử lý thông tin và sau đó thực hiện điều khiển động cơ bước thông qua 2 driver TB6600 Một, dùng cho điều khiển chuyển động xoay của bàn xoay Hai, dùng cho chuyển động tịnh tiến của đèn laser
Hình 3.16 Hệ thống điện điều khiển
Toàn bộ hệ thống
Hình 3.17 Toàn bộ mô hình hệ thống nhìn từ trước
41 Hình 3.18 Toàn bộ mô hình hệ thống nhìn từ sau
GIẢI THUẬT TẠO DỮ LIỆU POINT CLOUD
Giải thuật Laser Triangular
Hình 4.1 Mô hình phương pháp laser triangular
Ta quy ước hệ tọa độ của đối tượng quét là {O} trùng với tâm xoay của bàn xoay Hệ tọa độ của camera được quy ước là {C} với gốc tọa độ trùng với quang tâm của camera Phương trình mặt phẳng Laser trong hệ tọa độ camera {C} là {L}.
Theo công thức Pinhole Camera, ta có mối quan hệ giữa một điểm bất kì trong hệ tọa đô camera {C} và ảnh của điểm đó trong màn ảnh camera là:
Trong đó, w là hệ số scale factor
[u v 1] T là tọa độ của điểm trong màn ảnh
(fx, fy) là tiêu cự của thấu kính camera
(cx, cy) là gốc tọa độ của màn ảnh
[x c y c z c ] T là tọa độ của điểm trong hệ tọa độ camera
( ) x x c y y c c x c x c y c y c c x c x c y c y c c x c x y c y c c x x c y y c wu f c x wv f c y w z f x c z wu wv f y c z w z wu f x c z wv f y c z w z f x wu c w f y wv c w z w x w u c f y w v c f z
Phương trình mặt phẳng chứa tia laser trong hệ tọa độ camera {C} là: c c c 0 ax by cz d (4.3)Thay (4.2) vào (4.3), ta được
( ) ( ) x y x y y x x y x y x y y x x y x y x y x y y x x y x y x y x y w w a u c b v c c d f f a f u c b f v c c f f df f w af u c bf v c cf f df f w df f af u c bf v c cf f w d a b u c v c c f f
Vậy hệ số scale factor được tính theo công thức,
Bất kì một điểm nào thuộc hệ tọa độ bàn xoay {O} đều có thể chuyển về hệ tọa độ camera {C} theo công thức:
là thành phần xoay của ma trận thông số ngoại
là thành phần tịnh tiến của ma trận thông số ngoại
45 Đối với thuật toán Laser Triangulation, hình ảnh sẽ được chụp lại và xử lý qua chương trình xử lý ảnh để tìm tọa độ (u,v) trong màn ảnh, sau đó dùng công thức (4.5) để tìm giá trị hệ số scale factor w Thay w vào công thức (4.2) để tìm tọa độ (xc, yc, zc) trong hệ tọa độ camera {C} Tiếp theo, từ công thức (4.6) ta tính được tọa độ (xo, yo, zo) trong hệ tọa độ bàn xoay {O}.
Tìm đường Laser trong ảnh
Phương trình hàm Gaussian dùng trong không gian hai chiều
Trong đó x và y là tọa độ theo hai trục đứng và ngang còn σ là phương sai chuẩn của phân tán Gaussian hay là giá trị quyết định độ lệch giữa các điểm trên bề mặt Gaussian Giá trị mới của mỗi Pixel sau khi tính tích chập với Kernel đại diện cho hàm Gaussian có thể coi là trung bình lượng giá của các pixel xung quanh nó Ta thấy rằng giá trị lượng giá của phần tử trung tâm Kernel tương ứng với pixel đang xét là lớn nhất, giá trị này sẽ nhỏ hơn đối với các phần tử tương ứng với những pixel kế cận một cách đối xứng và tỉ lệ thuận với khoảng cách của phần tử này với trung tâm
Hình 4.2 Hình ảnh qua bộ lọc Gaussian
Vì tia laser có màu đỏ, trùng với kênh màu Red trong hệ thống 3 kênh màu RGB của ảnh, nên ta sẽ sử dụng phương pháp Threshold đối với kênh màu đỏ để tìm đường Laser
Hình 4.3 Tìm đường Laser bằng Threshold kênh màu Red từ ảnh gốc
Camera Calibration
4.3.1 Tìm ma trận thông số nội
Camera calibration tạm hiểu là một phương pháp tính toán và thực nghiệm nhằm tìm ra các thông số của camera cho việc tái tạo không gian 3D của một cảnh nào đó trong thực tế bằng những ảnh mà camera đó chụp lại được Camera Calibration, còn được gọi là hiệu chỉnh camera, ước tính các thông số của ống kính và cảm biến hình ảnh của máy ảnh hoặc video Chúng ta có thể sử dụng các tham số này để sửa lỗi biến dạng ống kính, đo kích thước của vật thể theo đơn vị thực tế hoặc xác định vị trí của máy ảnh trong cảnh Các tác vụ này được sử dụng trong các ứng dụng như thị giác máy để phát hiện và đo lường các đối tượng Chúng cũng được sử dụng trong chế tạo robot, cho các hệ thống định vị và tái tạo cảnh 3 chiều
Thông số máy ảnh bao gồm Intrinsic, Extrinsic và hệ số méo Để ước tính các thông số camera, chúng ta cần phải có các điểm ở hệ tọa độ 3 chiều và các điểm hình
47 ảnh 2 chiều tương ứng của chúng trong màn ảnh Ta có thể nhận được các tương ứng này bằng cách sử dụng nhiều hình ảnh của một mẫu hiệu chuẩn, chẳng hạn như Checker Board Sử dụng các tương ứng, bạn có thể giải quyết các thông số máy ảnh Sau khi bạn hiệu chỉnh máy ảnh, để đánh giá độ chính xác của các thông số ước tính
Matlab cũng cấp Tool Box Camera Calibration [12], sử dụng bàn cờ làm Checker Board, chụp từ 10 - 15 hình ảnh ở nhiều gốc độ để đưa ra kết quả là các ma trận Intrinsic, Extrinsic, hệ số méo
Hình 4.4 Tool cameraCalibrator trong Matlab
Ta có thể nâng cao độ chính xác của calib camera nhờ vào kiểm tra các thông số Reprojection Errors, kiểm tra Extrinsic dựa vào mô hình cơ khí ta đã thiết kế Sau đó xóa hình, chèn hình để nâng cao độ chính xác của quá trình calib Ta sẽ chỉ lấy kết quả Intrinsic, Extrinsic ta sẽ xác định hệ tọa độ của tâm bàn xoay so với tâm thấu kính camera dựa vào thiết kế cơ khí để đảm bảo độ chính xác Intrinsic có dạng:
4.3.2 Tìm thành phần xoay của ma trận thông số ngoại
Bố trí camera, bàn cờ và bàn xoay như hình bên dưới
Ta bỏ qua độ dày của tờ giấy in bàn cờ, coi như mặt phẳng bàn cờ trùng với mặt phẳng bàn xoay, chọn chiều dương X, Y như hình
Sử dụng tool cameraCalibrator của Matlab ta xác định được ma trận thông số ngoại
Hình 4.5 Cách đặt bàn cờ để xác định thành phần xoay
4.3.3 Tìm thành phần tịnh tiến của ma trận thông số ngoại
Bố trí camera và bàn cờ như hình bên dưới, bàn cờ chuyển động xoay cùng với bàn xoay
49 Hình 4.6 Cách đặt bàn cờ để xác định thành phần tịnh tiến
Sử dụng tool cameraCalibrator của Matlab xác định tọa độ gốc bàn cờ trong hệ tọa độ camera {C}
Hình 4.7 Tọa độ gốc bàn cờ trong hệ tọa độ camera Giả sử, O x y z 1( , , )1 1 1 , O x y z 2( ,2 2, )2 và O x y z 3( ,3 3, )3 là tọa độ gốc bàn cờ của 3 tấm ảnh
50 Áp dụng công thức hình học, ta tính được tọa độ tâm I x y z( , I I , ) I là tâm đường tròn ngoại tiếp tam giác O O O 1 2 3 , cũng là tâm của bàn xoay, và cũng là gốc tọa độ của hệ tọa độ bàn xoay {O}
Hình 4.8 Tâm đường tròn ngoại tiếp tam giác O O O 1 2 3
4.3.4 Tìm mặt phẳng chứa tia laser
Bố trí camera, tia laser và bàn cờ như hình bên dưới
Hình 4.9 Cách đặt bàn cờ để xác định mặt phẳng chứa tia laser Tọa độ điểm trên đường laser trong hệ tọa độ bàn xoay {O} và hệ tọa độ camera {C} được tính toán thông qua công thức (4.6)
51 Trong tấm ảnh thứ nhất, gọi A x y z ( , a a , a ) và B x y z ( , b b , b )là tọa độ 2 điểm trên bàn cờ so với gốc được xác định bởi tool cameraCalibrator của MATLAB
Xét trong trường hợp cụ thể này, 2 điểm A và B có tọa độ như sau:
Hình 4.10 Tọa độ các điểm A, B trên bàn cờ trong hệ tọa độ camera
(độ dài cạnh ô vuông là 23mm)
Gọi R 1 và T 1 là thành phần xoay và tịnh tiến của ma trận thông số ngoại của tấm ảnh thứ nhất
Xét trong trường hợp cụ thể này,
Từ công thức (4.6), chuyển tọa độ điểm A và B sang hệ tọa độ camera
Trong tấm ảnh thứ hai, gọi C x y z ( , c c , ) c là tọa độ 2 điểm trên bàn cờ so với gốc được xác định bởi tool cameraCalibrator của MATLAB
Xét trong trường hợp cụ thể này, điểm C có tọa độ như sau: C (92, 46, 0)
53 Hình 4.11 Tọa độ các điểm C trên bàn cờ trong hệ tọa độ camera Gọi R 2 và T 2 là thành phần xoay và tịnh tiến của ma trận thông số ngoại của tấm ảnh thứ hai Tương tự như trên, ta chuyển tọa độ điểm C sang hệ tọa độ camera
Qua 3 điểm không thẳng hàng, ta tìm được phương trình mặt phẳng chứa tia laser: c c c 0 ax by cz d (4.10)
Với giá trị a,b,c,d lần lượt là: a= 1; b= -0.7472; c=1.0443; d= -450.108
4.3.5 Phương pháp xác định các mặt phẳng laser song song
Gọi mặt phẳng ( ) là mặt phẳng song song với mặt phẳng laser đã xác định ( ) : c c c 0 ax by cz d và cách mặt phẳng ( ) một khoảng
Khi đó, mặt phẳng ( ) sẽ có phương trình: c c c 0 ax by cz d (4.11) Gọi điểm M x( m ,y m ,z m ) có tọa độ biết trước thuộc măt phẳng ( )
Khoảng cách từ điểm M x( m ,y m ,z m ) đến mặt phẳng ( ) được tính theo công thức:
( ) m m m m m m d M ax by cz d a b c d a b c ax by cz
Vậy, mọi mặt phẳng ( ) song song với mặt phẳng ( ) và cách ( ) một khoảng đều có thể xác định được từ công thức trên
GIẢI THUẬT XỬ LÝ DỮ LIỆU POINT CLOUD
Lọc Passthrough
Bộ lọc Passthrough cho phép giới hạn dữ liệu trong vùng không gian (xmin; xmax) ,(ymin; ymax), (zmin; zmax) Việc giới hạn không gian là một bước quan trọng giúp xác định được đối tượng trong dữ liệu.
Lọc Radius Outlier Removal
Hình bên dưới minh họa nguyên lý của bộ lọc Radius Outlier Removal
Nếu số lượng điểm lân cận được khai báo là 1 thì điểm màu vàng sẽ bị loại bỏ khỏi không gian PointCloud vì trong vòng tròn tâm là điểm màu vàng, bán kính đã khai báo trước không tồn tại ít nhất 1 điểm nào
Nếu số lượng điểm lân cận được khai báo là 2 thì điểm màu xanh sẽ bị loại bỏ khỏi không gian PointCloud vì trong vòng tròn tâm là điểm màu xanh, bán kính đã khai báo trước chỉ tồn tại 1 điểm
Hình 5.1 Nguyên lý bộ lọc Radius Outlier Removal
Lọc Statisticcal Outlier Removal
Quét Laser thường tạo ra các bộ dữ liệu đám mây điểm với mật độ điểm khác nhau Ngoài ra, các lỗi tìm đường Laser đến các nhiễu rời rạc làm hỏng kết quả Điều này làm phức tạp việc ước lượng đặc tính của đám mây điểm để đưa ra vector pháp tuyến của bề mặt hoặc thay đổi độ cong, dẫn đến các giá trị sai, do đó có thể gây ra lỗi registration đám mây điểm Một số trong những bất thường này có thể được giải quyết bằng cách thực hiện phân tích thống kê trên từng vùng lân cận điểm và loại bỏ những
56 điểm không đáp ứng một tiêu chí nhất định Loại bỏ nhiễu thưa thớt dựa trên tính toán phân phối điểm đến khoảng cách lân cận trong tập dữ liệu đầu vào Đối với mỗi điểm, bộ lọc Static Remove Outliers tính khoảng cách trung bình từ nó đến tất cả các điểm lân cận Bằng cách giả sử rằng phân phối kết quả là Gaussian với giá trị trung bình và độ lệch chuẩn, tất cả các điểm có khoảng cách trung bình nằm ngoài một khoảng được xác định bởi giá trị trung bình toàn cầu và độ lệch chuẩn có thể được coi là nhiễu và được cắt từ tập dữ liệu.
Lọc Voxel Grid
Số điểm còn lại của đám mây điểm vẫn còn rất lớn, đó là một thách thức cho thời gian xử lý các thuật toán phía sau, do đó việc lấy mẫu downsampling là việc làm cần thiết để giảm thời xử lý và giảm độ phức tạp của các thuật toán và các vấn đề nảy sinh sau này, khi mà rất nhiều đám mây điểm sẽ được sử dụng để ghép nối với nhau tạo thành một đám mây điểm hoàn chỉnh Bộ lọc lưới cho phép qui định mật độ điểm trong point clouds theo các phương x, y, z
Việc tạo ra lưới các pixel thể tích (volumetric pixel – voxel) là loại kỹ thuật có thể được sử dụng để chia không gian 3 chiều thành những khối lập phương 3D có kích thước nhỏ hay những khối hộp 3D chữ nhật nếu ta sử dụng kích thước thay đổi cho các trục x, y và z Ý tưởng chính của bộ lọc lưới là nếu số lượng các điểm ở bên trong một khối lập phương có kích thước xác định vượt quá một ngưỡng nào đó thì toàn bộ khối lập phương sẽ được rút gọn và được thay thế thành 1 điểm nằm ở trọng tâm của các điểm, không phải là tâm của pixel thể tích Cách tiếp cận này cần thời gian xử lý lâu hơn so với khi thay thế xấp xỉ các điểm bởi tâm của pixel thể tích, nhưng nó sẽ giúp cho việc biểu diễn bề mặt được chính xác hơn.
Giải thuật Moving Least Squares (Smoothing)
5.5.1 Ước lượng vectơ pháp tuyến Ước lượng vector pháp tuyến được áp dụng trong nhiều lĩnh vực như đồ họa máy tính, xử lý hình ảnh, toán học, nhưng đặc biệt được áp dụng nhiều trong tái tạo bề mặt Các cảm biến 3D trong quá trình quét bề mặt vật thể thông qua việc thu thập các điểm rời rạc có nhiễu Trong quá trình lấy mẫu đó, thông tin về hướng và độ cong của bề mặt bị mất đi Quá trình ước lượng vector pháp tuyến (Normal Estimation) sẽ có
57 nhiệm vụ khôi phục lại các thông tin đó bằng cách kết hợp thông tin với các điểm lân cận của từng điểm
Vector pháp tuyến bề mặt tại từng điểm sẽ được ước lượng sao cho mặt phẳng phù hợp được tính toán sao cho tổng bình phương sai số tới các điểm lân cận điểm đó là nhỏ nhất.Với tập hợp điểm đầu vào X = {xi}, mục tiêu là tìm vector pháp tuyến ⃗ bề mặt tại từng điểm Xét từng điểm xj trong tập hợp điểm, xét k điểm lận cận với điểm xi với khoảng cách nhỏ hơn r:
Tìm một mặt phẳng Π sao cho tổng bình phương khoảng cách k điểm lận cận tới mặt phẳng là nhỏ nhất:
5.5.2 Giải thuật Moving Least Squares
Moving Least Squares là một phương pháp tái tạo một hàm liên tục từ tập hợp các điểm không được sắp xếp thông qua quá trình tính toán trọng số của bình phương tối thiểu sai số từ hàm đang xét tới tập hợp điểm đó Giả sử tập mẫu ban đầu là các điểm P= {pi}, tập hợp điểm này sẽ được dùng để tái tạo bề mặt SP Mặc dù vậy thì tập hợp điểm này có chứa nhiễu, ảnh hưởng đến quá trình tái tạo bề mặt Vì vậy, ý tưởng đằng sau thuật toán MLS là tạo ra một tập hợp điểm mới (R = {ri}) và SR sẽ là bề mặt mới tương ứng
Moving Least Squares tìm phương trình xấp xỉ hàm:
58 Hình 5.2 Giải thuật Moving Least Squares Giải thuật MLS sẽ làm mượt bề mặt bằng cách tái lấy mẫu upsampling, downsampling hoặc tái phân bố các điểm Thư viện PCL hỗ trợ sẵn các phương pháp xấp xỉ Moving Least Squares như: NONE, SAMPLE LOCAL PLANE, RANDOM UNIFORM DESITY, VOXEL GRID DILATION.
Tái cấu trúc bề mặt vật thể
Quá trình tái cấu trúc bề mặt vật thể được xây dựng từ dữ liệu đã được ước lượng pháp tuyến và dữ liệu gốc, từ đó hình thành mắt lưới bề mặt (meshes) Quá trình này cũng sẽ hiệu chỉnh lại các điểm dữ liệu, che lấp các khoảng trống do lỗi quá trình lấy mẫu đồng thời cân chỉnh lại mô hình 3D của vật thể
Các thuật tái cấu trúc bề mặt Poisson hay Maching Cube sẽ hình thành một bề mặt ổn định của vật thể sử dụng các hàm không tường minh để xấp xỉ các bề mặt và sau đó chia nhỏ chúng thành các mặt nhỏ hơn Nguyên lý chính của giải thuật này dựa trên việc đánh giá tập hợp các vector hướng pháp tuyến của các đường biên và sau đó hình thành nên một mặt lưới
Sau bước này có thể xuất ra các dạng file 3D như *.STL, *.VTK, *.O3J để sử dụng cho các mục đích khác nhau
Quá trình tái tạo bề mặt này có thể tự thực hiện bằng hỗ trợ của thư viện PCL hoặc xuất ra file *.PLY và thực hiện thông qua phần mềm MeshLab File định dạng 3D sau khi được tạo ra được mở bằng phần mềm Solidworks hoặc Meshlab để phục vụ cho việc đo lường sau khi quét
Lưu đồ giải thuật
60 Hình 5.4 Chương trình thu nhận hình ảnh
61 Hình 5.5 Chương trình xử lý hình ảnh tạo Point Cloud
62 Hình 5.6 Chương trình xử lý dữ liệu Point Cloud
Quá trình xử lý dữ liệu Point Cloud
Hình 5.7 Quá trình xử lý dữ liệu Point Cloud
TRUYỀN DỮ LIỆU TỌA ĐỘ CHO ROBOT
Hệ tọa độ User Coordinates của robot
User Coordinates là hệ tọa độ người dùng, có gốc tọa độ, hướng của các trục theo ý muốn của người dùng User Coordinates được xác định bởi ba điểm mà người dùng dạy cho Robot Để cài đặt hệ tọa độ User Coordinates, người dùng xác định ba điểm là ORG, XX và XY bằng cách Teaching cho Robot Trong đó ORG là gốc tọa độ, XX là một điểm thuộc trên trục OX và XY là một điểm trên trục Y của hệ tọa độ User Coordinates được Teach
Hình 6.1 Hệ tọa độ user coordinates của robot
Ta sẽ cài đặt hệ tọa độ User Coordinates này trùng với hệ tọa độ của bàn xoay để thuận tiện cho quá trình thực hiện
64 Hình 6.2 Gốc tọa độ User Coordinate đặt tại tâm bàn xoay
Cài đặt dữ liệu đầu Tool
Để Robot thực hiện đúng chương trình thì quá trình cài đặt dữ liệu đầu Tool trên Robot là quá trình quan trọng để có thể xác định hệ tọa độ ở đầu Tool
Hình 6.3 Hệ tọa độ Tool
65 Hình 6.4 Cài đặt vị trí và hướng của đầu Tool
Hình 6.5 Calib đầu tool robot
Lập trình điều khiển robot
Lập trình điều khiển Robot với tủ điều khiển NX100 sử dụng ngôn ngữ INFORM II Các câu lệnh thường sử dụng trong lập trình điều khiển Robot là:
+ MOVJ: chuyển động nội suy giữa 2 điểm bất kì được dạy
66 + MOVL: chuyển động nội suy đường thẳng giữa 2 điểm
+ MOVC: chuyển động nội suy đường tròn
+ MOVS: chuyển động nội suy spline
+ JUMP: nhảy bước trong chương trình
+ TIMER: tạo khoảng thời gian delay mong muốn
+ CALL: gọi chương trình con
Cấu trúc một câu lệnh của Robot:
Xét một câu lệnh: MOVL P001 VJ = 25.00
- MOVL để cài đặt lệnh chuyển động nội suy đường thẳng giữa 2 điểm
- P001 là điểm có cấu trúc X Y Z Rx Ry Rz được khai báo trong chương trình
- VJ = 25.00 là tốc độ thực hiện tác vụ của Robot, ở đây là 25% tốc độ tối đa của Robot
Hình 6.6 Dữ liệu quỹ đạo thực nghiệm
KẾT QUẢ THỰC NGHIỆM, ĐÁNH GIÁ
Quá trình thực nghiệm
- Mô hình bàn xoay vật thể
- Mô hình trượt tịnh tiến đèn laser
- Tay máy Yaskawa HP3, tủ điều khiển NX100
- Cấp nguồn cho mô hình bàn xoay, mô hình trượt tịnh tiến đèn laser, camera Intel Realsense D435
Hình 7.1 Cấp nguồn cho mô hình thực nghiệm
- Điều chỉnh ánh sáng môi trường để thu được hình ảnh tia laser trên bề mặt vật thể rõ nét nhất
Hình 7.2 Điều chỉnh ánh sáng môi trường để thu tia laser rõ nét
- Cấp lệnh cho vi điều khiển để đèn laser tịnh tiến tới, camera bắt đầu thu nhận hình ảnh, chương trình ghi nhận dữ liệu thời gian
- Cấp lệnh cho vi điều khiển để bàn xoay quay vật thể 180 độ
Hình 7.3 Cấp lệnh xoay bàn xoay
- Cấp lệnh cho vi điều khiển để đèn laser tịnh tiến lùi, camera tiếp tục thu nhận hình ảnh, chương trình ghi nhận dữ liệu thời gian
Hình 7.4 Cấp lệnh di chuyển lùi tia laser
- Kiểm tra các file data_calib.txt, datatime.txt, file ảnh sample_xxx.jpg
69 Hình 7.5 File data_calib.txt, datatime.txt
- Chạy chương trình viết trên nền C++ để tạo file Solid.pcd
Kết quả thực nghiệm
Hình ảnh 3D trước khi lọc
Hình 7.6 Hình ảnh vật thể thực tế – trước khi xoay 180 độ
70 Hình 7.7 Hình ảnh 3D vật thể – trước khi xoay 180 độ
Hình 7.8 Hình ảnh vật thể thực tế – sau khi xoay 180 độ
71 Hình 7.9 Hình ảnh 3D vật thể - sau khi xoay 180 độ
Hình 7.10 Hình ảnh 3D vật thể sau khi ghép hai góc scan
Di chuyển tay máy theo quỹ đạo tia laser
72 Hình 7.11 Di chuyển tay máy theo quỹ đạo tia laser
Đánh giá sai số quá trình quét
- Kích thước chiều dài của vật thể mẫu: 250 mm
Hình 7.12 Kích thước chiều dài của vật thể thực tế
73 Hình 7.13 Kích thước chiều dài hình ảnh 3D – trước khi xoay 180 độ
Hình 7.14 Kích thước chiều dài hình ảnh 3D – sau khi xoay 180 độ
74 Bảng 7.1 Bảng đánh giá sai số kích thước chiều dài
- Kích thước chiều cao của vật thể mẫu: 97.5 mm
Hình 7.15 Kích thước chiều cao của vật thể thực tế
75 Hình 7.16 Kích thước chiều cao hình ảnh 3D – trước khi xoay 180 độ
Hình 7.17 Kích thước chiều cao hình ảnh 3D – sau khi xoay 180 độ
Bảng 7.2 Bảng đánh giá sai số kích thước chiều cao
Kết luận đề tài
- Hoàn thành xây dựng mô hình thực nghiệm hệ thống 3d vision dạng laser triangular
- Hoàn thành thiết kế giải thuật thu nhận và xử lý ảnh 2D, xử lý dữ liệu tọa độ trong không gian 3D, tái cấu trúc bề mặt vật thể
- Đã tiến hành một số thực nghiệm dựa trên mô hình đã xây dựng
- Đã đánh giá sai số hình ảnh 3D so với vật thể thực tế
- Sai số kích thước còn cao và không ổn định
- Chưa thực nghiệm di chuyển đầu tool theo quỹ đạo là biên dạng của chiếc giầy