Đồng bộ tín hiệu giữa các phần tử bao gồm máy ảnh và máy chiếu nhằm đảm bảo số thứ tự lần lượt của tập ảnh thu được từ 2 máy ảnh tương ứng với thứ tự các vân chiếu đã được thiết lập trước đó.
Hình 4-6 Thiết lập kích khởi của máy ảnh trong chế độ “Mode 0” do hãng pointgrey cung cấp
Hình 4-7 Thiết lập kích khởi của máy ảnh trong chế độ Mode 14 chồng chập 2 lần phơi sáng
Hình 4-8 Sử dụng kích khởi cho chiếu vân lightcrafter 4500
Để thực hiện thay đổi nhiều giá trị phơi sáng khác nhau của máy ảnh, ta có sơ đồ điều khiển và đồng bộ chung giữa các phần tử thông qua máy tính như sau:
Trigger
Máy tính
Camera 1 Camera 2
Gain1, Shutter1 Ảnh chụp Ảnh chụp
vân vân
Giai Gain2, Shutter2 Ảnh chụp Ảnh chụp
vân vân đoạn I: Chụp ảnh … … vân Gain n, Shutter n Ảnh chụp Ảnh chụp vân vân Projector (LightCrafter 4500)
Vân chiếu lên bề mặt vật
Vân chiếu lên bề mặt vật
…
Vân chiếu lên bề mặt vật
Thread 1 Thread 2
Giai đoạn 2: Tổng hợp ảnh đa phơi sáng
Giai đoạn 3: Tính toán tọa độ điểm 3D
Hình 4-9 Sơ đồ điều khiển và đồng bộ tín hiệu trong hệ thống
Camera1 Capture Trigger out Camera2 Capture Trigger in Projector Trigger input Projector Pattern display Exposure Pattern Exposure Pattern Period
Hình 4-10 Sơ đồ đồng bộ tín hiệu của 2 máy ảnh và máy chiếu theo thời
gian 4.1.3 Xây dựng phần mềm xử lý thu nhận ảnh 3D của chi tiết cơ
khí
Phần mềm cho thực nghiệm hệ thống được NCS xây dựng trên ngôn ngữ C++ nền hệ điều hành Windows 10, giao diện của phần mềm sử dụng thư viện Qt, phần xử lý hiệu chuẩn máy ảnh sử dụng thư viện OpenCV, xử lý ma trận sử dụng thư viện Eigen, hiển thị ảnh 3D sử dụng thư viện PCL và VTK.
Hình 4-11 Giao diện của phần mềm
Giao diện phần mềm thực nghiệm gồm Menu, các thanh toolbar, phần hiển thị hình ảnh từ máy ảnh, biểu diễn 3D, điều khiển bàn máy, quản lý các tệp dữ liệu quét.
Chức năng để kết nối với thiết bị
Sau khi kết nối với thiết bị quét 3D, phần mềm sẽ hiển thị hình ảnh thu được từ 2 máy ảnh;
- Thanh trượt: Khuếch đại để tăng khuếch đại số cho máy ảnh
- Màn trập là tốc độ của màn trập kỹ thuật số của cảm biến CMOS, đơn vị micro giây. Thông thường để giá trị mặc định 166660 .
- ô để điều khiển cả 2 máy cùng tham số, nếu bỏ chọn sẽ điều khiển riêng biệt từng camera.
Giao diện kết nối với bộ điều khiển bàn xoay tự động:
+ Tên của cổng: Chọn cổng mà máy tính nhận bộ điều khiển
+ Baud rate: để mặc định 15200 + Local echo: không chọn + Databits: để 8 bit
+ Parity: để None + Stop bits: chọn 1
Cây quản lý các dữ liệu quét:
- Nút : Bộ đồ gá sẽ tự động tìm điểm gốc 0 của máy
-Nút : Để bàn máy về gốc tọa độ 0.
-
từ góc xoay 0o~359o.
Điều khiển vị trí của bàn máy
- Điều khiển đầu quét
di chuyển theo trục Z: từ (0~200)
- Điều khiển trục xoay
bàn máy từ 0o ~90o
Chọn vân cho máy chiếu.
: Chọn quét đơn 1 lần cho
: Quét theo chuỗi liên tiếp khi bàn máy xoay trục W,
chọn bước cách nhau theo đơn vị góc, trong trường hợp này góc cách nhau 20O.
4.2 Xác định thông số của hệ thống
Sử dụng bàn cờ làm mẫu chuẩn có 11´8 điểm giao giữa các ô màu đen và trắng, kích thước của các ô (rộng ´ cao): (6,65×6,65) .
Tiến hành thực hiện như sau: - Bước 1: Cố định hệ thống.
- Bước 2: Đặt bảng bàn cờ cố định trước máy ảnh và máy chiếu, nằm trong vùng máy chiếu và máy ảnh có thể thu nhận được.
- Bước 3: Lần lượt đặt bảng bàn cờ ở các vị trí xa gần, góc cạnh khác nhau và thu thập các tập ảnh tương ứng.
Các vị trí đặt bàn cờ để thực hiện cần 16~45 vị trí, sao cho các vị trí của bàn cờ phủ hết vùng làm việc của 2 máy ảnh và các giao điểm ô đen trắng cần được phát hiện.
Hình 4-12 Phần mềm được xây dựng cho quá trình hiệu chuẩn
Bước 1: Chọn Focusing để máy chiếu chiếu vân các ô vuông như hình trên để chỉnh tiêu cự của hệ quang máy ảnh sao cho ảnh vân là rõ nét nhất.
Hình 4-13 Hiệu chỉnh tiêu cự và khẩu độ trên ống kính máy ảnh
Bước 2: Hiệu chỉnh khẩu độ sao cho đỉnh của vạch sáng trắng nằm trong dải độ sáng từ 200 – 230.
Hình 4-14 Điều chỉnh độ sáng tối của máy ảnh
Sau khi đã thiết lập xong các thủ tục hiệu chỉnh máy ảnh, tiến hành hiệu chuẩn theo sơ đồ thuật toán hình 4-15.
Hình 4-15 Sơ đồ thuật toán hiệu chuẩn và phần mềm
Hình 4-16 Chụp ảnh và phát hiện các giao điểm ô bàn cờ trên phần mềm
Sau khi thực hiện hiệu chuẩn ta có bảng thông số 4-1.
Bảng 4-1 Thông số hiệu chuẩn máy ảnh và hệ máy ảnh nổi
STT Thống số Máy ảnh trái Máy ảnh phải
1 Thông số nội 9 2338,7 0 1024 · 2343,2 0 1024 · 0 2338,7 768 ¸ 0 2343,2 0 768 ¸ 2 ngoại [−0,241 0,267 0 0 0] [−0,229 0,185 0 0] Thông số 0 0 1 0 0 1 3 Sai số (pixel) 0,4497 0,4500 Hệ máy ảnh nổi 0,39 4 Ma trận quay R · 0,92 −0,36 0,65 0,99 −0,0061¸ Ma trận dịch −0,39 0,0081 0,92 5 chuyển / [−94,5 −0,26 18,65] 6 Sai số (pixel) 0,4977
Nhận xét: Sai số hiệu chuẩn của hệ thống theo bảng
4-1 (0,4977 điểm ảnh) và sai số của các máy ảnh do kích thước của các ô bàn cờ không đồng nhất khi chế tạo và số lượng ảnh lấy mẫu. Có thể giảm sai số này bằng cách sử dụng các mẫu ô bàn cờ chuẩn đo lường và tăng số lượng lấy mẫu từ 30-40.
4.3 Thực nghiệm xác định ma trận chuyển vịcác vị trí của bàn máy các vị trí của bàn máy
Để tìm các ma trận quay-tịnh tiến R|T từ các vị trí của bàn máy so với vị trí gốc 0 bằng mẫu ô bàn cờ có số ô đen trắng 11´8, kích thước của một ô: (6,65´6,65) . Gá mẫu ô bàn cờ cố định lên bàn máy, sau đó đặt hệ thống tự động thay đổi lần lượt các vị trí theo các trục: Xoay trục W, xoay U, tịnh tiến theo trục Z và chụp ảnh tương ứng hình 4-18 và sơ đồ khối hình 4-19. Sau khi có tập dữ liệu điểm 3D, tính các ma trận quay R, tịnh tiến T đối với từng vị trí sao với tọa độ gốc bàn máy hình 4-17.
tr ục ti ến T ịn h Camera Camera 0 Trục quay U Bàn xoayW Hình 4-17 Sơ đồ các khâu khớp của hệ đồ gá tự động 101
Hình 4-18 Sơ đồ khối tiến trình chụp ảnh mẫu bàn cờ cho mỗi trục chuyển động
Các bước thực hiện xác định ma trận xoay và ma trận dịch chuyển của bàn máy:
- Bước 1: Khởi tạo các vị trí điểm gốc 0 của bàn máy theo các trục Z, W và U. - Bước 2: Di chuyển tới tọa độ của hệ thống với (Z=110, U=0°, W=0°)
-Bước 2: Chụp ảnh ô bàn cờ tại điểm gốc (Z=110 , U=0°, W=0°) của bàn máy theo trục W và U
- Bước 3: Dịch chuyển và chụp ảnh ô bàn cờ các vị trí theo các trục Z, W và U - Bước 4: Tìm ma trận quay và chuyển vị R|T của ô bàn cờ tại các vị trí so với điểm gốc 0.
- Bước 5: Lưu lại tệp thông tin R|T tất cả các vị trí dịch chuyển
Hình 4-19 Sơ đồ khối tiến trình tìm ma trận quay R và T cho từng vị trí
Hình 4-20 Phần mềm thực hiện tìm ma trận chuyển vị của trục quay
4.3.1 Bàn máy theo trục U
Hình 4-21 a) thể hiện dữ liệu 3D của các giao điểm ô bàn mỗi vị trí dịch chuyển quanh trục U là 1° từ 0°~76°, góc quay
77°~90° quá lớn nên hệ máy ảnh không chụp ảnh hết được ô bàn cờ nên không xác định. Hình 4-21 b) thể hiện các điểm giao của ô bàn cờ
3D sau khi áp dụng các giá trị R|T tương ứng về gốc 0 của trục U.
Hình 4-21 Dữ liệu các vị trí 3D giao điểm ô bàn cờ khi quay trục U và dữ liệu sau khi thực hiện phép quay và tịnh tiến về điểm gốc tọa độ bàn máy
SAI LỆCH THEO TRỤC QUAY U
SAI LỆCH TỔNG (MM) 4.00E-05 3.00E-05 2.00E-05 1.00E-05 0.00E+00 0 10 20 30 40 50 60 70 80 GÓC QUAY (ĐỘ)
Hình 4-22 Biểu đồ sai lệch tổng của từng vị trí so với điểm gốc tọa độ trục U 4.3.2 Bàn máy theo trục W
Hình 4-23 a) thể hiện dữ liệu 3D của các giao điểm ô bàn cờ được phân biệt bởi các màu
khác nhau, mỗi vị trí dịch chuyển quanh trục W là 1° từ 0°~359°. Hình 4-23 b) thể hiện
các điểm giao của ô bàn cờ 3D sau khi áp dụng các giá trị R|T tương ứng về gốc 0 của trục W.
a) b)
Hình 4-23 Dữ liệu các vị trí 3D giao điểm ô bàn cờ khi quay trục W và dữ liệu sau khi thực hiện phép quay và tịnh tiến về điểm gốc tọa độ bàn máy
SAI LỆCH THEO TRỤC QUAY W
SAI LỆCH TỔNG (MM) 2.00E-05 1.00E-05 0.00E+00 0 50 100 150 200 250 300 350 GÓC QUAY (ĐỘ)
Hình 4-24 Biểu đồ sai lệch tổng của từng vị trí so với điểm gốc tọa độ trục W
4.3.3 Bàn máy theo trục Z
Hình 4-25 Dữ liệu các vị trí 3D giao điểm ô bàn cờ khi dịch chuyển tịnh tiến theo trục Z và dữ liệu sau khi thực hiện phép quay và tịnh tiến về gốc tọa độ bàn máy
Hình 4-25 a) thể hiện dữ liệu 3D của các giao điểm ô bàn mỗi vị trí dịch chuyển quanh trục Z là 1dụng các giá trị R|T tương ứng về gốc vị trí 110 của trục Z. từ ,. Hình 4-23 b) thể hiện các điểm giao của ô bàn cờ 3D sau khi áp (110~1) (M M ) SAI LỆCH THEO TRỤC Z 4.00E-04 T Ổ N G 3.00E-04 2.00E-04 L Ệ C H 1.00E-04 S A I 0.00E+00 10 91 05 10 1 97938985817773696561575349454137332925211713 95 1 VỊ TRÍ DỊCH CHUYỂN (MM)
Hình 4-26 Biểu đồ sai lệch tổng của từng vị trí so với điểm gốc tọa độ tịnh tiến Z
Nhận xét: Theo hình 4-22, 4-24 và 4-25 thể hiện biểu đồ sai lệch tổng từng vị trí sau khi tính toán các ma trận R|T của trục U, W và Z giá trị sai lệch tăng khi góc của ô bàn cờ tăng hoặc khoảng cách từ đầu thiết bị quét tăng lên. Nguyên nhân từ việc xác định giao điểm giữa các ô trắng và ô đen của ô bàn cờ, để giảm sai số này có thể sử dụng bảng ma trận các ô hình tròn để thay thế. Trong thí nghiệm này, sai lệch tổng lớn nhất là 0,00039 theo trục Z, 0,0003 theo trục U và 0,000015 theo trục W.
Như vậy với mỗi vị trí dịch chuyển của bàn máy tại một vị trí tọa độ { ",1 ,?| tra bảng tương ứng với ma trận dịch chuyển { "ÿ ";1ÿ 1;
?| ?| áp dụng phương trình chuyển vị cho từng điểm 3D thu được:
9 [ " "] 1 1[ ? ?]
(4-1)
· 9 ¸=·¸
9
4.4 Thực nghiệm thu ảnh 3D của chi tiết cơ khí
4.4.1 Tạo ảnh chiếu mã Large-Gap Graycode và dịch đường
Với độ phân giải của máy chiếu là 1144×920 điểm ảnh, tạo ảnh Large-Gap Graycode 2^10 bit PHỤ LỤC 2 bảng 1.
Máy chiếu Light craft 4500 chỉ nhận ảnh 3 kênh màu định dạng *.BMP lưu trữ trong bộ nhớ Flash, vì vậy phải ghép 3 ảnh vân chiếu mã Large-Gap Graycode thành một ảnh, tương tự như vậy đối với ảnh dịch đường. PHỤ LỤC 2 bảng 2 và bảng 3 sau đó nạp ảnh vào máy chiếu Light craft 4500 như hình 4-27.
Hình 4-27 Nạp ảnh vân vào bộ nhớ của thiết bị chiếu Light craft
4500 4.4.2 Thông số thiết lập cho hệ thống
Thiết lập giá trị cho máy ảnh: - Khuếch đại kỹ thuật số: 0 - Tốc độ cửa trập: 16666
- Khẩu độ: f1/8
- Độ trễ của bộ khởi động: 5
- Độ trễ sau mỗi khuôn hình: 30 Thiết lập giá trị cho máy chiếu:
- Cường độ dòng cho LED R, G, B (Red, Green, Blue): 55, 55, 55 - Thời gian phơi sáng: 10000
- Thời gian nghỉ giữa các khuôn hình: 10000
4.4.3 Chiếu và thu nhận ảnh vân
Quá trình chiếu và thu ảnh vân: Bước 1: Đặt chi tiết đo lên bàn máy
Bước 2: Với tổng số ảnh cần chiếu bao gồm N = 28 ảnh: 2 ảnh toàn bộ vân sáng- tối, 18 ảnh vân mã hóa Large-Gap Graycode và nghịch đảo bit, 8 ảnh vân chiếu dịch đường. Máy ảnh kích khởi đến máy chiếu lần lượt N=0~28 ảnh.
Bước 3: Hệ thống lưu ảnh vào bộ nhớ: 28 ảnh chụp từ máy ảnh trái và 28 ảnh chụp từ máy ảnh phải.
Các bước thực hiện trong sơ đồ thuật toán theo hình 4-28. Ảnh thu được trong PHỤ LỤC 2. Bảng 4.
Hình 4-28 Sơ đồ thuật toán và quá trình chụp ảnh vân chiếu lên chi tiết đo
4.4.4 Tính toán ảnh 3D sử dụng ảnh độ sâu
Hình 4-29 Sơ đồ xử lý tính toán ảnh 3D từ tập ảnh chụp từ máy ảnh
Các bước thực hiện để tính toán ảnh 3D của chi tiết theo hình 4-29:
- Bước 1: Từ dữ liệu ảnh chụp của máy ảnh trái và máy ảnh phải và thông số hiệu chuẩn, thực hiện phương pháp căn ảnh (nội dung 2.5.3) và khử méo ảnh.
- Bước 2: Từ tập 18 ảnh mã Large-Gap Graycode tiến hành giải mã
- Bước 3: Từ tập 2 ảnh toàn bộ bit TẮT và bit BẬT xác định vùng chiếu vân. - Bước 4: Từ tập 8 ảnh vân chiếu dịch đường xác định đỉnh vân chiếu.
- Bước 5: Loại bỏ vùng không phải chiếu vân từ ảnh giải mã Graycode (vùng nhiễu) dựa trên ảnh xác định vùng chiếu vân.
- Bước 5: Tìm điểm tương đồng dựa trên vị trí có số mã hóa cột của máy ảnh trái trùng với mã hóa cột của máy ảnh phải và cùng có vạch đỉnh của mã dịch đường.
- Bước 6: Tính toán giá trị chênh lệch từ 2 giá trị tương đồng lấy bằng hiệu của giá trị cột ảnh bên phải trừ đi giá trị cột của ảnh bên trái tương ứng (giá trị cột là giá trị có độ phân giải nhỏ hơn đơn vị điểm ảnh từ ảnh đỉnh vân chiếu).
4.4.4.1 Ảnh giải mã Gray
Từ tập ảnh dữ liệu vân chiếu mã Large-Gap Graycode thu được từ máy ảnh, tiến hành giải mã nhị phân sau đó chuyển giá trị theo thứ tự mã hóa cột từ nhỏ tới lớn. Hình 4-30 a) và 4-31a) thể hiện ảnh giải mã nhị phân, hình 4-30 b) và 4-31 b) thể hiện chuyển đổi từ mã Large-Gap Graycode sang giá trị mã hóa cột tương ứng của máy ảnh bên trái và bên phải.
a) b)
Hình 4-30 a)Ảnh giải mã nhị phân máy ảnh bên Trái, b) Chuyển từ mã nhị phân theo tham chiếu giá trị cho mã Large-Gap Graycode
Hình 4-31 a) Ảnh giải mã nhị phân máy ảnh bên Phải, b) chuyển từ mã nhị phân theo tham chiếu giá trị cho mã Large-Gap Graycode
4.4.4.2 Xác định vùng chiếu
a) b)
Hình 4-32 Vùng xác định chiếu sáng và loại bỏ các vùng có độ chênh lệch thấp
Từ 2 ảnh các bit BẬT và các bit TẮT, xác định vùng chiếu vân của máy ảnh. Hình 4-32a và 4-32b là ảnh mặt nạ (mask-image) lần lượt của máy ảnh bên trái và phải, trong đó vùng ảnh hiển thị màu xanh là vùng không xác định và vùng màu vàng là vùng xác định. Vùng xác định là các điểm ảnh có tọa độ hàng|cột tương ứng để cho phép tính tọa độ 3D của cặp điểm tương đồng sau khi giải mã, ngược lại vùng không