1.3.1 Tình hình nghiên cứu trên thế giới
Nhằm đưa ra cái nhìn tổng quan hơn để định hình và so sánh giữa các phương pháp, Bảng 1-1 theo Salvi (2006)[18], (2010)[19] đã đưa ra các đặc trưng chủ yếu của các phương pháp đo sử dụng ánh sáng cấu trúc đã được công bố từ năm 1982 đến năm 2015. Trong đó:
+ Số ảnh chiếu: Là số ảnh cần thiết cho mỗi lần đo được chiếu lên bề mặt chi tiết.
+ Số camera: Là số máy ảnh kết hợp 01 máy chiếu cho thiết lập hệ thống.
+ Trục tọa độ 1D hoặc 2D: Là trục mã hóa trong một ảnh chiếu có thể theo chiều
OX hoặc OY.
+ Chiều sâu của điểm ảnh: Là số kênh và giá trị của điểm ảnh trên một khung hình
chiếu lên vật: Color (ảnh màu 3D RGB từ 0-255); Gray (ảnh xám 1 kênh từ 0-255), Binary (ảnh nhị phân sáng-tối)
+ Các thức mã hóa: Là cách thức thông tin được lưu trữ trên mỗi ảnh chiếu: A là
mã hóa tọa độ điểm ảnh tuyệt đối, P là mã hóa qua các giá trị trung gian (qua pha, …).
Bảng 1-1 Các phương pháp đo trong ánh sáng cấu trúc Slavi 2010 (nguồn: [19])
Kỹ thuật sử dụng
Rời rạc
Đa phân chia theo không gian De Bruijn
12
Không có định dạng
M-array
Đa phân chia theo thời gian Mã hóa nhị phân Mã hóa N-ary Mã hóa dịch chuyển Liên tục Một pha dịch chuyển Nhiều pha dịch chuyển
Đa phân chia theo tần số
Tần số mã hóa đơn
13 Chen Yue Chen Berryman Gdeisat Zhang Lin Huang Jia Wu
Đa phân chia theo không gian
Biến đổi dải
Các kỹ thuật trong phương pháp ánh sáng cấu trúc được áp dụng tùy thuộc vào đặc tính của chi tiết cần đo, những phương pháp đo sử dụng 01 ảnh chiếu sử dụng cho các chi tiết chuyển động cần tốc độ đáp ứng thời gian thực; Do vậy yêu cầu về độ chính xác không cao. Những phương pháp sử dụng các chuỗi ảnh liên tiếp cho độ chính xác hơn nhưng bù lại thời gian cho mỗi lần đo mất nhiều hơn.
Sau 2015, cùng với sự phát triển của nguồn laser, bộ thu cũng như các phương pháp xử lý ảnh thu được; Xu hướng các nghiên cứu đi sâu vào sử dụng kỹ thuật lai SLS nhằm khai thác ưu điểm của hai phương pháp ánh sáng cấu trúc và tầm nhìn nổi khi sử dụng hai máy ảnh kết hợp với máy chiếu vân.
1.3.1.1 Một số nghiên cứu sử dụng ảnh độ sâu trong ánh sáng cấu trúc
Mô hình toán học của ánh sáng cấu trúc sử dụng tam giác đạc cổ điển để xác định tọa độ điểm ảnh trong không gian 3D nhằm thu được một tập hợp ảnh đám mây điểm, tuy nhiên các tập dữ liệu này không được sắp xếp theo một tổ chức thứ tự do đó gây khó khăn cho quá trình tái tạo bề mặt 3D dưới dạng lưới điểm, đồng thời yêu cầu phải mã hóa cả 2 chiều (theo hàng và cột của điểm ảnh). Việc sử dụng ảnh độ sâu (depth map) trong hệ thống máy ảnh nổi cho nhiều lợi thế khi áp dụng hình học epipolar [20], [21], [22], [23], sau đó sử dụng phương pháp nắn ảnh (image rectifier ) để đưa ảnh của hệ ảnh nổi thẳng hàng [24], [25], [26], [27], khi đó hệ thống làm việc tương tự như mắt của con người. Ảnh độ sâu của hệ máy ảnh nổi được tổ chức theo dạng hàng và cột do đó dễ dàng xác định các điểm ảnh lân cận và có thể loại bỏ nhiễu đồng thời khi tạo lưới điểm bẳng cách đặt ngưỡi của độ dài của lưới. Đối với hệ máy ảnh nổi thụ động (sử dụng hoa văn trên bề mặt vật thể đo) gặp nhiều khó khăn khi tìm các cặp điểm ảnh tương đồng giữa các cặp ảnh trái-phải thu được, do vậy việc sử dụng ánh sáng cấu trúc để mã hóa các điểm ảnh trên bề mặt vật thể đo nhằm giải quyết vấn đề này.
Scharstein và cộng sự [28] đề xuất một phương pháp để đạt được các cặp hình ảnh máy ảnh nổi có độ phức tạp cao với sự tương ứng chính xác đến từng điểm ảnh sử dụng
ánh sáng cấu trúc. Tiếp theo đó là những nghiên cứu tích hợp giữa hệ máy ảnh nổi với ánh sáng cấu trúc Massot-Campos 2015 [29] để thu nhận ảnh 3D với các chi tiết đặt dưới nước. Tran và các cộng sự 2018 [30] đưa ra sử dụng vân chiếu Graycode với mô hình tương tự nhằm giải quyết bài toán tìm các cặp điểm ảnh tương đồng một cách rõ ràng và chính xác hơn. Li [31], Zhang [32] sử dụng vân chiếu Gray kết hợp với dịch pha để tăng độ phân giải của hệ thống.
Đối với các phương pháp hiện nay, chúng ta có thể chia thành 2 mô hình hệ thống theo hình 1-7. Để so sánh ưu và nhược điểm giữa các mô hình này chúng ta xét tới các yếu tố:
+ Độ chính xác phép đo
+ Thời gian - khối lượng tính toán
+ Trường nhìn
+ Độ sâu trường ảnh chiếu của hệ chiếu sáng (máy chiếu)
Hình 1-7 Mô hình hệ thống sử dụng ánh sáng cấu trúc a) sử dụng 1 máy ảnh + 1 máy chiếu, b) sử dụng 2 máy ảnh + 1 máy chiếu
Xét trong điều kiện đầu tiên, độ chính xác của hệ thống tỷ lệ với bao nhiêu điểm tương đồng tìm được giữa 2 máy ảnh (trong cả trường hợp máy chiếu là hệ máy ảnh ngược). Trong mô hình 1-7 là mô hình cơ bản của một hệ thống thu nhận 3 chiều sử dụng ánh sáng cấu trúc. Máy chiếu đóng vai trò vừa chiếu vân trên bề mặt vật vừa là một máy ảnh thứ 2, mỗi một vạch của vân chiếu ra luôn lớn hơn bề rộng của một đơn vị điểm ảnh trong ảnh của máy ảnh thu được, độ rộng của vân trong ảnh bị quyết định bởi hình dạng hình học của bề mặt vật được chiếu, do vậy ảnh hưởng đến quá trình tìm chính xác điểm tương đồng và điểm này được chỉ được ước lượng tương đối dẫn tới mô hình này có độ phân giải và độ chính xác thấp. Mặc dù quá trình nội suy tìm giá trị nhỏ hơn một đơn vị điểm ảnh có thể thực hiện cả trong mô hình 1-7a và 1-7b, tuy nhiên trong trường hợp khớp mẫu sẽ bị ảnh hưởng với tính liên tục và độ chụm của vạch chiếu.
Thông thường mô hình 1-7b có độ phân giải cao hơn nhưng đối với bề mặt có độ mịn thì sự khác biệt giữa 1-7a và 1-7b là khó xác định. Mặt khác khi áp dụng phương pháp dịch chuyển đường thì vấn đề này được giải quyết hoàn toàn.
Trường nhìn của mô hình 1-7b là nhỏ hơn so với 1-7a vì phần trường nhìn được quyết định bằng vùng chiếu của máy chiếu, cũng có nghĩa là nhỏ hơn so với mô hình hệ thu ảnh nổi thụ động. Đối với các máy chiếu hiện nay, độ sâu trường ảnh là rất hẹp, do vậy càng ra xa vân chiếu càng bị mờ và ảnh hưởng rất lớn đến các thuật toán phân tích vân do vậy, mô hình 1-7a có độ sâu trường ảnh nhỏ hơn do sử dụng máy chiếu làm máy ảnh phụ.
Đối với mô hình sử dụng hệ máy ảnh nổi, sau khi xác định thông số ngoại giữa 2 máy ảnh thành phần, chúng ta có thể áp dụng phương pháp nội suy ảnh nổi để đưa về dạng song song giữa các điểm tương đồng thẳng hàng. Bài toán đặt ra lúc này là xác định các điểm tương đồng trong cùng thứ tự hàng giữa 2 cặp ảnh thu được, do đó chỉ cần thực hiện chiếu vân mã hóa theo chiều dọc mà không cần chiếu vân mã hóa theo chiều ngang. Trong trường hợp này, số vân chiếu trong mô hình 1-7a là nhiều hơn (do phải mã hóa theo cả 2 chiều) so với mô hình 1-7b nên thời gian thu nhận ảnh lâu hơn cũng như khối lượng tính toán là nhiều hơn.
Với những ưu điểm phân tích trên, có thể thấy rằng lợi thế khi sử dụng mô hình 2 máy ảnh kết hợp 1 máy chiếu sử dụng mô hình này làm mô hình tiến hành nghiên cứu xây dựng cơ sở toán học và thực nghiệm.
1.3.1.2 Đánh giá hiệu năng hệ thống thu nhận ảnh bề mặt 3 chiều sử dụng phương pháp ánh sáng cấu trúc
Có rất nhiều yếu tố kỹ thuật đặc trưng cho hiệu suất của một hệ thống thu nhận ảnh 3D. Ba yếu tố thường được sử dụng như là các chỉ số hiệu suất chính để đánh giá các hệ thống hình ảnh 3D gồm: Độ chính xác, độ phân giải, tốc độ.
a) Độ chính xác
Độ chính xác biểu thị ở sai số tối đa giữa các kích thước đo được từ hệ thống thu nhận ảnh bề mặt 3D với kích thước thật của đối tượng. Bình thường, một hệ thống thu
nhận ảnh 3D có độ chính xác khác nhau theo các hướng (x, y, z) khác nhau do thuộc tính
thiết kế vốn có của hệ thống. Ngoài ra, các nhà sản xuất khác nhau có thể dùng các tiêu chuẩn khác nhau để đặc trưng cho độ chính xác. Ví dụ, người ta có thể sử dụng sai số, sai số trung bình hoặc một chỉ tiêu thống kê khác. Vì vậy, khi so sánh các hệ thống với nhau, người ta phải so sánh chúng trong cùng một khuôn khổ hoặc tiêu chí.
b) Độ phân giải
Trong hầu hết các tài liệu quang học, độ phân giải quang học được định nghĩa là khả năng của một hệ thống quang học có thể phân biệt được các điểm hoặc các đường khác nhau trên cùng một bức ảnh. Tương tự, độ phân giải ảnh 3D biểu thị phần nhỏ nhất
trên bề mặt đối tượng mà hệ thống ảnh 3D có thể phân biệt được. Tuy nhiên trong xử lý ảnh 3D, thuật ngữ “image resolution – độ phân giải ảnh” đôi khi biểu thị số lượng điểm ảnh mà một hệ thống đếm được trong một bức ảnh duy nhất. Ví dụ một cảm biến 3D với độ phân giải
640×480 điểm ảnh có thể tạo ra 307.200 điểm ảnh trong một bức ảnh thu được.
c) Tốc độ thu nhận
Tốc độ thu nhận là rất quan trọng với hình ảnh của các mục tiêu chuyển động. Đối với hệ thống thu nhận ảnh 3D một khuôn hình, tỷ lệ khung hình biểu thị khả năng lặp lại các ảnh đầy đủ trong một khoảng thời gian ngắn. Với hệ thống ảnh 3D liên tiếp, ngoài tỷ lệ khung hình còn một vấn đề khác cần phải xem xét: Mục tiêu đang di chuyển trong khi quá trình thu nhận thực hiện. Do đó, ảnh 3D thu được có thể không biểu thị cho ảnh chụp đối tượng ở một vị trí duy nhất. Thay vào đó, nó trở thành hệ tích hợp của các điểm đo thu nhận được ở những khoảng thời gian khác nhau. Vì thế hình dạng 3D có thể bị biến dạng so với hình dạng 3D ban đầu của vật thể. Có sự khác biệt giữa tốc độ thu nhận và tốc độ tính toán. Ví dụ, một vài hệ thống có thể thu nhận ảnh 3D với tốc độ 30 khung hình/giây nhưng để tính toán hậu xử lý thì các bức ảnh phải có tốc độ thấp hơn nhiều để tạo ra dữ liệu 3D.
1.3.1.3 Phương pháp sử dụng mã Gray kết hợp dịch đường
Phương pháp sử dụng mã Gray kết hợp dịch đường do Jens Gühring [33] giới thiệu năm 2001, nằm trong phương pháp lai, đây là sự kết hợp của phương pháp Gray
và xử lý dịch đường (line shift processing). So với phương pháp sử dụng vân Gray kết
hợp với dịch pha đạt được độ phân giải giá trị nguyên của đơn vị điểm ảnh thì phương pháp do Jens Gühring đưa ra có độ phân giải cao hơn do đạt được độ phân giải dưới đơn vị điểm ảnh.
Hình 1-8 Mô hình hệ thống thu nhận ảnh 3D Jens Gühring (nguồn: [33])
Hệ thống cho phương pháp dịch đường (line shift) bao gồm 2 máy ảnh và một máy chiếu giống như hình 1-8, các vân mã hóa mức xám (graycode) được chiếu tới bề vật
17
thể và máy ảnh có nhiệm vụ chụp lại các vân trên bề mặt vật đó, dựa trên phương pháp tam giác trong không gian khi biết 1 điểm từ 2 góc quan sát khác nhau mà ta có thể tính toán xác định khoảng các từ điểm đó tới máy ảnh từ đó đưa ra thông số tọa độ không gian x, y, z.
Phương pháp Gray kết hợp dịch đường bản chất là sự cải tiến từ phương pháp gray code, bằng cách khai thác lợi thế của “sự rõ ràng” giữa mã hóa các bits để làm tăng độ phân giải hệ thống khi sử dụng máy ảnhcó độ phân giải thấp hơn đối với máy chiếu hoặc yêu cầu độ phân giải đặt ra. Quá trình xử lý dịch chuyển đường (line shift processing) nhằm tìm kiếm các đỉnh dưới đơn vị điểm ảnh (sub pixels) xen kẽ giữa các điểm ảnh thực, do đó độ phân giải hệ thống tăng lên (hình 1-9).
Hình 1-9 Chuỗi vân mã Gray 4bit (phía trên) và chuỗi vân dịch chuyển đường bước 6 (phía dưới) (nguồn: [33])
Phương pháp mã hóa nhị phân: Sử dụng các vân sáng đơn đen và trắng, tượng
trưng như bits 0, 1 trong kỹ thuật số, được ghép với nhau theo mã nhị phân hoặc graycode để tạo thành chuỗi vân chiếu lên bề mặt vật thể. Mỗi điểm ảnh trên trong vân chiếu mang một dạng mã nhị phân riêng biệt so với các điểm khác. Phương pháp này có độ tin cậy cao và ít phụ thuộc vào đặc tính bề mặt của vật, vì chỉ có các giá trị nhị phân tồn tại trong tất cả các điểm ảnh nơi vùng máy chiếu chiếu đến.
Yêu cầu cơ bản của vân chiếu trong phương pháp này là có chênh lệch cường độ mức xám giữa điểm ảnh tối hoàn toàn và sáng hoàn toàn, khoảng chênh lệch này yêu cầu không cao như các phương pháp trong ánh sáng cấu trúc khác.
Dưới đây là sơ đồ phương pháp dịch đường [33] do Jens Gühring đưa ra nhằm tối ưu cho quá trình xử lý vân nhị phân:
Hình 1-10 Sơ đồ các bước thực hiện trong quá trình xử lý tạo ra đám mây điểm 3D sử dụng mã Gray và dịch đường Jens Gühring (nguồn:
[33])
- Bước 1: Chiếu chuỗi ảnh mã nhị phân lên bề mặt vật thể và chuỗi ảnh vân dịch
chuyển đường.
- Bước 2: Tìm các giá trị min max để xác định ngưỡng cho bit 0 và 1.
- Bước 3: Xác định vùng chiếu ảnh mã hóa (vùng nhìn của máy chiếu).
- Bước 3: Giải mã các ảnh vân thu đã được.
- Bước 4: Phát hiện các đỉnh đường (đỉnh theo x, đỉnh theo y) đối với chuỗi ảnh
dịch chuyển đường.
- Bước 5: Kết hợp với ảnh dải để xác định tọa độ x, y, z đối với các điểm nhỏ hơn
đơn vị điểm ảnh.
Trong nghiên cứu của Jens Gühring [33], tác giả sử dụng loại máy chiếu đặc biệt có nguồn phát sáng là nguồn Laser cho nên các vân chiếu dịch đường có cường độ sáng của các vạch chiếu tương phản so với các phần còn lại của vân, do đó dễ dàng xác định các đỉnh vạch chiếu ngay khi thực hiện đo trên các chi tiết cơ khí có độ sáng và bóng.
Việc sử dụng các máy chiếu thông thường sử dụng công nghệ LCD hoặc DLP sử dụng nguồn chiếu sáng LED nhằm tối ưu hóa tính di động, kết cấu nhỏ gọn và giá thành rẻ hơn gặp nhiều vấn đề khi phân đoạn và dò các đỉnh của vạch chiếu này làm ảnh hưởng đến độ chính xác của các điểm ảnh 3D thu được. Do đó, cần có nghiên cứu để xây dựng thuật toán cải thiện và nâng cao độ chính xác bộ dò mà không mất nhiều thời gian tính toán.
Việc sử dụng mã Gray gặp nhiều khó khăn khi tiến hành giải mã Wu [34] và các cộng sự đã thay thế mã Gray bằng cách sử dụng các vạch của mã nhị phân thay thế nhằm đạt được độ phân giải dưới điểm ảnh thay cho giá trị trung bình của vạch sáng tại bit mã hóa cao nhất. Tuy nhiên gặp khó khăn khi đo các vật có độ sáng bóng làm bằng kim loại do đường chuyển giao giữa vạch sáng và tối bị khuếch tán sang 2 biên. Gupta [35] [36] đề xuất phương pháp mã Gray mới cũng bằng cách sử dụng thêm các thông tin về pha để phối kết hợp nhằm không bị ảnh hưởng bởi ánh sáng môi trường xung quanh và có thể đo với các vật thể chuyển động.
Bên cạnh các phương pháp thu nhận, nhiều nghiên cứu đưa ra các phương pháp lọc xử lý nhiễu cho đám mây điểm 3D nhằm nâng cao chất lượng dựa trên đánh giá