Yue 2006 1 1 1 Gray P Y Y Chen 2005 2 1 1 Gray P Y Y Berryman 2008 1 1 1 Gray P Y Y Gdeisat 2006 1 1 1 Gray P Y Y Zhang 2008 1 1 1 Gray P Y Y Lin 1995 2 1 1 Gray P Y Y Huang 2005 42 1 1 Gray P Y Y Jia 2007 2 1 1 Gray P Y Y Wu 2006 1 1 1 Gray P Y Y
Đa phân chia theo không gian
Biến đổi dải Carrihill 1985 1 1 1 Gray A Y N
ánh sáng cấu trúc Tiếp theo đó là những nghiên cứu tích hợp giữa hệ máy ảnh nổi với ánh sáng cấu trúc Massot-Campos 2015 [29] để thu nhận ảnh 3D với các chi tiết đặt dưới nước Tran và các cộng sự 2018 [30] đưa ra sử dụng vân chiếu Graycode với mô hình tương tự nhằm giải quyết bài toán tìm các cặp điểm ảnh tương đồng một cách rõ ràng và chính xác hơn Li [31], Zhang [32] sử dụng vân chiếu Gray kết hợp với dịch pha để tăng độ phân giải của hệ thống
Đối với các phương pháp hiện nay, chúng ta có thể chia thành 2 mô hình hệ thống theo hình 1-7 Để so sánh ưu và nhược điểm giữa các mô hình này chúng ta xét tới các yếu tố:
+ Độ chính xác phép đo
+ Thời gian - khối lượng tính toán + Trường nhìn
+ Độ sâu trường ảnh chiếu của hệ chiếu sáng (máy chiếu)
Hình 1-7 Mô hình hệ thống sử dụng ánh sáng cấu trúc a) sử dụng 1 máy ảnh + 1 máy chiếu, b) sử dụng 2 máy ảnh + 1 máy chiếu
Xét trong điều kiện đầu tiên, độ chính xác của hệ thống tỷ lệ với bao nhiêu điểm tương đồng tìm được giữa 2 máy ảnh (trong cả trường hợp máy chiếu là hệ máy ảnh ngược) Trong mô hình 1-7 là mô hình cơ bản của một hệ thống thu nhận 3 chiều sử dụng ánh sáng cấu trúc Máy chiếu đóng vai trò vừa chiếu vân trên bề mặt vật vừa là một máy ảnh thứ 2, mỗi một vạch của vân chiếu ra luôn lớn hơn bề rộng của một đơn vị điểm ảnh trong ảnh của máy ảnh thu được, độ rộng của vân trong ảnh bị quyết định bởi hình dạng hình học của bề mặt vật được chiếu, do vậy ảnh hưởng đến quá trình tìm chính xác điểm tương đồng và điểm này được chỉ được ước lượng tương đối dẫn tới mô hình này có độ phân giải và độ chính xác thấp Mặc dù quá trình nội suy tìm giá trị nhỏ hơn một đơn vị điểm ảnh có thể thực hiện cả trong mô hình 1-7a và 1-7b, tuy nhiên trong trường hợp khớp mẫu sẽ bị ảnh hưởng với tính liên tục và độ chụm của vạch chiếu
Thông thường mô hình 1-7b có độ phân giải cao hơn nhưng đối với bề mặt có độ mịn thì sự khác biệt giữa 1-7a và 1-7b là khó xác định Mặt khác khi áp dụng phương pháp dịch chuyển đường thì vấn đề này được giải quyết hoàn toàn
Trường nhìn của mô hình 1-7b là nhỏ hơn so với 1-7a vì phần trường nhìn được quyết định bằng vùng chiếu của máy chiếu, cũng có nghĩa là nhỏ hơn so với mô hình hệ thu ảnh nổi thụ động Đối với các máy chiếu hiện nay, độ sâu trường ảnh là rất hẹp, do vậy càng ra xa vân chiếu càng bị mờ và ảnh hưởng rất lớn đến các thuật toán phân tích vân do vậy, mô hình 1-7a có độ sâu trường ảnh nhỏ hơn do sử dụng máy chiếu làm máy ảnh phụ
Đối với mô hình sử dụng hệ máy ảnh nổi, sau khi xác định thông số ngoại giữa 2 máy ảnh thành phần, chúng ta có thể áp dụng phương pháp nội suy ảnh nổi để đưa về dạng song song giữa các điểm tương đồng thẳng hàng Bài toán đặt ra lúc này là xác định các điểm tương đồng trong cùng thứ tự hàng giữa 2 cặp ảnh thu được, do đó chỉ cần thực hiện chiếu vân mã hóa theo chiều dọc mà không cần chiếu vân mã hóa theo chiều ngang Trong trường hợp này, số vân chiếu trong mô hình 1-7a là nhiều hơn (do phải mã hóa theo cả 2 chiều) so với mô hình 1-7b nên thời gian thu nhận ảnh lâu hơn cũng như khối lượng tính toán là nhiều hơn
Với những ưu điểm phân tích trên, có thể thấy rằng lợi thế khi sử dụng mô hình 2 máy ảnh kết hợp 1 máy chiếu sử dụng mô hình này làm mô hình tiến hành nghiên cứu xây dựng cơ sở toán học và thực nghiệm
1 3 1 2 Đánh giá hiệu năng hệ thống thu nhận ảnh bề mặt 3 chiều sử Dụng phương pháp ánh sáng cấu trúc
Có rất nhiều yếu tố kỹ thuật đặc trưng cho hiệu suất của một hệ thống thu nhận ảnh 3D Ba yếu tố thường được sử dụng như là các chỉ số hiệu suất chính để đánh giá các hệ thống hình ảnh 3D gồm: Độ chính xác, độ phân giải, tốc độ
a) Độ chính xác
Độ chính xác biểu thị ở sai số tối đa giữa các kích thước đo được từ hệ thống thu nhận ảnh bề mặt 3D với kích thước thật của đối tượng Bình thường, một hệ thống thu nhận ảnh 3D có độ chính xác khác nhau theo các hướng (x, y, z) khác nhau do thuộc tính thiết kế vốn có của hệ thống Ngoài ra, các nhà sản xuất khác nhau có thể dùng các tiêu chuẩn khác nhau để đặc trưng cho độ chính xác Ví dụ, người ta có thể sử dụng sai số, sai số trung bình hoặc một chỉ tiêu thống kê khác Vì vậy, khi so sánh các hệ thống với nhau, người ta phải so sánh chúng trong cùng một khuôn khổ hoặc tiêu chí
b) Độ phân giải
Trong hầu hết các tài liệu quang học, độ phân giải quang học được định nghĩa là khả năng của một hệ thống quang học có thể phân biệt được các điểm hoặc các đường khác nhau trên cùng một bức ảnh Tương tự, độ phân giải ảnh 3D biểu thị phần nhỏ nhất
trên bề mặt đối tượng mà hệ thống ảnh 3D có thể phân biệt được Tuy nhiên trong xử lý ảnh 3D, thuật ngữ “image resolution – độ phân giải ảnh” đôi khi biểu thị số lượng điểm ảnh mà một hệ thống đếm được trong một bức ảnh duy nhất Ví dụ một cảm biến 3D với độ phân giải 640×480 điểm ảnh có thể tạo ra 307 200 điểm ảnh trong một bức ảnh thu được
c) Tốc độ thu nhận
Tốc độ thu nhận là rất quan trọng với hình ảnh của các mục tiêu chuyển động Đối với hệ thống thu nhận ảnh 3D một khuôn hình, tỷ lệ khung hình biểu thị khả năng lặp lại các ảnh đầy đủ trong một khoảng thời gian ngắn Với hệ thống ảnh 3D liên tiếp, ngoài tỷ lệ khung hình còn một vấn đề khác cần phải xem xét: Mục tiêu đang di chuyển trong khi quá trình thu nhận thực hiện Do đó, ảnh 3D thu được có thể không biểu thị cho ảnh chụp đối tượng ở một vị trí duy nhất Thay vào đó, nó trở thành hệ tích hợp của các điểm đo thu nhận được ở những khoảng thời gian khác nhau Vì thế hình dạng 3D có thể bị biến dạng so với hình dạng 3D ban đầu của vật thể Có sự khác biệt giữa tốc độ thu nhận và tốc độ tính toán Ví dụ, một vài hệ thống có thể thu nhận ảnh 3D với tốc độ 30 khung hình/giây nhưng để tính toán hậu xử lý thì các bức ảnh phải có tốc độ thấp hơn nhiều để tạo ra dữ liệu 3D
1 3 1 3 Phương pháp sử Dụng mã Gray kết hợp Dịch đường
Phương pháp sử dụng mã Gray kết hợp dịch đường do Jens Gühring [33] giới thiệu năm 2001, nằm trong phương pháp lai, đây là sự kết hợp của phương pháp Gray và xử lý dịch đường (line shift processing) So với phương pháp sử dụng vân Gray kết hợp với dịch pha đạt được độ phân giải giá trị nguyên của đơn vị điểm ảnh thì phương pháp do Jens Gühring đưa ra có độ phân giải cao hơn do đạt được độ phân giải dưới đơn vị điểm ảnh
Hình 1-8 Mô hình hệ thống thu nhận ảnh 3D Jens Gühring (nguồn: [33])
Hệ thống cho phương pháp dịch đường (line shift) bao gồm 2 máy ảnh và một máy chiếu giống như hình 1-8, các vân mã hóa mức xám (graycode) được chiếu tới bề vật
thể và máy ảnh có nhiệm vụ chụp lại các vân trên bề mặt vật đó, dựa trên phương pháp tam giác trong không gian khi biết 1 điểm từ 2 góc quan sát khác nhau mà ta có thể tính toán xác định khoảng các từ điểm đó tới máy ảnh từ đó đưa ra thông số tọa độ không gian x, y, z
Phương pháp Gray kết hợp dịch đường bản chất là sự cải tiến từ phương pháp gray code, bằng cách khai thác lợi thế của “sự rõ ràng” giữa mã hóa các bits để làm tăng độ phân giải hệ thống khi sử dụng máy ảnhcó độ phân giải thấp hơn đối với máy chiếu hoặc yêu cầu độ phân giải đặt ra Quá trình xử lý dịch chuyển đường (line shift processing) nhằm tìm kiếm các đỉnh dưới đơn vị điểm ảnh (sub pixels) xen kẽ giữa các điểm ảnh thực, do đó độ phân giải hệ thống tăng lên (hình 1-9)
Hình 1-9 Chuỗi vân mã Gray 4bit (phía trên) và chuỗi vân dịch chuyển đường bước 6 (phía dưới) (nguồn: [33])
Phương pháp mã hóa nhị phân: Sử dụng các vân sáng đơn đen và trắng, tượng trưng
như bits 0, 1 trong kỹ thuật số, được ghép với nhau theo mã nhị phân hoặc graycode để tạo thành chuỗi vân chiếu lên bề mặt vật thể Mỗi điểm ảnh trên trong vân chiếu mang một dạng mã nhị phân riêng biệt so với các điểm khác Phương pháp này có độ tin cậy cao và ít phụ thuộc vào đặc tính bề mặt của vật, vì chỉ có các giá trị nhị phân tồn tại trong tất cả các điểm ảnh nơi vùng máy chiếu chiếu đến
Yêu cầu cơ bản của vân chiếu trong phương pháp này là có chênh lệch cường độ mức xám giữa điểm ảnh tối hoàn toàn và sáng hoàn toàn, khoảng chênh lệch này yêu cầu không cao như các phương pháp trong ánh sáng cấu trúc khác
Dưới đây là sơ đồ phương pháp dịch đường [33] do Jens Gühring đưa ra nhằm tối ưu cho quá trình xử lý vân nhị phân:
Hình 1-10 Sơ đồ các bước thực hiện trong quá trình xử lý tạo ra đám mây điểm 3D sử dụng mã Gray và dịch đường Jens Gühring (nguồn: [33])
- Bước 1: Chiếu chuỗi ảnh mã nhị phân lên bề mặt vật thể và chuỗi ảnh vân dịch chuyển đường
- Bước 2: Tìm các giá trị min max để xác định ngưỡng cho bit 0 và 1 - Bước 3: Xác định vùng chiếu ảnh mã hóa (vùng nhìn của máy chiếu) - Bước 3: Giải mã các ảnh vân thu đã được
- Bước 4: Phát hiện các đỉnh đường (đỉnh theo x, đỉnh theo y) đối với chuỗi ảnh dịch chuyển đường
- Bước 5: Kết hợp với ảnh dải để xác định tọa độ x, y, z đối với các điểm nhỏ hơn đơn vị điểm ảnh
Trong nghiên cứu của Jens Gühring [33], tác giả sử dụng loại máy chiếu đặc biệt có nguồn phát sáng là nguồn Laser cho nên các vân chiếu dịch đường có cường độ sáng của các vạch chiếu tương phản so với các phần còn lại của vân, do đó dễ dàng xác định các đỉnh vạch chiếu ngay khi thực hiện đo trên các chi tiết cơ khí có độ sáng và bóng
Việc sử dụng các máy chiếu thông thường sử dụng công nghệ LCD hoặc DLP sử dụng nguồn chiếu sáng LED nhằm tối ưu hóa tính di động, kết cấu nhỏ gọn và giá thành rẻ hơn gặp nhiều vấn đề khi phân đoạn và dò các đỉnh của vạch chiếu này làm ảnh hưởng đến độ chính xác của các điểm ảnh 3D thu được Do đó, cần có nghiên cứu để xây dựng thuật toán cải thiện và nâng cao độ chính xác bộ dò mà không mất nhiều thời gian tính toán
Việc sử dụng mã Gray gặp nhiều khó khăn khi tiến hành giải mã Wu [34] và các cộng sự đã thay thế mã Gray bằng cách sử dụng các vạch của mã nhị phân thay thế nhằm đạt được độ phân giải dưới điểm ảnh thay cho giá trị trung bình của vạch sáng tại bit mã hóa cao nhất Tuy nhiên gặp khó khăn khi đo các vật có độ sáng bóng làm bằng kim loại do đường chuyển giao giữa vạch sáng và tối bị khuếch tán sang 2 biên Gupta [35] [36] đề xuất phương pháp mã Gray mới cũng bằng cách sử dụng thêm các thông tin về pha để phối kết hợp nhằm không bị ảnh hưởng bởi ánh sáng môi trường xung quanh và có thể đo với các vật thể chuyển động
Bên cạnh các phương pháp thu nhận, nhiều nghiên cứu đưa ra các phương pháp lọc xử lý nhiễu cho đám mây điểm 3D nhằm nâng cao chất lượng dựa trên đánh giá mối liên quan giữa các điểm lân cận và pháp tuyến bề mặt cục bộ Đặc trưng nhiễu lớn nhất của các phương pháp sử dụng ánh sáng cấu trúc là dạng đối xứng, một số bộ lọc có khả năng xử lý tốt như: BNF[37], GMNF [38], [39], [40], [41]… Tuy nhiên, các bộ lọc này cần khối lượng tính toán và chi phí thời gian lớn
Hình 1-11 Mô hình so sánh đám mây điểm quét sử dụng ICP
Để tái tạo hoàn chỉnh một chi tiết cơ khí 3D, để ghép nối dữ liệu quét với các góc quét khác nhau của vật thể các được gọi là phương pháp PS-R đã được nghiên
cứu[42][43][44][45] Sau đó so sánh với mô hình thiết kế CAD để đưa ra đánh giá sai số kích thước của chi tiết sau gia công [46][47](Hình 1-11) Hiện nay phương pháp ICP [48][49][50] cho quá trình ghép nối đã được nghiên cứu và phát triển, trong đó phương pháp SICP công bố năm 2013[51] được đánh giá tốt hơn cả về thời gian tìm điểm hội tụ
cũng như độ chính xác Để giúp tối ưu hóa cho quá trình ghép nối trước khi áp dụng ICP, cần có thêm các phương pháp để tìm ma trận chuyển vị tương đối giữa các đám mây điểm để tăng hiệu quả xử lý Tuy nhiên các thuật toán này gặp khó khăn khi thực hiện với các đám mây điểm thu được từ các chi tiết có biên dạng tròn xoay hoặc ít các điểm nằm trên gờ-cạnh, do vậy cần thêm sự hỗ trợ từ các điểm tham chiếu RPMS hoặc sử dụng bàn gá đã được hiệu chuẩn vị trí với cảm biến quét
1 3 1 4 Kỹ thuật HDR trong ánh sáng cấu trúc đối với các vật thể có tính chất bề mặt đặc biệt
Đối với các phương pháp đo quang học nói chung và ánh sáng cấu trúc nói riêng gặp nhiều khó khăn đối với vật thể có bề mặt ít phản xạ (bề mặt Lambertian) vì tín hiệu quang thu về sẽ không đầy đủ Do đó, hầu hết các phương pháp đo quang đều yêu cầu bề mặt vật thể đo là một bề mặt Lambertian, có khả năng khuếch tán cao, độ nhiễu phản xạ từ điểm tới điểm thấp Do đó, rất khó khăn trong việc đề xuất bất kỳ phương pháp đo quang nào để đo các vật có bề mặt bóng hoặc vật thể có độ nhiễu phản xạ trên bề mặt Nhằm xử lý vấn đề này, các hệ thống đo 3 chiều bằng phương pháp ánh sáng cấu trúc hiện nay đa phần sử dụng một lớp phủ bằng vật liệu thành phần chính là CaCO3 (canxi cacbonat – nghiền từ bột đá) lên bề mặt các chi tiết có bề mặt bóng hoặc bề mặt hấp thụ ánh sáng cao Một số đánh giá về sự ảnh hưởng của lớp phủ tới độ chính xác của phép đo được đưa ra do nhóm nghiên cứu D Palousek (2015) [52], trong đó độ dày của lớp phủ từ 1-60m tùy từng tính chất bề mặt để cắt giảm ~100% độ phản xạ Nhược điểm dễ nhận thấy trong việc sử dụng kỹ thuật này đó là chiều dày và độ đồng đều của lớp phủ đến độ chính xác của phép đo, bên cạnh đó là việc tẩy rửa lớp phủ có thể gây tổn hại đến bề mặt của chi tiết và mất nhiều thời gian
Để khắc phục điều này, một số kỹ thuật được sử dụng trong nhiếp ảnh cũng được áp dụng đối với quá trình thu nhận ảnh chụp trong ánh sáng cấu trúc, kỹ thuật HDR là một trong số đó và là đối tượng nghiên cứu của các nhóm nghiên cứu trên thế giới trong hơn 10 năm qua [53]
HDR là viết tắt của High Dynamic Range, là một kỹ thuật được sử dụng trong nhiếp