hình học bề mặt sử dụng Kinect v2
2.2.548 1.5.1. Tình hình nghiên cứu ngoài nước
2.2.549 Do tính hấp dẫn và khả năng chụp ảnh của thiết bị ToF, trong ba thập kỷ
vừa qua, có rất nhiều nghiên cứu đã được thực hiện với thiết bị ToF nói chung và Kinect v2 nói riêng. Các thiết bị Kinect được Microsoft bán trên thị trường là cảm biến chuyển động, ban đầu được thiết kế cho mục địch giải trí và chơi game.
Chúng cho phép tương tác không tiếp xúc giữa người dùng và thiết bị điều khiển trò chơi bằng cử chỉ. Kể từ khi phát hành phiên bản đầu tiên vào năm 2010, rất nhiều nghiên cứu liên quan đến thiết bị Kinect trong các ứng dụng khác nhau đã được công bố. Khả năng định vị của Kinect đã được đánh giá trong tài liệu [37]. Hơn nữa, nhận biết tư thế và ước tính cơ thể người [38] hoặc khớp nối tay [39] cũng đã được giới thiệu. Để đáp ứng nhu cầu in 3D, trong tài liệu [40], các tác giả đã đề xuất thiết kế hệ thống quét dựa trên thiết bị Kinect v1. Với thiết bị Kinect v2 gần đây, các ứng dụng theo dõi khuôn mặt [41] hoặc phân tích biến dạng theo chu kỳ [42] cũng đã được công bố. Với mục tiêu nâng cao chất lượng quá trình tái tạo hình học bề mặt sử dụng Kinect v2, những nghiên cứu mới nhất liên quan sẽ được trình bày dưới đây.
2.2.550 Chất lượng quá trình quét 3D bằng Kinect phụ thuộc vào độ chính xác thiết
bị, đặc tính phản xạ bề mặt chi tiết đo và các thuật toán xử lý ảnh độ sâu trong bước thu thập thông tin hình học cũng như đám mây điểm trong bước tiền xử lý đám mây điểm. Đầu tiên, một mô hình toán cho dữ liệu độ sâu thu thập từ Kinect v1 đã được đề xuất trong tài liệu [43]. Trong đó, một nghiên cứu sâu về ảnh hưởng của các tham số đến độ chính xác thiết bị của dữ liệu độ sâu thông qua phân tích sai số lý thuyết đã được giới thiệu. Để tính toán dữ liệu 3D, các tham số nội và ngoại của quá trình hiệu chuẩn, chẳng hạn như tiêu cự, điểm cơ sở, hệ số méo hướng kính, chiều dài cơ sở và khoảng cách mẫu tham chiếu được sử dụng trong mô hình của họ. Kết quả thí nghiệm đã chứng minh rằng sai số ngẫu nhiên của dữ liệu độ sâu tỷ lệ thuận với sự gia tăng khoảng cách giữa thiết bị và đối tượng đo.
2.2.551 Tương tự, một nghiên cứu đã được công bố bởi Yang và công sự trong tài
liệu [44] với mục đích cải thiện độ chính xác thiết bị độ sâu của Kinect v2. Độ chính xác thiết bị của Kinect v2 được đánh giá theo tiêu chí thông qua một số thông số được minh họa trong hình 1.17. Theo công bố, khoảng cách giữa đối tượng đo và thiết bị nhỏ hơn 3m thì sai số độ chính xác thiết bị độ sâu trung bình nhỏ hơn 2mm. Từ khoảng 3m đến 4m, sai số độ chính xác thiết bị trung bình là từ 2mm đến 4mm. Điều này chỉ đúng khi đối tượng đo nằm trên trục quang học của thiết bị. Nếu đối tượng đo ở lệch sang hai bên thì sai số độ chính xác thiết bị trung bình tăng lên.
2.2.552 Tiếp đến, việc so sánh hai cảm biến độ sâu của Kinect v1 và Kinect v2
hai độ chính xác thiết bị (accuracy) và độ chính xác đo (precision) đã được thực hiện trong tài liệu [45]. Trong nghiên cứu này, một tập hợp 300 ảnh độ sâu của
2.2.553
2.2.554 Hình 1.17: Một số thông số đánh giá độ chính xác của Kinect v2
(nguồn: [44])
cùng một môi trường đã được chụp theo từng thiết bị. Giá trị độ sâu thu nhận được từ cả hai Kinect đều liên quan đến nhiệt độ thiết bị. Độ sâu trung bình xác định bỏi Kinect v1 giảm xuống dưới 2mm. Giá trị độ sâu quan sát được của Kinect v2 tăng lên 20mm sau khi thời gian sử dụng 16 phút. Tuy nhiên, khi quạt làm mát của thiết bị khỏi động, giá trị độ sâu quan sát được giảm xuống 3mm và sau đó tăng nhẹ khi quạt hoạt động cùng tốc độ, vì vậy nên khỏi động Kinect v2 từ 16 phút đến 20 phút trước khi sử dụng trong quá trình quét. Khi khoảng cách tăng, Kinect v1 có độ chính xác thiết bị và độ chính xác đo thấp hơn khi xác định độ sâu, với độ lệch tăng theo cấp số nhân: ỏ khoảng cách 0, 5m so với cảm biến, độ lệch chuẩn giá trị độ sâu đo được dưới 10mm, nhưng ỏ khoảng cách 1,8m, độ lệch chuẩn giá trị độ sâu đo được có thể lớn hơn 40mm. Tương tự ỏ khoảng cách khác nhau, độ chính xác đo của Kinect v2 giảm, nhưng độ chính xác thiết bị vẫn giữ nguyên với phần bù — 18mm trong đó các điểm cơ sỏ đều giống nhau, chỉ có các điểm ảnh ỏ góc có thể không chính xác. Nếu đối tượng là mặt phẳng, độ chính xác đo sẽ cao hơn đối với Kinect v1. Tuy nhiên, nếu đối tượng không phẳng hoặc không liên tục thì độ chính xác đo và các điểm ảnh bay (flying pixels) có thể xuất hiện. Các điểm ảnh bay không có trong Kinect v1 vì thiết bị này không phải là thiết bị ToF. Màu sắc của môi trường cũng ảnh hưỏng đến quá trình ước tính độ sâu của Kinect v2, cụ thể với màu đen, giá trị độ sâu tăng thêm hơn 10mm.
Một giá trị đo được
Độ chính xác độ sâu
(a) Độ chính xác độ sâu
Một giá trị đo được
Độ phân giải độ sâu
(b) Độ phân giải độ sâu
2.2.555 Một nghiên cứu về độ chính xác thiết bị và độ chính xác đo đã được
thực hiện
bỏi Gonzales-Jorge và cộng sự [46]. Nghiên cứu của họ đã thực hiện ỏ nhiều góc lệch khi quét, cụ thể 45°, 90°, 135°, với cả hai thiết bị Kinect. Các góc nghiêng này không ảnh hưỏng đến độ chính xác thiết bị và độ chính xác đo. Đồng thời thí nghiệm cũng được thực hiện ỏ nhiều khoảng cách, khoảng cách nhỏ nhất là 1m và khoảng cách lớn nhất là 6m. Thiết bị Kinect v1 có thể đo được đến phạm vi 6m trong khi thiết bị Kinect v2 chỉ có khả năng tối đa 4m. Mặc dù phạm vi của thiết bị Kinect v1 lớn hơn Kinect v2, nhưng thiết bị này kém chính xác hơn Kinect v2. Ngoài độ chính xác thiết bị, độ chính xác đo sẽ giảm với cả hai thiết bị khi phạm vi tăng lên, nhưng sự khác biệt về độ chính xác đo luôn nhỏ hơn đối với Kinect v2 so với Kinect v1. Ngay cả ỏ phạm vi 1m, độ chính xác đocủa thiết bị Kinect v2 vẫn tốt hơn so với Kinect v1, trong đó độ chính xác của Kinect v1 giảm theo hàm bậc hai khi khoảng cách đo tăng lên.
2.2.556 Một đánh giá toàn diện về Kinect v2 cho mục đích tái tạo 3D đã được thực
hiện bởi Lachat và các cộng sự [25]. Một số thí nghiệm đã góp phần làm nổi bật các sai số phát sinh từ môi trường và các thuộc tính của vật thể được chụp, cũng như các sai số liên quan đến bản thân thiết bị. Qua những đánh giá nguồn gây sai số, hiệu chuẩn hình học cũng như độ sâu đã được thực hiện để làm giảm ảnh hưởng của sai số đến độ chính xác đo của thiết bị. Cuối cùng một bề mặt 3D của một mảnh khảo cổ đã được tái tạo qua đó chứng minh được khả năng ứng dụng và độ chính xác thiết bị của Kinect v2 trong việc tái tạo mô hình 3D của các vật thể.
2.2.557 ở hướng nghiên cứu thứ hai, do phép đo độ sâu của thiết bị Kinect v2 được
tính từ lượng photon nhận được, kết quả cho thấy sự phụ thuộc vào mức độ vật thể phản xạ ánh sáng. Tín hiệu được trả về từ vật liệu có độ phản xạ cao là yếu hơn, điều này gây ra sai số độ sâu, thậm chí, một số vật liệu có độ phản xạ rất cao, chẳng hạn như gương, phản xạ các chùm ánh sáng đi xa để chúng không quay trở lại thiết bị [47]. Trong nghiên cứu của mình, Lachat và cộng sự [48] đã nghiên cứu các vật liệu có độ phản xạ và độ dày khác nhau được gắn vào cùng một tấm bìa để nghiên cứu tính phản xạ của vật liệu, tuy nhiên đây là những vật liệu ít được sử dụng trong lĩnh vực Cơ khí.
2.2.558 Khi số hóa bằng máy quét 3D quang học, bề mặt thường được xử lý bằng
các vật liệu chống phản xạ khác nhau, đó là chính là phương pháp tạo lớp phủ mỏng chống phản xạ bề mặt. Thị trường cung cấp một lượng lớn các sản phẩm xử lý bề mặt. Chúng khác nhau về chất liệu, tính chất hạt, kích thước và chủng loại đóng gói, giá thành. Trong nghiên cứu của mình, Feng và cộng sự [49] đã phân tích sai số số hóa của một hệ thống quét laser 3D tốc độ cao. Độ chính xác đo bị ảnh hưởng bởi hình dạng và vị trí chi tiết trong không gian quét. Họ kết luận rằng đối với các bề mặt có hệ số phản xạ cao, vật liệu phủ nên được phun trực tiếp trên bề mặt cần quét để cải thiện sự khuếch tán ánh sáng laser trong quá trình quét.
2.2.559 Palousek và cộng sự [50] đã đánh giá độ lệch của phép đo trong quá
trình số
hóa các bề mặt bóng được phủ bằng lớp dioxit titan dày 5^m và phun bột phấn dày 44^m. Cụ thể, với cỡ hạt xấp xỉ 9^m, sau quá trình loại bỏ lớp phủ, các vết để lại do quá trình phủ vẫn hiện rõ trên bề mặt; với các hạt nhỏ hơn khoảng 3^m, các vết để lại của quá trình phủ tạo thành các vùng nhỏ và đường kính rải đặc trưng lên tới 50pm. Đồng thời giá trị độ lệch chuẩn được xác định là 1ựm.
2.2.560 Trong một nghiên cứu ở tài liệu [51], bảy sản phẩm thương mại, minh họa
trong hình 1.18, đã được phân tích để làm rõ ảnh hưởng đến kích thước đối tượng được quét và sự dễ dàng loại bỏ lớp phủ sau khi quét. Tác giả nhận thấy rằng dioxit titan có chiều dày lớp phủ là nhỏ nhất, trung bình khoảng 8^m, nhưng có khả năng loại bỏ lớp phủ là kém nhất. Với sản phẩm Developers thương hiệu Ardrox (F), độ dày trung bình được công bố là 16pm và có khả năng loại bỏ lớp phủ là tốt nhất. Ngoài ra, tác giả cũng nhấn mạnh rằng để có được độ dày lớp phủ tối ưu đòi hỏi nhiều kinh nghiệm và người vận hành có tay nghề cao.
2.2.561
2.2.562 Hình 1.18: Bảy sản phẩm thương mại được sử dụng để tạo lớp phủ chống phản
xạ bề mặt trong quá trình số hóa chi tiết cơ khí (nguồn:[51])2.2.563
2.2.564 Việc sử dụng vàng, bạc, bạch kim và carbon để làm lớp phủ bề mặt khi quét
các bề mặt trong suốt hoặc phản xạ đã được đề xuất trong tài liệu [52]. Nghiên cứu này đã cho thấy những lớp phủ đã thực hiện cung cấp độ chính xác cao hơn đáng kể so với những vật liệu phủ truyền thống. Cụ thể, các lớp phủ này được khuyến nghị cho các phép đo với dung sai tới 0,01mm. Đối với các nghiên cứu liên quan đến kích thước hình học của chi tiết, các sai số nội tại của quá trình quét khi hình thành đám mây điểm và tạo lưới có thể quan trọng hơn các sai số sinh ra bởi lớp phủ được chọn.
2.2.565 Trong các nghiên cứu liên quan việc nâng cao chất lượng bề mặt tạo hình
bằng công nghệ quét 3D sử dụng thiết bị Kinect v2, hướng nghiên cứu thuật toán và giải pháp nâng cao chất lượng dữ liệu đầu ra bao gồm ảnh độ sâu và đám mây điểm là một lĩnh vực quan trọng liên quan trực tiếp tới các bài toán thực tế. Nhằm đáp ứng với những thách thức gặp phải, các nhà nghiên cứu đã đề xuất một số phương pháp hữu ích để giải quyết các vấn đề cấp bách trong ứng dụng thiết bị, chủ yếu là nâng cao chất lượng ảnh độ sâu trong quá trình thu thập thông tin hình học, loại bỏ điểm ngoại lai và quá trình ghép đám mây điểm của các góc chụp khác nhau trong tiền xử lý đám mây điểm.
2.2.566 Đối với hướng nghiên cứu nâng cao chất lượng ảnh độ sâu trong quá
trình thu
thập thông tin hình học, một phương pháp nâng cao chất lượng ảnh độ sâu sử dụng kỹ thuật phân mảnh được giới thiệu trong tài liệu [53]. Ảnh độ sâu được chia thành hai vùng, vùng trước và vùng sau. Sau đó, các chiến lược khác nhau đã được tiến hành để lập các hốc. Nhưng chiến lược phân mảnh không chính xác lắm, vì vậy kết quả thu được chưa được tốt. Một nghiên cứu tiếp theo nhằm xây dựng một thuật toán để nâng cao chất lượng ảnh độ sâu của Kinect v2 đã được đề xuất trong tài liệu [54]. Theo nguyên tắc xác định độ sâu, vùng trước và vùng sau được xem xét độc lập. Đối với vùng sau, các hốc được lấp đầy theo dữ liệu độ sâu của vùng lân cận. Đối với vùng trước, một thuật toán lấp đầydựa trên hình ảnh màu liên quan đến thông tin không gian và màu sắc đã được xây dựng. Một phương pháp lọc hai chiều thích nghi cũng đã được sử dụng để giảm nhiễu. Qua thực nghiệm, kết quả thu được cho kết quả tốt hơn so với các thuật toán truyền thống.
2.2.567 Đám mây điểm thô thu thập trực tiếp từ thiết bị Kinect v2 thường chứa điểm
ngoại lai, hơn nữa do giới hạn vật lý nên các đám mây điểm này chỉ có thể lưu trữ thông tin độ sâu của điểm gần nhất tính từ thiết bị. Chính vì vậy, bước tiền xử lý đám mây điểm thường thực hiện đồng thời hai nhiệm vụ: 1) "làm sạch"
các đám mây điểm thô bằng cách loại bỏ điểm ngoại lai; 2) tiến hành ghép các đám mây điểm đã "làm sạch" ở từng góc chụp thành đám mây điểm tổng thể.
2.2.568 Các điểm ngoại lai xảy ra khi điều kiện quét lý tưởng không được đáp ứng
và là các điểm ảo không thể tránh khỏi của các thiết bị quang học. Nghiên cứu công bố trong tài liệu [55], sử dụng phương pháp thống kê, cho thấy điểm ngoại lai được xem như là sai lệch rõ rệt so với các điểm khác (điểm thật) của mẫu mà quá trình quét thu được. Tuy nhiên, về mặt toán học, chưa có một định nghĩa rõ ràng nào liên quan đến điểm ngoại lai. Mặc dù nhiều nghiên cứu trong thống kê đã được trình bày để phát hiện các điểm ngoại lai trong tập dữ liệu chung, chúng có khả năng hạn chế phát hiện các ngoại lai trong tập đám mây điểm lớn [56]. Từ góc độ hình học, các điểm ngoại lai trong một đám mây điểm là các điểm đo sai không thuộc về bề mặt được quét. Hình 1.19 minh họa một đám mây điểm được quét từ cụm chi tiết líp xe đạp sử dụng máy quét laser.
Các điểm ngoại lai này có thể được chia thành ba loại: các điểm ngoại lai thưa thớt, các điểm ngoại lai dạng cụm cô lập và các điểm ngoại lai dạng cụm không cô lập, chi tiết có thể xem trong hình 1.19. Do đó, thực hiện thao tác loại bỏ các điểm ngoại lai trong đám mây điểm ban đầu là bước quan trọng để có được đám mây điểm chính xác cho các bước xử lý dữ liệu và ứng dụng sau này.
2.2.569
2.2.570 Hình 1.19: Đám mây điểm của bề mặt líp xe đạp thể hiện các điểm
ngoại lai
thưa thớt (hình chữ nhật màu tím), các điểm ngoại lai dạng cụm cô lập (hình chữ nhật màu xanh) và các điểm ngoại lai dạng cụm không cô lập (hình chữ nhật màu đỏ) (nguồn: [57])
2.2.571 Do cường độ ánh sáng, đặc điểm phản xạ và hình dạng bề mặt được
quét của
đối tượng cũng như các hạn chế của cảm biến độ sâu [29], đám mây điểm thu được từ thiết bị Kinect v2 tồn tại cả ba dạng điểm ngoại lai. Đã có rất nhiều phương pháp khác nhau [55, 58, 59] được đề xuất để phát hiện các điểm ngoại lai trong đám mây điểm khi quét bằng thiết bị quang học nói chung và Kinect v2 nói riêng. Với mục đích loại bỏ những điểm ngoại lai trong bước tiền xử lý đám mây điểm, phương pháp loại bỏ điểm ngoại lai thưa thớt dựa vào thuật toán được trình bày trong tài liệu [60]. Cụ thể, mật độ điểm được giả định theo phân phối chuẩn, để tính toán mức độ thưa thớt, khoảng cách trung bình dkNN của k lân cận gần nhất sẽ được xác định.
2.2.572 Một nghiên cứu nhằm loại bỏ các điểm ngoại lai dạng cụm không cô
lập sử
dụng phương pháp lựa chọn đa số được giới thiệu trong tài liệu [57]. Thành phần quan trọng là một sơ đồ lựa chọn đa số có thể ngắt kết nối giữa các điểm ngoại lai dạng cụm không cô lập và bề mặt được quét để các điểm ngoại lai này trở thành các điểm ngoại lai dạng cụm cô lập. Một tiêu chí ranh giới mở rộng cũng đã được sử dụng để loại bỏ các điểm ngoại lai cô lập và giữ lại các cụm điểm hợp lý. Phương pháp này có độ tin cậy cao hơn một ngưỡng kích thước cụm đơn giản. Với mục đích xử lý tất cả các điểm ngoại lai, trong tài liệu [61], các tác giả đã đề xuất một phương pháp tự động để loại bỏ các điểm ngoại lai dựa trên mật độ và phép chiếu cục bộ. Các điểm ngoại lai thưa thớt được phát hiện dễ dàng theo mật độ điểm cục bộ thấp. Đối với các điểm ngoại lai dạng cụm cô lập có mật độ điểm cao có thể được phát hiện nếu diện tích vùng cục bộ đủ lớn. Vì vậy cả hai dạng điểm ngoại lai này đều được phát hiện và loại bỏ bằng phương pháp dựa trên mật độ cục bộ. Với các điểm ngoại lai dạng cụm không cô lập, một phương án được đề xuất bằng cách chiếu các điểm ngoai lai này lên đối tượng ban đầu thông qua mặt phẳng phù hợp cục bộ. Khác với các phương pháp giảm nhiễu khác, phương án này không loại bỏ điểm ngoại lai dạng cụm không cô lập mà chiếu các điểm này lên mặt phẳng phù hợp cục bộ để làm cho mô hình đúng hơn. Tuy nhiên, phương pháp dựa trên phân phối điểm và cần tính toán mật độ điểm cục bộ này có thể không thực hiện được đối với các điểm ngoại lai mật độ dày đặc.