Untitled 34 Khoa học Kỹ thuật và Công nghệ 63(1) 1 2021 Đặt vấn đề Trong vài thập kỷ gần đây, quá trình số hóa hình dạng của các vật thể (viết tắt là tái tạo ba chiều 3D) đã được ứng dụng rộng rãi[.]
Khoa học Kỹ thuật Công nghệ Một phương pháp hiệu cho trình quét bề mặt phản xạ sử dụng Kinect v2 Bùi Văn Biên1*, Bành Tiến Long2, Phạm Đức An2, Nguyễn Đức Toàn2 ToF cameras, also identified as range imaging cameras, are a1recent generation of Trường Đại học Hải Phịng Bộ mơn Cơ khí, Viện Cơ sensors As they are desirable for measuring distances to objects at a khí, high Trường frame Đại học Bách khoa Hà Nội Ngày nhận 28/7/2020; ngày chuyển phản biện 31/7/2020; ngày nhận phản biện 28/8/2020; ngày chấp nhận đăng 8/9/2020 rate, such sensors are increasingly used for 3D acquisitions, and more generally for applications in robotics or reverse engineering In this study, the authors Tóm tắt: presented an efficient method for reflective surface scanning using Kinect v2 The Máy ảnh ToF thường biết đến máy ảnh chụp ảnh phạm vi, hệ cảm biến đời Các thiết bị approach is based the principles of the ICP (Iterative Closest phù hợponcho việc đo khoảng cách từ Point) thiếtalgorithm bị đến vật thể với tốc độ khung hình cao, sử dụng ngày phổ biến để thu thập liệu 3D cho ứng dụng robot hay kỹ thuật ngược Trong báo này, tác giả trình During the Kinect v2 scanning, the obtained point cloud is incomplete and bày phương pháp hiệu để quét bề mặt phản xạ sử dụng Kinect v2 Phương pháp dựa nguyên includes pixels.toán We solve the flying pixelquá problem by capturing tắc củaflying thuật ICP Trong trình quét point củaclouds Kinect v2, đám mây điểm thu thường khơng hồn chỉnh, bao gồmviewpoint vùng dữbelong liệu.toNghiên cứu Then, nàyallsẽofgiải vấn đề vùng trống liệu cách thu thập đám as multiple Eachtrống point cloud each coordinate mây điểm theo nhiều hướng khác Mỗi đám mây điểm gắn với hệ trục tọa độ khác Sau đó, tất the point clouds must be aligned and combined using the ICP algorithm The đám mây điểm chỉnh kết hợp thuật toán ICP Kết thực nghiệm cho thấy hiệu phương đềthat xuất experimentalpháp resultsđã show the quality of the method is significantly Từ khóa: bề mặt phản xạ, đám mây điểm, Kinect v2, trình quét 3D, thuật toán ICP improved Chỉ số phân loại: 2.3 Keywords: ICP algorithm Kinect v2 point cloud reflective surface 3D scanning Classification number: 2.3 Đặt vấn đề Đặt vấn đề Trong vài thập kỷ gần đây, q trình số hóa hình dạng Trongvật vài thập gần đây,tắtqlàtrìnhtáisố tạo hóa hình các- vật thể (viết tắt thểkỷ(viết badạng chiều 3D) ứng dụng rộng vực, công tái tạo ba chiều - 3D)rãi ứng nhiều dụng rộnglĩnh rãi nhiềutừlĩnhgiải vực, từtrígiảitớitrí tới nghiệp Mục tiêu thu thập liệu 3D điểm công nghiệp Mục tiêu thu thập liệu 3D điểm bề mặt vật thể, tọa độ bề mặt vật thể, tọa độ 3D, độ sâu véc tơ pháp tuyến 3D, độ sâuqua vécmột tơ pháptrình tuyến tự Thơng qua trìnhcác tự thựccơng cácviệc cơng việc trongq Thơng thực trình tái tạo 3D (mơ tả hình 1), mơ hình 3D vật thể q trình tái tạo 3D (mơ tả hình 1), mơ hình 3D vật thể tái tạo [1] tái tạo [1] Thu thập liệu Tiền xử lý Phân mảnh Phân loại Phù hợp bề mặt Tạo mơ hình 3D Hình Trình tự thực tái tạo 3D quan đến ứng HìnhLiên Trình tự thực hiệncác tái tạo 3D dụng lĩnh vực chế tạo máy, việc tái tạo 3D nhằm mục đích trích xuất thơng tin từ liệu Liên quan đếnthập ứngđểdụng vực chế tạogần máy, việc táicủa tạo 3Dmơ nhằmhình thơ thu táitrong tạo lĩnh phiên CAD sốthông phùtinhợp vớithôthiết kếthập ban củabản đối mục đíchtham trích xuất từ liệu thu để táiđầu tạo phiên gầntượng Trong bước “Thu thập liệu” (hình 1), kết khả mơ thường hình CAD tham số phù hợp với thiếtvới kế bancác đầu máy đốiquét tượng 3D Trongthương bước quan thực mại, tuydữnhiên giá1),thành củakhảchúng quáđược cao, phù “Thu thập liệu” ( ình kết quan thường thựckhơng với máyhợp với doanh nghiệp vừa nhỏ Được mắt vào năm quét 3D thương mại, nhiên giá thành chúng cao, không phù hợp với 2010, Microsoft Kinect (viết ngắn gọn Kinect v1), thiết bị doanh 3D nghiệpgiá vừarẻ, nhỏ mắt vào nămnghệ 2010, Microsoft Kinectcấu (viếttrúc ngắn để quét Được sử dụng công ánh sáng thu thập liệu độ sâu Phiên thứ hai Kinect gọn Kinect v1), thiết bị quét 3D giá rẻ, sử dụng công nghệ ánh sáng cấu trúc để phát hành vào năm 2014, giúp cải thiện độ xác * phép đo độ sâu Kinect v2 áp dụng kỹ thuật thời gian truyền sóng (ToF) để thu thập liệu độ sâu Kỹ thuật giúp đạt thông tin độ sâu với độ phân giải tốt hạn chế nhiễu từ nguồn bên ngồi [2] Đây tiềm lớn việc sử dụng Kinect v2 cho việc thu thập liệu trình tái tạo bề mặt 3D Kể từ xuất hiện, Kinect đối tượng cho nhiều phương pháp phát triển với hy vọng đưa đánh giá kỹ lưỡng độ xác Một mơ hình tốn cho liệu độ sâu thu thập từ Kinect đề xuất [3] Trong đó, nghiên cứu sâu ảnh hưởng tham số đến độ xác liệu độ sâu thơng qua phân tích sai số lý thuyết giới thiệu Để tính tốn liệu 3D, tham số nội ngoại trình hiệu chuẩn, chẳng hạn tiêu cự, điểm gốc, hệ số méo ống kính, chiều dài sở khoảng cách mẫu tham chiếu sử dụng mơ hình đề xuất Kết thí nghiệm chứng minh rằng, sai số ngẫu nhiên liệu đo độ sâu tỷ lệ thuận với gia tăng khoảng cách máy ảnh đối tượng đo Một đánh giá toàn diện Kinect v2 cho mục đích tái tạo 3D thực Lachat cộng [4] Một số thí nghiệm góp phần làm bật sai số phát sinh từ mơi trường thuộc tính vật thể chụp, sai số liên quan đến thân thiết bị Qua đánh giá nguồn gây sai số, hiệu chuẩn hình học Tác giả liên hệ: Email: bienbv80@dhhp.edu.vn 63(1) 1.2021 34 Khoa học Kỹ thuật Công nghệ An efficient method for reflective surface scanning using Kinect v2 Van Bien Bui1*, Tien Long Banh2, Duc An Pham2, Duc Toan Nguyen2 Department of Mechanical Engineering, Hai Phong University School of Mechanical Engineering, Hanoi University of Science and Technology Received 28 July 2020; accepted September 2020 Abstract: ToF cameras, also identified as range imaging cameras, are a recent generation of sensors As they are desirable for measuring distances to objects at a high frame rate, such sensors are increasingly used for 3D acquisitions, and more generally for applications in robotics or reverse engineering In this study, the authors presented an efficient method for reflective surface scanning using Kinect v2 The approach is based on the principles of the ICP (Iterative Closest Point) algorithm During the Kinect v2 scanning, the obtained point cloud is incomplete and includes flying pixels The authors solve the flying pixel problem by capturing point clouds as multiple viewpoints Each point cloud belongs to each coordinate Then, all of the point clouds must be aligned and combined using the ICP algorithm The experimental results show that the quality of the method is significantly improved Keywords: ICP algorithm, Kinect v2, point cloud, reflective surface, 3D scanning độ sâu thực để làm giảm ảnh hưởng sai số đến độ xác Kinect Cuối cùng, bề mặt 3D mảnh khảo cổ xây dựng, qua chứng minh khả ứng dụng độ xác máy ảnh Kinect việc tái tạo mơ hình 3D vật thể Đối với hệ thống sử dụng nhiều Kinect v2, phương pháp phát triển Yang cộng [5] để cải thiện độ xác đo độ sâu Cơng trình tập trung vào việc đánh giá độ xác độ sâu Kinect v2 So với Kinect 1, hiệu phần cứng theo tham số kỹ thuật ban hành trình bày kỹ lưỡng Nhiều thuộc tính quan trọng máy ảnh Kinect v2 sử dụng thực tế nghiên cứu, phân bố tính xác, độ phân giải độ sâu, entropy độ sâu, nhiễu giao tuyến bề mặt nhiễu cấu trúc Các kết góp phần thực thí nghiệm kiểm tra đưa độ xác tốt cho Kinect v2 sau xác định vị trí đối tượng khu vực phù hợp Cũng nghiên cứu trước nhóm tác giả [1], ảnh hưởng tính phản xạ trình thu thập liệu 3D trình bày Ba mẫu vật liệu nghiên cứu nhơm, thép nhựa Qua thí nghiệm cho thấy, ảnh hưởng tính chất bề mặt đối tượng đến trình quét sử dụng Kinect v2 rõ ràng Chính vậy, nghiên cứu này, phương pháp nhằm giảm tác động phản xạ bề mặt đối tượng quét hình thành đám mây điểm trình tái tạo bề mặt 3D chi tiết đề xuất đánh giá Nội dung nghiên cứu Thu thập liệu đám mây điểm Classification number: 2.3 Kinect v2 bao gồm hai máy ảnh, máy ảnh hồng ngoại (IR) máy ảnh RGB Trong thiết bị có ba nguồn ánh sáng IR, nguồn sáng tạo sóng điều chế với biên độ khác Thông số kỹ thuật thiết bị minh họa bảng Bảng Thông số kỹ thuật Kinect v2 Độ phân giải máy ảnh RGB 1920x1080 pixels Độ phân giải máy ảnh IR 512x424 pixels Tỷ lệ khung hình Đến 30 Hz Thị trường máy ảnh IR 70x60 độ Thị trường máy ảnh màu 84x54 độ Phạm vi làm việc Từ 0,5 đến 4,5 m Để xác định giá trị độ sâu, Kinect v2 sử dụng công nghệ ToF quang Dựa kết đo thời gian để sóng ánh sáng truyền từ nguồn sáng hồng ngoại đến vật thể sau quay trở lại máy ảnh hồng ngoại, giá trị độ sâu xác định (hình 2) 63(1) 1.2021 35 Thị trường máy ảnh IR 60 độ Thị trường máy ảnh màu 54 độ Phạm vi làm việc 0,5 đến 4,5 m xác định trị độ sâu, v2 sử dụng công nghệ ToF quang Dựa kết KhoaĐểhọc Kỹgiáthuật vàKinect Công nghệ đo thời gian để sóng ánh sáng truyền từ nguồn sáng hồng ngoại đến vật thể sau quay trở lại máy ảnh hồng ngoại, giá trị độ sâu xác định (hình 2) Nguồn sáng đó: Z giá trị cường độ điểm ảnh p(u,v) đồ độ sâu Đối tượng Máy ảnh IR Ghép đám mây điểm bù vùng phản xạ d Hình Nguyên lý làm việc ToF Hình Nguyên lý làm việc ToF Gọi d khoảng cách từ Kinect v2 đến vật thể, dựa ánh sáng điều chế, sử dụng hệ thống ToF gián tiếp thay đo trực tiếp thời gian di chuyển, độ lệch pha ∆ϕ tín hiệu phát tín hiệu thu đo Khoảng cách ước tính d tính theo cơng thức sau: ∆ϕ ⋅c 4π f = d (1) đó: f tần số điều chế, c tốc độ ánh sáng khơng khí Mỗi máy ảnh Kinect v2 có tham số nội riêng phụ thuộc vào cảm biến ống kính Các tham số hiệu chỉnh nhà máy lưu trữ nhớ thiết bị Sử dụng công cụ Kin2 [6] phát triển Matlab, giá trị tham số nội sử dụng viết thu thập hiển thị bảng Bảng Các tham số nội máy ảnh IR Tham số nội Giá trị (Pixels) Độ dài tiêu cự Điểm gốc Fx 362,8785 Fy 362,8785 Cx 253,8325 204,4191 Cy K1 (2 ) 204,4191 K2 (4 ) -0,2698 K3 (6th) 0,0888 nd Độ méo hướng kính th Y = u − Cy Fy (2) ⋅Z (3) 63(1) 1.2021 Khó khăn lớn việc ghép đám mây liệu thu lần quét thực hệ tọa độ khác Trong số trường hợp, đối tượng di chuyển đến vị trí khác suốt q trình qt kiểm sốt máy tính Khi u cầu kết thu vị trí quét khác phải có độ xác Đây trường hợp đối tượng đặt bàn xoay dịch chuyển tịnh tiến điểu khiển máy tính Trong báo này, thuật toán ICP [7] sử dụng để ghép hai đám mây điểm Giả sử hai đám mây điểm gọi D M, đồng thời số điểm thuộc D M tương ứng ND NM Công thức phép chuyển đổi hệ tọa độ sau [7]: D =R ⋅ M + T Các đồ độ sâu đối tượng sau chuyển đổi thành đám mây điểm 3D sử dụng tham số nội máy ảnh hồng ngoại, liệu độ sâu thu mơ hình máy ảnh theo quan hệ hình chiếu phối cảnh Mỗi điểm ảnh p(u,v) đồ độ sâu chuyển đổi thành điểm P(X,Y,Z) không gian thực biểu diễn đám mây điểm 3D, gốc tọa độ đám mây điểm tạo đặt vị trí máy ảnh IR Kinect v2 Các tọa độ X Y điểm P tương ứng với điểm ảnh p đồ độ sâu tính cơng thức: u − Cx = ⋅Z X Fx Qua thực nghiệm cơng bố nhóm tác giả [1], đám mây điểm thu vật liệu có hệ số phản xạ bề mặt lớn nhơm có vùng khơng có liệu (flying fixels) Có thể nhận thấy rằng, phản xạ bề mặt phụ thuộc vào góc chụp đối tượng Các vùng khơng có liệu bề mặt thu có liên quan đến góc tia sáng IR chiếu từ nguồn sáng góc thu máy ảnh IR Máy ảnh Kinect v2 chụp vùng khác đối tượng, dựng tọa độ thành phần, sau tổng hợp thành tọa độ toàn thể Các đám mây điểm đối tượng ghép, vùng bị phản xạ đám mây điểm bù với vùng không bị phản xạ đám mây điểm khác Để ghép đám mây thành phần thành đám mây đối tượng hoàn chỉnh, việc cần làm phải lựa chọn cho vùng bị phản xạ đám mây điểm trùng với vùng không chịu ảnh hưởng phản xạ bề mặt đám mây điểm khác (4) R T ma trận quay ma trận tịnh tiến cần tìm để hai đám mây điểm ghép với với sai số tính theo phương pháp bình phương cực tiểu sau: E ( R, T= ) NM ∑ (R⋅M i =1 i + T ) − Dj (5) (Mi,Dj) cặp điểm tương đồng với hai đám mây điểm Giữ nguyên giá trị Mi, điểm tương đồng Dj tính theo cơng thức đây: = M v arg ( R ⋅ M i + T ) − Dk k∈{1,2, N D } (6) Quy trình thực ghép đám mây điểm bù vùng trống liệu phản xạ bề mặt sử dụng thuật toán ICP bao gồm bước: chọn điểm tương đồng đám mây điểm 36 Khoa học Kỹ thuật Công nghệ tham chiếu; liên kết điểm điểm lân cận gần với điểm tương đồng đám mây điểm tiếp theo; ước lượng ma trận quay chuyển vị phép chuyển đổi sử dụng thuật toán ICP; sử dụng ma trận ước lượng R T xác định để chuyển đổi điểm hai đám mây điểm; lặp lại bước điều kiện dừng thuật toán ICP đáp ứng Kết thảo luận Mơ tả thí nghiệm Mục đích thí nghiệm nhằm khảo sát khả phương pháp ghép đám mây điểm bù vùng trống liệu việc giảm ảnh hưởng phản xạ bề mặt Kết thí nghiệm đánh giá thơng qua hai yếu tố, thứ hình dạng ban đầu vật mẫu có biểu diễn rõ ràng qua điểm thu hay không thứ hai mật độ điểm liệu đám mây điểm bị ảnh hưởng Để thực khảo sát ghép đám mây điểm bù vùng trống liệu, chi tiết vật liệu nhơm có kích thước 120x120x14 mm gia công máy phay CNC Manford MCB-850 Phần mềm KSCAN3D sử dụng để thu nhận liệu đám mây điểm Sau đó, việc ghép đám mây điểm theo thuật toán đề xuất triển khai chương trình máy tính mã Matlab Thí nghiệm tiến hành với vị trí theo dịch chuyển tịnh tiến, minh họa hình 36 vị trí theo dịch chuyển quay, minh họa hình Trong trình chuyển động, vật mẫu đặt hệ thống khí hỗ trợ nhằm đảm bảo sai lệch vị trí thấp sau lần vật mẫu dịch chuyển Hình Hệ thống hỗ trợ trình thực nghiệm theo dịch chuyển tịnh tiến 63(1) 1.2021 Hình Hệ thống khí hỗ trợ q trình thu thập liệu theo dịch chuyển quay Kết đánh giá Sau thu nhận toàn đám mây điểm vị trí khảo sát theo dịch chuyển tịnh tiến, trước ghép, đám mây điểm lọc khối lọc 130x130x10 mm để loại bỏ điểm mặt phẳng tham chiếu môi trường xung quanh Kết ghép đám mây điểm bù vùng trống liệu vật mẫu dịch chuyển tịnh tiến minh họa hình Đám mây điểm thể rõ hình dạng ban đầu vật mẫu Qua so sánh với đám mây điểm vị trí khảo sát trước ghép, vùng trống liệu khu vực trung tâm bề mặt quét đám mây điểm khác bù lẫn Hình Đám mây điểm sau ghép để bù vùng trống liệu theo dịch chuyển tịnh tiến 37 Khoa học Kỹ thuật Công nghệ Đối với dịch chuyển quay, sau thu nhận toàn 36 đám mây điểm, đám mây điểm lọc tương tự dịch chuyển tịnh tiến Kết ghép đám mây điểm bù vùng trống liệu theo dịch chuyển quay biểu diễn hình Đám mây điểm số vùng trống liệu khu vực trung tâm chưa thể rõ hình dạng ban đầu vật mẫu Nguyên nhân vị trí khảo sát cách 10º nên q trình số hóa khơng thu thập đủ liệu cần thiết Vì vậy, áp dụng thuật tốn xác định biên dạng vùng trống liệu để giảm thời gian tính tốn q trình ghép đám mây điểm Kết luận Qua kết thực nghiệm cho thấy, phương pháp ghép đám mây điểm bù vùng trống liệu bề mặt phản xạ sản phẩm khí sau gia cơng cắt gọt gây q trình quét 3D thiết bị Kinect v2 cho kết khả quan Các đám mây điểm sau ghép thể rõ hình dạng ban đầu vật mẫu Đồng thời mật độ đám mây điểm sau ghép tăng lên đáng kể Nhằm đánh giá hiệu phương pháp đề xuất trên, nghiên cứu tiếp theo, tác giả thực so sánh với số phương pháp giảm ảnh hưởng phản xạ bề mặt khác TÀI LIỆU THAM KHẢO Hình Đám mây điểm sau ghép để bù vùng trống liệu theo dịch chuyển quay Như vậy, việc đăng ký đám mây điểm để bù vùng trống liệu phù hợp với q trình số hóa bề mặt vùng trống liệu không lớn, vùng trống không biên giới bề mặt Hơn nữa, phương pháp ghép đám mây điểm thực tính tốn thời gian khoảng phút cho q trình ghép đám mây điểm Nếu chi tiết có kích thước lớn, mật độ điểm tăng lên, thời gian tính toán tăng nhanh 63(1) 1.2021 [1] V.-B Bui, T.-L Banh, and D.-T Nguyen (2019), “Improving the depth accuracy and assessment of Microsoft Kinect v2 towards a usage for mechanical part modeling”, J Korean Soc Precis Eng., 36, pp.691-697 [2] H Sarbolandi, D Lefloch, and A Kolb (2015), “Kinect range sensing: Structured-light versus time-of-flight kinect”, Comput Vis Image Underst., 139, pp.1-20 [3] K Khoshelham and S.O Elberink (2012), “Accuracy and resolution of Kinect Depth data for indoor mapping applications”, Sensors, 12, pp.1437-1454 [4] E Lachat, H Macher, T Landes, and P Grussenmeyer (2015), “Assessment and calibration of a RGB-D camera (Kinect v2 Sensor) towards a potential use for close-range 3D modeling”, Remote Sens., 7, pp.13070-13097 [5] L Yang, L Zhang, H Dong, A Alelaiwi, and A El Saddik (2015), “Evaluating and improving the depth accuracy of Kinect for Windows v2”, IEEE Sens J., 15, pp.4275-4285 [6] J.R Terven and D M Córdova-Esparza (2016), “Kin2: A Kinect toolbox for MATLAB”, Sci Comput Program., 130, pp.97106 [7] K Low (2004), Linear least-squares optimization for point-toplane ICP surface registration, Univ North Carolina 38 ... hưởng tính phản xạ trình thu thập liệu 3D trình bày Ba mẫu vật liệu nghiên cứu nhơm, thép nhựa Qua thí nghiệm cho thấy, ảnh hưởng tính chất bề mặt đối tượng đến trình quét sử dụng Kinect v2 rõ ràng... Qua kết thực nghiệm cho thấy, phương pháp ghép đám mây điểm bù vùng trống liệu bề mặt phản xạ sản phẩm khí sau gia cơng cắt gọt gây trình quét 3D thiết bị Kinect v2 cho kết khả quan Các đám mây... Kinect v2 rõ ràng Chính vậy, nghiên cứu này, phương pháp nhằm giảm tác động phản xạ bề mặt đối tượng quét hình thành đám mây điểm trình tái tạo bề mặt 3D chi tiết đề xuất đánh giá Nội dung nghiên