Nâng cao chất lượng tiền xử lý đám mây điểm

CƠ KHÍ SỬ DỤNG KINECT V2

3.3. Nâng cao chất lượng tiền xử lý đám mây điểm

3.3.1. Loại bỏ các điểm ngoại lai trong đám mây điểm

Hình 3.17: Kết quả khảo sát ảnh hưởng của số lượng ảnh độ sâu liên tiếp đến quá trình số hóa bề mặt

Số khung hình liên tiếp

20 40 60 80 100 120 140 160 180 200

484

*o

"S 483 05•o 482 485

481

2.2.1080 Các điểm ngoại lai xảy ra khi điều kiện quét lý tưởng không được đáp

ứng và

là các điểm ảo không thể tránh khỏi của các thiết bị quang học. Như đã trình bày trước đó, hiện tại về mặt toán học, chưa có một định nghĩa rõ ràng cho điểm ngoại lai. Mặc dù nhiều nghiên cứu sử dụng phương pháp thống kê để phát hiện các điểm ngoại lệ trong tập dữ liệu chung đã được công bố, tuy nhiên hầu hếtcác phương pháp này đều có hạn chế khi phát hiện các ngoại lệ trong tập đám mây điểm lớn [56].

2.2.1081 Do góc quan sát, cường độ ánh sáng, đặc điểm phản xạ và hình dạng

bề mặt

được quét của đối tượng cũng như các hạn chế của cảm biến độ sâu [29], đám mây điểm thu được từ máy ảnh Kinect v2 tồn tại cả ba dạng điểm ngoại lai. Đã có rất nhiều phương pháp khác nhau [55, 58, 59] được đề xuất để phát hiện các điểm ngoại lai trong đám mây điểm khi quét bằng thiết bị quang học nói chung và Kinect v2 nói riêng. Với mục đích loại bỏ những điểm ngoại lai trong bước tiền xử lý đám mây điểm nhằm thu được đám mây điểm có chất lượng tốt nhất đồng thời đảm bảo tốc độ quét, phương pháp loại bỏ điểm ngoại lai thưa thớt dựa vào thuật toán được trình bày trong tài liệu [60] sẽ được sử dụng.

2.2.1082 Mật độ điểm được giả định theo phân phối chuẩn, để tính toán mức độ thưa

thớt, khoảng cách trung bình dkNN của k lân cận gần nhất sẽ được xác định.

Nếu khu vực này rất thưa thớt, lân cận ở rất xa và dkNN nhận được giá trị lớn.

Gọi ^ và ơ là số liệu thống kê của khoảng cách trung bình cho toàn bộ tập dữ liệu. Khi đó một điểm thỏa mãn bất đẳng thức 3.4 sẽ bị phân loại là điểm ngoại lai và bị loại bỏ.

2.2.1083 dkNN > /' + aơ (3.4)

2.2.1084 trong đó, a là ngưỡng phát hiện điểm ngoại lai. Ngưỡng a độ lệch

chuẩn từ giá

trị trung bình của khoảng cách trung bình đến các lân cận của tất cả các điểm.

Ngưỡng này thường được chọn theo kinh nghiệm để chỉ loại bỏ các điểm ngoại lệ xa nhất, trong luận án này, a = 0,5 . Trong phần mềm Matlab, thuật toán này đã được xây dựng thành câu lệnh pcdenoise.

2.2.1085 Để đánh giá quá trình loại bỏ các điểm ngoại loại trong đám mây điểm bằng

phương pháp loại bỏ điểm ngoại lai thưa thớt, hai đám mây điểm sẽ được thu nhận và được sử dụng để đánh giá quá trình loại bỏ điểm ngoại lai trong đám mây điểm. Cụ thể, chụp liên tiếp 50 khung hình độ sâu, sau đó tiến hành lọc nhiễu và tính khung hình trung bình như đã nghiên cứu trong mục 3.2. Đối với phương pháp loại bỏ điểm ngoại lai thưa thớt sử dụng câu lệnh pcdenoise, chọn k = 8 dựa trên giả định rằng các điểm được phân bố đều trên một đa tạp 2D, do đó, tám lân cận gần nhất của mỗi điểm có khoảng cách bằng nhau. Trước khi loại bỏ điểm ngoại lai, đám mây điểm cũng được loại bỏ các điểm ở mặt phẳng tham chiếu và môi trường xung quanh theo khối 200mm X 200mm X 115mm. Kết quả của thí nghiệm này được trình bày trong hình 3.18.

2.2.1086 Qua quan sát, các điểm ngoại lai thưa thớt trong hình trong hình 3.18a đã

được loại bỏ theo phương pháp đã đề xuất ở trên và không còn tồn tại trong

hình 3.18b nữa. Đám mây điểm trước khi loại bỏ điểm ngoại lai có 2740 điểm.

Đám mây điểm sau khi loại bỏ điểm ngoại lai có 2390 điểm.

3.3.2. Lựa chọn thuật toán đăng ký đám mây điểm

2.2.1087 Máy ảnh ToF nói chung và Kinect nói riêng chỉ lưu trữ được duy nhất một

giá trị độ sâu cho một góc nhìn. Trong thực tế, các sản phẩm cơ khí có hình

2.2.1088

2.2.1089 Hình 3.18: So sánh đám mây điểm trong quá trình loại bỏ điểm ngoại lai2.2.1090

2.2.1091 dạng rất phong phú và một góc nhìn của Kinect không thể thu nhận đủ thông

tin hình học của bề mặt sản phẩm cơ khí muốn quét. Do đó, cần phải tạo ra các chuyển động tương đối giữa Kinect v2 và đối tượng quét, di chuyển Kinect v2 xung quanh đối tượng quét hoặc xoay đối tượng quét trên bàn xoay đặt trước mặt Kinect v2, qua đó cho phép chụp được toàn bộ bề mặt của đối tượng cần quét. Để tái tạo được toàn bộ bề mặt, các đám mây điểm theo từng góc nhần phải được kết hợp với nhau. Mỗi đám mây điểm ở góc nhìn này sẽ được biến đổi tọa độ tương đối với đám mây điểm ở góc nhìn khác. Khi phép biến đổi hệ tọa độ tương đối giữa hai đám mây điểm được xác định, các đám mây điểm có thể được đồng chỉnh với nhau. Về mặt toán học, phép biến đổi hệ tọa độ tương đối sẽ được xác định khi biết các dịch chuyển tương đối của máy ảnh Kinect v2 và đối tượng quét. Tuy nhiên, công việc tưởng chừng đơn giản này lại gặp rất nhiều khó khăn, đòi hỏi nhiều trang thiết bị cũng như thời gian, nên các phép biến đổi hệ tọa độ tương đối thường được xác định bằng phương pháp gần đúng mà không cần quan tâm tới các dịch chuyển tương đối giữa thiết bị và đối tượng.

Quá trình tìm kiếm phép biến đổi hệ tọa độ tương đối phù hợp được gọi là đăng ký đám mây điểm. Lặp lại quá trình này cho tất cả các góc nhìn cho phép đồng chỉnh tất cả các đám mây điểm và do đó tái tạo lại toàn bộ bề mặt đối tượng.

2.2.1092 Có nhiều thuật toán để đăng ký đám mây điểm. Tùy thuộc vào lĩnh vực ứng

dụng, phương pháp tính toán chuyển động, chiến lược đăng ký đám mây điểm ứng với các thuật toán được thay đổi cho phù hợp. Trong đó, thuật toán được sử dụng phổ biết nhất là ICP, thuật toán này thực hiện đăng ký đám mây điểm bằng cách tìm giá trị nhỏ nhất khoảng cách giữa các điểm tương ứng, được gọi là điểm gần nhất. Dưới đây, thuật toán ICP sẽ được mô tả chi tiết.

2.2.1093 Nhiệm vụ của thuật toán đăng ký đám mây điểm là tìm ra phép biến

đổi hệ

trục tọa độ tương đối H sẽ được áp dụng để dịch chuyển hai đám mây điểm càng gần nhau càng tốt. Thông thường đám mây điểm áp dụng phép biến đổi hệ trục tọa độ được gọi là đám mây điểm dữ liệu và đám mây điểm còn lại được gọi là đám mây điểm mô hình. Để tiện tính toán, gọi đám mây điểm dữ liệu làP = (pi\i = 1, • • •, N) và đám mây điểm mô hình là M = (mì\i = 1, • • •, N). Mục tiêu sau đó có thể được mô tả một cách toán học là tối thiểu hóa đại lượng e trong không gian metric, trong đó

2.2.1094 2.2.1095

2.2.1096 Giả sử trong quá trình thực hiện chuyển dịch tương đối giữa Kinect v2

và đối

tượng quét, hình dạng của đối tượng quét không thay đổi, khi đó phép biến đổi hệ trục tọa độ tương đối H chỉ bao gồm phép biến đổi quay được đại diện bởi ma trận quay R và phép biến đổi tịnh tiến được đại diện bởi ma trận tịnh tiến T. Phương trình 3.6 được biến đổi thành

2.2.1097 1 A

2.2.1098 e = N^2 \\mi - RPi - TII(3-7) 2.2.1099 Phương trình 3.7 cần ước tính 6 tham số, ma trận quay có 3 tham số, ma

trận tịnh tiến có 3 tham số, sao cho đại lượng e nhận giá trị nhỏ nhất. Theo lý thuyết toán học, cần biết ít nhất ba cặp điểm tương đồng để tính toán các tham số trên. Có hai phương pháp để xác định các cặp điểm tương đồng, thứ nhất là phương pháp tự động và thứ hai là phương pháp thủ công. Đối với phương pháp tự động, thuật toán ICP được đề xuất bởi Besl và McKay trong tài liệu [62] giải quyết vấn đề này bằng cách sử dụng các điểm gần nhất trước khi thực hiện phép biến đổi hệ tọa độ tương đối làm giá trị ban đầu, tiếp đến sẽ tìm các tham số trong hai ma trận R và T và cuối cùng áp dụng phép biến đổi hệ tọa độ tương đối vừa tìm được cho đám mây điểm dữ liệu. Quá trình được lặp đi lặp lại cho đến khi hội tụ, sử dụng đám mây điểm dữ liệu đã chuyển đổi ở mỗi bước làm đầu vào để tính các điểm gần nhất tiếp theo. Đây được gọi là thuật toán ICP theo không gian Point-to-Point. Quy trình thực hiện thuật toán ICP bao gồm các bước dưới đây

1.Nhập các đám mây điểm dữ liệu P và mô hình M;

2. Khởi tạo quá trình lặp bằng cách thiết lập Pk = P,R = I,T = (0,0,0) và k = 0. Nếu có một vài ước tính sơ bộ cho ma trận quay R và ma trận tịnh tiến T thì sử dụng chúng để khởi tạo. Các bước 3 đến 6 của quy trình này được lặp lại cho đến khi hội tụ trong dung sai T cho trước.

3.Tính điểm gần nhất Yk cho Pk trong M;

4. Tìm các ma trận quay Rk và tịnh tiến Tk tối ưu cho phép biến đổi hệ trục tọa độ tương đối giữa Po và Yk;

5. Áp dụng phép biến đổi hệ trục tọa độ tương đối vừa tìm được cho điểm thứ k + 1 theo công thức Pk+1= RkPk + Tk.

6. Tìm sai số ek của Yk và M. Dừng quá trình lặp nếu độ lệch sai số nằm dưới ngưỡng cho trước, cụ thể ek— ek+1< T.

2.2.1100 Mặc dù thuật toán ICP mô tả ở trên được thể hiện để hội tụ, trên thực tế

kết quả thực hiện rất nhạy cảm với nhiễu có trong các phép đo điểm và cả các vùng trống dữ liệu đám mây điểm. Cùng thời gian với Besl và McKay công bố nghiên cứu của mình, Chen và Medioni đã giới thiệu một thuật toán ICP khác của riêng họ [63]. Họ đã sử dụng khoảng cách từ điểm đến mặt phẳng tiếp tuyến trong đám mây điểm khác để phù hợp điểm và tối thiểu hóa mục tiêu, minh họa như hình 3.19. Nói chung quy trình thực hiện tương tự như đã mô tả ở trên đối với thuật toán ICP của Besl và McKay, với đại lượng e trong không gian metric được cực tiểu hóa theo định nghĩa sau

2.2.1101 N

2.2.1102 e = [(mi — Rpi — T) • ni]2 (3.8) 2.2.1103 trong đó nilà pháp tuyến tiếp xúc ước lượng của điểm mô hình thứ i.

Để tìm

các điểm tương đồng ở mỗi lần lặp, khoảng cách đến các mặt phẳng tiếp tuyến trong đám mây điểm mô hình phải được tối thiểu hóa. Nghiệm dạng đóng của thuật toán ICP này đã được trình bày trong [68].

2.2.1104 Dựa trên kết quả nghiên cứu của các công bố trên, quá trình đăng ký đám

mây điểm trên phần mềm Matlab được xây dựng thành câu lệnh pcregrigid.

Chất lượng quá trình đăng ký đám mây điểm ngoài việc phụ thuộc vào dữ liệu nhiễu và điểm ngoại lai còn phụ thuộc vào các điều kiện ban đầu của thuật toán ICP. Chính vì vậy, lựa chọn thuật toán ICP và điều kiện ban đầu của nó nhằm

2.2.1105

2.2.1106 nguồn

2.2.1107 Hình 3.19: Thuật toán ICP theo không gian Point-to-Plane (nguồn:

[68])

2.2.1108 tăng chất lượng quá trình số hóa của quá trình tái tạo hình học bề mặt

các sản

phẩm cơ khí sử dụng Kinect v2 sẽ được khảo sát.

2.2.1109 Để thực nghiệm đánh giá thuật toán ICP và các điều kiện ban đầu của nó,

dữ liệu đám mây điểm tại vị trí khảo sát số 5 và 8 ở trong mục 2.4 trong chương 2 được tiếp tục sử dụng. Cụ thể, tất cả các điều kiện ban đầu của thuật toán ICP được giữ giá trị mặc định, chỉ thay đổi không gian Metric, đồng thời thiết lập ma trận quay và tịnh tiến ban đầu lần lượt là R = I,T = (0, -120,0). Đầu tiên kết quả đám mây điểm sau đăng ký theo các không gian Point-to-Point và Point-to-Plane được minh họa trong hình 3.20.

2.2.1110 2.2.1111

2.2.1112 Hình 3.20: Đám mây điểm khi lựa chọn thuật toán ICP

2.2.1113 Với không gian Point-to-Plane, đám mây điểm tại vị trí khảo sát số 5 sau

khi đăng ký sẽ được kết nối với đám mây điểm tại vị trí khảo sát số 8 và được biểu diễn trong hình 3.20b, sai số bình phương trung bình gốc biểu thị khoảng cách Euclide giữa hai đám mây điểm có giá trị là 5,11mm, giá trị trung bình của tọa độ z của các điểm trong đám mây điểm là 1251mm ứng với độ lệch chuẩn là

2, 36mm2.2.1114. Các ma trận quay và ma trận tịnh tiến ước tính là

2.2.1115 Tương tự, không gian Point-to-Point, đám mây điểm tại vị trí khảo sát số

5 sau khi đăng ký sẽ được kết nối với đám mây điểm tại vị trí khảo sát số 8 và được biểu diễn trong hình 3.20a, sai số bình phương trung bình gốc biểu thị khoảng cách Euclide giữa hai đám mây điểm có giá trị là 4, 71mm, giá trị trung bình của tọa độ z của các điểm trong đám mây điểm là 1250, 7mm ứng với độ

(b) Không gian Point-to-Plane

-140 -120 -100 -80

Trục y (mm) E

E,

-40 -60 -60

-40 -20 0 20 40 60

(a) Không gian Point-to-Point

Trụcy (mm)

-140 -120 -100 -80 -60 -40

-60 -40 -20 20 40

0, 9989 0,0442 0,0137

60

-0, 0449 0, 9975 0, 0549

-0, 0113

-0, 0555 0, 9984

và T = [ -20, 8091 -195, 8887 4, 5633 ]

lệch chuẩn là 2,03mm. Các ma trận quay và ma trận tịnh tiến ước tính là

2.2.1116

2.2.1117 Như vậy, khi đăng ký các đám mây điểm thu nhận từ Kinect v2, thuật toán

ICP theo không gian Point-to-Point cho kết quả chính xác hơn thuật toán theo không gian Point-to-Plane.

2.2.1118 Một thí nghiệm tiếp theo, khảo sát sự ảnh hưởng của số lượng điểm trong

hai đám mây điểm được đăng ký đến chất lượng của quá trình đăng ký đám mây điểm. Tiếp tục sử dụng dữ liệu đám mây điểm tại vị trí khảo sát số 5 và 8 ở trong mục 2.4 trong chương 2, hai quá trình đăng ký đám mây điểm được thực hiện bởi thuật toán ICP theo không gian Point-to-Point; thứ nhất, chọn đám mây điểm tại vị trí khảo sát số 5 (số lượng điểm ít hơn: 647 điểm) làm đám mây điểm mô hình, đám mây điểm tại vị trí khảo sát số 8 làm đám mây điểm dữ liệu; thứ hai ngược lại chọn đám mây điểm tại vị trí khảo sát số 8 (số lượng điểm nhiều hơn: 860 điểm) làm đám mây điểm mô hình, đám mây điểm tại vị trí khảo sát số 5 làm đám mây điểm dữ liệu. Các điều kiện ban đầu khác của thuật toán ICP sử dụng các giá trị mặc định. Kết quả thí nghiệm được mô tả trong hình 3.21.

2.2.1119

2.2.1120 Hình 3.21: Đám mây điểm kết quả khi chọn đám mây điểm tham chiếu 2.2.1121 Khi lựa chọn đám mây điểm mô hình có số lượng điểm nhiều hơn,

đám mây

điểm thu được sau khi đăng ký được minh họa trong hình 3.21a, sai số bình phương trung bình gốc biểu thị khoảng cách Euclide giữa hai đám mây điểm có giá trị là 4, 89mm, giá trị trung bình của tọa độ z của các điểm trong đám mây điểm là 1250, 7mm ứng với độ lệch chuẩn là 1,99mm. Các ma trận quay và ma trận tịnh tiến ước tính là

(b) Số lượng điểm ít hơn

-20 0 20 40 60 80 100

Trục y (mm) -60

-40 -20 0 20 40 60

(a) Số lượng điểm nhiều hơn

Trục y (mm)

-140 -120 -100 -80 -60 -40

1—

-20

Ẹ 0

-60 -40 20 40 60

và T = [-22, 6176 -238, 6814 9, 2637 ]

-0, 0157

-0, 0838 0, 9964

-0, 00032 0,9965 0,0838 0, 9999

0,0019 0, 0159

2.2.1122

2.2.1123 Như vậy khi đăng ký đám mây điểm, lựa chọn đám mây điểm mô hình là

đám mây điểm có số lượng điểm nhiều hơn sẽ cho kết quả chính xác hơn đám mây điểm có số lượng ít hơn.