Luận văn thạc sĩ Khoa học máy tính: Lọc nhiễu dữ liệu cảm biến độ sâu

H 4 tyCA 700/70lá ị Trong dé tài luận văn này mô tả phương pháp lọc nhiễu dữ liệu được thực hiện trựctiếp trên đám mây điểm được lấy mẫu từ một bề mặt.. Bên cạnh đóthiết bị cảm biến được

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH

TRƯỜNG ĐẠI HỌC BÁCH KHOA

NGUYEN NGỌC LE

LOC NHIEU DU LIEU CAM BIEN DO SAU

Chuyên ngành: KHOA HOC MAY TINH

Mã số: 60.48.01

TP HO CHI MINH, tháng 6 năm 2013

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠITRUONG ĐẠI HỌC BACH KHOA —DHQG -HCM

Cán bộ hướng dẫn khoa học : TS Lê Ngọc Minh << <5

Cán bộ chấm nhận xét 1 : TS Nguyễn Anh Tuan -55¿

Cán bộ chấm nhận xét 2 : TS Lê Thanh Sách - 6s +s+x+s+sx£Luận văn thạc sĩ được bảo vệ tại Truong Dai học Bach Khoa, DHQG Tp.HCM ngày 22 tháng Ø7 năm 2013Thanh phan Hội đồng đánh giá luận văn thạc sĩ gồm:1.TS Trần Văn Hoài -

2.TS Nguyễn Anh Tuan

3 TS Lê Thành

Sách 4 TS Huynh Tường Nguyên

5 TS Lê Thanh

Vân Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lýchuyên ngành sau khi luận văn đã được sửa chữa (nếu có)

CHỦ TỊCH HỘI ĐÔNG TRƯỞNG KHOA

ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯƠNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨHọ tên học viên: Nguyễn Ngọc LỄ -5-555¿ MSHV: 09070446 Ngày, tháng, năm sinh: 16/10/1983 555552 Nơi sinh: Tây Ninh

Chuyên ngành: Khoa Học Máy Tính - Mã số : 60.48.01

I TÊN ĐÈ TÀI:LOC NHIÊU DU LIEU CAM BIEN ĐỘ SÂU - 5-5-5255 522cc cterrkererseeH NHIỆM VỤ VÀ NỘI DUNG:

Dữ liệu đâu ra của thiệt bị Kinect là tập điểm 3D bị nhiêu, nên cân lọc nhiêu

trước khi tạo mô hình bề mặt 3D của đối TƯỢNG SH vớHI NGÀY GIAO NHIỆM VU : 02/07/2012 -¿ 2-52 S2SE+EEESEEEEEEEEEEEErkerrkerered

IV NGÀY HOÀN THÀNH NHIỆM VU: 30/11/2012 - 25-52 2+cz£s+xsrszesrsdV CAN BO HUONG DAN: TS LE NGOC MINH - 2-5-5 52+c+E2EzEzterreered

Luận văn Thạc Sĩ này sẽ không thé được thực mà không cần sự động viên, giúp

đỡ và tạo điêu kiện tôt nhât của nhiêu người dành cho Tôi.

Đầu tiên, Tôi xin gởi lời cảm ơn chân thành và sâu sắc nhất đến TS Lê NgọcMinh, Thầy đã tận tình hướng dẫn tôi cũng như sự quan tâm trong suốt quá trìnhthực hiện đề cương và luận văn cao học, nhưng cũng tạo môi trường tự do và độclập trong nghiên cứu, tạo mọi điều kiện dé Tôi có thé hoàn thành tốt luận văn

Tôi cũng muôn cảm ơn đên bạn bè Tôi và tât cả mọi người khác đã dành thời

gian của mình để giúp đỡ cho Tôi, đây luôn là kỉ niệm đáng nhớ.Sau cùng, luôn là cần thiết cảm ơn đến những người thân yêu trong gia đình đã

luôn hồ trợ và ở bên cạnh Tôi.

H 4 tyCA 700/70)lá ị

Trong dé tài luận văn này mô tả phương pháp lọc nhiễu dữ liệu được thực hiện trựctiếp trên đám mây điểm được lấy mẫu từ một bề mặt Trong phương pháp lọc nhiễu,sử dụng kết hợp kỹ thuật Moving Least Squares (MLS) với kỹ thuật Non-Localtrong việc xử lý điểm tùy theo điểm đó thuộc vào vùng có đặc tính hay vùng không

có đặc tính.

Thiết bị cảm biến độ sâu Kinect for XBox của Microsoft được sử dụng cho việc lay

dữ liệu diém mau của bê mặt thực tê.

Lọc nhiêu dữ liệu đám mây điêm được xem như bước tiên xử lý cho việc tạo môhình 3D.

Tôi xin cam đoan răng, ngoại trừ các kêt quả tham khảo từ các công trình khác nhưđã ghi rõ trọng luận văn, các công việc được trình bày trong luận văn này là dochính Tôi thực hiện và chưa có phân nội dung nào của luận văn này được nộp đề lây

một bang cấp ở trường này hoặc trường khác

vi

NHIỆM VỤ LUẬN VĂN THAC SĨ - G1531 11121211 E12 ng go ii909.909 iiiTOM TAT LUẬN VAN uccccccscscccscscscscscecscecscececececesscsesesevevavaavarasasacacacacecececececseseeeeaves iv

ABSTRACT oe dddtddadddiidddddt'.-Ÿ+<ŨỒỒ V

9099090000 viM.9/:8110/ 927.9 22 ixDANH MUC HINH 2 XChương 1 GIỚI THIIỆU 2-5-5 E2 E2 EEEEE SE SE EkEkEEEEEE51515 31511111111 rkd |

LL Động lực - Gv ]1.2 — Mục HOU oo eecc cc eeseccccesecccceeeececeuecceseesecceeeeeeceseuecceseeeeceseunecceseusecesuneccesenees 2

1.3 Hướng tiếp CAM ciecccccccccccccscsessssesesssscsssssscssesescsscsesesscsesessesssessssesessesesesseseeeseess 31⁄4 Kết câu luận văn G11 S111 1111 11110191111 111121 gu vo 4Chương 2 TONG QUANN - - - E11 1 151515151515 5 11111111111 1101111111501011111 111k ri 5

2.Í KIn€CÍ Q Q.0 5

2.2 Một số thuật ngữ - S11 1 11 1111111111111 010111 1101011111101 11110111.72.2 Đám mây điểm (Point ClOudS) - + + << SE SE SkEEEEEEEEEE E1 5E EEeree, 8

2.3 Point Cloud Library (PC L) - <5 5G G9999 011g vớ 8

2.3.1 Một số thư viện module C'+-L: «xxx 1919121 E9 511121 1E 1xx erred 9

3.2 _ Phân tích thành phan chính - Principal Component Analysis (PCA) 15

3.3 Random Sample Concensus (RANSAÁC)) ng vn 16Số Ắ 16

Chương 4 NGHIÊN CUU LIEN QUAN wioeecccccccscsesescsesscscscscscecesscscscsesssssssssscssacanscseas 18

4.1 Mesh-Independent Surface Interpolation |Í7] - «««««««sssssssssseeeeess 18

vii

4.2 Curve Reconstruction from Unorganized Points [9] ««« «<< <<<<2 204.3 Point set surfaces [13] - + + - << 333031133301 111135 1111 111 1 1v 11v se 2044 Robust moving Least-squares Fitting with Sharp Features [26] 214.5 Similarity-based denoising of point-sampled surface [24‡] 224.6 Adaptive feature-preserving non-local denoising of static and time-varying

4.7 Efficient Spatio-Temporal Hole Filling Strategy for Kinect Depth Maps[14] 23

4.8 Adaptive Spatio-Temporal Filter For Low-Cost Camera Depth Maps [15] 24

Chương 5 TRÍCH DOI TUONG - - <2 E333 3 SE 5151515111511 11ckrk 26

5.1 _ Thu thập dữ liệu - - E56 E2 S13 E5 E1 2121E1515 1111111151111 r 263.2 — FIlI€TITE Q0 Họ và 275.3 Sự phân chia (Segme€nfafIOI)) - - - << < << s S999 00 re 28

Chương 6 PHƯƠNG PHÁP KHỬ NHIÊU - + 225 2 2 2££+E+E+Ez£z£e£Ezezescee 30

6.1 Dinh nghĩa phép do (<< 190000 ngờ 30

6.2 Phương pháp khử nhiễu để Xuất - 2 255 S2 S2SE2E£E2E2EE£E£ErEeErrrrrrered 31Chương 7 KẾT QUA VÀ KẾT LUẬN c- CS E3EEEEEE 515 1111111111111 ekrkd 40

7.1 Dữ liệu là DOUBLE-TORUS2 ¿ 2 6- + SE 2E E232 EEEE E121 1E EErkrree 40

7.1.1 Tim tham số K E- SE SE SE E9 E1 3 1511511211115 11 1111151111110 y 427.1.2 Ấp dụng thuật toán MLS cho dt liệu DOUBLE-TOREUS2 437.1.3 Ấp dụng thuật toán MSL và Non-Local cho dữ liệu Double- Torus2 467.2 _ Dữ liệu được lấy từ thiết bị quét Kinect( ¿ - - + 2 2 2s+x+x+£scezkcerrerrered 557.2.1 Áp dụng thuật toán MLS + 252562 SE 1 EEEEEEEEEEEEEEerrrrrrrkred 567.2.2 Ap dụng giải thuật MLS và NON-LOCALL, - 55555252 5scs+cscscce2 57

TB Anh ganiỶÏijểỹtidấẩÝẩ3a3aấaadtdidididtiti 63

TA KẾT luận - - ch 11121 11 91110191111 1111010111 T101 HT ng: 63TÀI LIEU THAM KHẢO S311 E111 9191 1E 911151 11 11111511 1 1g rke 65

vill

Bảng 6-1: Bảng biến thiên Gaussian Kernel - ¿2 + 2 2s++S+£e+x+Eezxcxerereerees 39Bang 7-1: Bảng số liệu chọn tham $6 k - ¿2+ 2 25252 S£+E+E££££E+E£EvEeErereerees 42Bang 7-2: Bảng số liệu Double-Torus2, MLS - +: + 2552552 s+x+£+zxcxerreerees 43Bang 7-3: Bảng số liệu Double-Torus2, MLS và Non-Local, bán kính 1.5 49Bảng 7-4: Bảng số liệu những điểm thuộc vùng đặc tính Double-Torus2, MLS và

Non-Local, bán kính Ì.5 + - 2< <1 11332113010 111081 1180 118 11v vn vn ng cv, 50

Bảng 7-5: Bảng số liệu Double-Torus2, MLS và Non-Local, bán kính 2 52Bang 7-6: Bảng số liệu những điểm thuộc vùng đặc tính Double-Torus2, MLS và

Non-Local, bán kính 2 - - - + c2 CS 2130301011809 11030 1188 111 ng HH ng cv bí 53

Hình 2-1: Lay dữ liệu độ sâu của Kinect ¿- ¿5+ + 2+2 +E+E+E2EEE£EcEeEeErkrkrsrkrree 7Hình 2-2: Sơ đồ Class của PCL c:-c+cct‡2xt2EeEEEEkttrktrttrrrrrrrrrrrrrrrrrrrrir 9

Hình 2-3: Bộ lọc Pass IÏhrough - + 000001001 ng 10

Hình 2-4: Sơ đồ class đặc tính điỂm - G2 S312 SE ve svreered I1Hình 2-5: Đám mây điểm 3D - - ¿SE E2 E83 1 E5 311 E1211115111 211111511 cxeE 11Hình 2-6: Tinh normal của dữ liệu GiGi cceseseesecscecescssececscececsevevscscecesevevsceeveees 11Hình 2-7: Ước lượng bể mat normal c.c.ceccscscsssseessssssssesesssessssesesssessscsesssssssseseseens 12Hình 2-8: Hàng xóm xung quanh từng cặp điỂm ¿5-5 255+c+S+cx+eszzxeree 12

Hình 2-9: Histogram đặc tÍnh - << + 1119999101011 0000 0n 14

Hình 2-10: Hàng xóm xung quanh điỂm - ¿+ + + 2 2+E+E+E+££EE£E£E+EzEzrErxrerersee 14

Hình 2-11: Hàng xóm của những hang XÓI - << + 1 199931 1 ke 14

Hình 4-1: Tìm mặt phắng - ¿+ - 222295221239 12121911 232111 2111121111211 18Hình 4-2: Tìm mặt phang Hy tối ưu -. -¿ ¿+ 2 2952 E+E+EE£E£E£EEEEEESEEEErkrrrrkrkrrees 19Hình 4-3: Chiếu của r trên S eesceesessseesseesssesneessesssesncesesueesncensesaseanesasececeusecnceneensenneenes 19Hình 4-4: Mỗi quan hệ giữa r, với r VAT, VỚI ceeesccccsescsscsessesesessesesessesesesseseseeseseeeesese 20Hình 4-5: Chiếu lên bể mặt gần cạnh - + %6 E+EE2EE£E+E£E+E£EE£E£E£EeEeErrerkrerree 21Hình 4-6: Bề mặt min từng phan được xây dựng cecccceccccesessesessesessseseseseeseseeeesesen 21

Hình 4-7: Non-Local trên ảnhh - 000300010 0 nh 23

Hình 4-8: Sơ đỗ khối của chiến lượt làm day chỗ trống ¿55c 5scs+5ec: 24Hình 5-1: Sơ đồ thuật toán trích đối TƯỢN G HH nh 26Hình 5-2: Đám mây điểm dữ liệu lay được từ thiết bị Kinect - scsc-cs: 27Hình 5-3: Đám mây điểm được lọc với phương pháp Pass Through - 28

Hình 5-4: Một phan của hình hộp sau tiến trình phân chia - + 55552: 29Hình 6-1: Tính khoảng cách từ điểm đến mặt phăng qua k điểm -. - 31Hình 6-2: So đồ thuật toán khử nhiỄU - - - 6 SE E12 EESESEEESEEEEsEsksesereered 32

Hình 6-3: Gia tri cường độ của pixel trong ảnh << s11 9 1 ng vn 35

Hình 6-4: Minh họa bộ lọc Non-Local cho ảnh - - << << << ss2*sssssssss 36

Hình 6-5: Chiếu của một điểm lên mặt phang - ¿+2 - + 2 2+2+£+£+£z££zzxzs+ẻ 36Hình 6-6: Chiếu của các điểm hàng xóm - ¿+ - ¿2252 +E+E+E£E£E+EEErEererkrrrrees 37Hình 6-7: Đồ thị hàm e* Va @ ” G1112 1E 91119111111 01 11510111 1112 TT g1 ri 38Hình 6-8: Đồ thị Gaussian IKernelL - - - s s s xk + EEE#ESE St EEsESEekekvsErkekeerereered 39

Hình 7-1: Lưới Double-Torus? 01111199 9909 0 30 0 0 ng 40

Hình 7-2: Dữ liệu điểm Double- TOrS/2 - + 6s SE EESESEEESEEEEsEseeeeereesed 40Hình 7-3: Tạo mẫu nhiễu trong 2ÌD 5+ ++s+SEEEESEExExExxxekekrkekrkrkrkrrrrrree 41Hình 7-4: Tao mẫu nhiễu trong 3D cccccscscsssssssscsesescscscscsescsesessesesesescsessscscsessssscseaes 41Hình 7-5: Mô hình Double-Torus2 nhiễu được thêm vào 5s + s+ss+s£sszx¿ 42

Hình 7-6: Radius = 0.8, thời gian I4Ú3ms Ă Ăn ng 4

Hình 7-7: Radius = 1, thời gian 1555S - - - << «s0 4

Hình 7-8: Radius = 1.5, thời gian 2049MS -G G00 ng 45

Hình 7-9: Radius = 2, thời gian 1839MS - - . - G SH 45

Hình 7-10: Radius = 2.5, thời gian 255 5ImS «G00 nà 45

Hình 7-11: Radius = 3, thời gian 3266MS - - G G0 45

Hình 7-12 : Bán kính tim normal vector 7 - c3 11111 ng 4 46

Hình 7-13: Bán kính tim normal vector 1 GĂĂ S933 1 1k ve 46

Hình 7-14: Bán kính tim normal vector Í Š Ăn 93303051111 kh 47

Hình 7-15: Bán kính tim normal vector 2 -Ă G9933 99315551111 kh ve 47

Hình 7-16: tolerance 0.5 eps_ angle 3Ö - cọ ng 47

xi

Cạnh của hộp được quét bởi Kinect - - - << 5 55s Esseesseks 55

Góc của hộp được quét bởi KI€CI (<< <1 11+ 1 vs ke 55

Radius = 0.01, cạnh, MLS 2.0 eee cceccccccseececeesecceceeecceseeecesseecesaeees 56

xiii

1.1 Động lực

Cũng như nhiều công nghệ hiện đại khác, máy quét bề mặt 3D đã đi qua nhiều giaiđoạn phát triển Những thiết bị quét được dé cap chu yếu là thiết bị cảm biến Time-of-Flight và Structured Light đã nhận được nhiều sự quan tâm gan đây Đối với nhữngcông nghệ, phát triển gan đây có nghĩa là các thiết bị rẻ hon, mà đồng thời cho phépviệc bắt giữ những cảnh vật lớn hơn với các chi tiết tốt hơn Trong nhiêu lĩnh vực, cácmáy quét được áp dụng thành công cho nhiều mục đích khác nhau Các lĩnh vực gồm:đồ họa máy tính, robot Thiết bị cảm biến “Kinect for Xbox” đang nhận được rấtnhiều sự chú ý nhờ vào khả năng nhận dang cử động con người Bên cạnh đó chi phí

thấp, độ tin cậy và tốc độ của phép đo hứa hẹn Kinect sẽ tạo ra nhiều cơ hội hơn chonhiêu người quan tâm tìm hiều.

Tùy thuộc vào loại thiết bị cảm biến mà dữ liệu thu được sẽ cho dữ liệu đầu ra khácnhau Việc quét các đói tượng của thiết bị cảm biến sinh ra nhiều điểm dữ liệu được đogọi là đám mây điểm (point clouds) Luận văn đặc biệt tập trung vào tập dữ liệu, đượcbiéu diễn như là đám mây điểm “không cấu trúc” Thuật ngữ không cấu trúc nghĩa làthuật ngữ đó không có thông tin liên thông có sẵn giữa các điểm mẫu Bên cạnh đóthiết bị cảm biến được dùng để lẫy dữ liệu Kinect là một thiết bị cảm biến dựa trên kỹthuật Structed Light cũng có đầu ra là đám mây điểm sẽ được dùng trong xử lý nhiễu

của luận văn.

Trong giai đoạn lay đám mây điểm của một bé mặt từ thiết bị quét miền 3D, vẫn tôn tạidữ liệu thể hiện không tự nhiên nhưng vẫn xuất hiện trong kết quả thu được Những bat

1

thường có thé xảy ra trong quá trình do này phụ thuộc vào nhiều ảnh hưởng: các thuộctính của bề mặt quét, các thiết bị thu thập, khoảng cách giữa các thiết bị quét và bề mặtvà các điều kiện ánh sáng, đó chỉ là những cái nối bậc nhất Với một số ảnh hưởng đódẫn đến dữ liệu thu được sẽ bị nhiễu (noise) hay tạo ra những khoảng trống của dữ liệu

được quét.

Đối với một số lĩnh vực cần sự chính xác như thiết kế một thuật toán xây dựng lại mộtbể mặt thì dé đảm bảo hình dạng hay cấu trúc của một bề mặt gốc là một việc khó Mộtbước chung trong việc xây dựng lại bề mặt 3D là việc tạo ra một lưới tam giác Tuynhiên phương pháp chia tam giác rất nhạy cảm với nhiễu Do đó để sử dụng một sốthuật toán tam giác, nó là cần thiết để loại bỏ hoặc lọc lại nhiễu xuất hiện ngẫu nhiêntrong dữ liệu, được gọi là “khử nhiễu” (denoising) Nhu vay, dữ liệu cần được loạinhiễu hoặc làm mịn trước khi thực hiện bất kỳ xử lý hình học tiếp theo là điều cầnthiết

1.2 Mục tiêu

Như đã giới thiệu ở phan trước luận văn chỉ tập trung vào những thiết bị cảm biến thuđược đám mây điểm bao gom tap cac điểm 3D Do đó tập điểm được thê hiện dưới

dạng công thức như sau:

Với S là một bề mặt đối tượng, P = {p¡ ., pr} p; € R® là tập điểm được lấy mẫu từbể mặt đó Trong đó tập mẫu P có thé bị nhiễu

Với tập điểm mẫu 3D, được gọi là đám mây điểm 3D, của một bề mặt S được đo bởithiết bị cảm biến độ sâu vẫn còn bị nhiễu, cần một phương pháp ước lượng để có đượctập điểm mẫu 3D đã khử nhiễu, sao cho vẫn giữ được đặc tính hình học của bề mặt S

Trên dữ liệu thực tê, đôi với một đôi tượng có câu trúc phức tap thì một thách thức lớnlà đê phân biệt nhiêu từ các câu trúc tôt, mà câu trúc tôt đó thê hiện trong các bê mặtban dau là lớm chom, nhap nhô (vi dụ như lưỡi cưa), hoặc từ các bê mặt có góc, cạnhhay độ cong cao.

Nó vẫn còn một van dé khó là để loại bỏ nhiễu không thé tránh khỏi trong khi vẫn giữcác đặc tính bề mặt cơ bản của đối tượng Đặc biệt, đặc tính tốt là thường bị mat nếukhông có xử lý thích hợp được cung cấp.

Đâu ra là đám mây điêm đã được lọc nhiêu được xem như là bước tiên xử lý cho các

xử lý tiếp theo trong việc tạo mô hình bề mặt của đối tượng

Cuôi cùng, phạm vi của luận văn chỉ xét đên đôi tượng là hình hộp với thuộc tính cạnh

và góc được dùng để quét bởi thiết bị Kinect

1.3 Hướng tiếp cận

Nhiều cách tiếp cận khác nhau để giải quyết van dé loại bỏ nhiễu bề mặt trên dữ liệuđiểm gồm có: theo hướng nội suy hay xấp xỉ một bề mặt mịn như Moving LeastSquares (MLS) Đây là phương pháp dựa trên phép chiếu được nhiều người biết đếnđược giới thiệu bởi Levin (1998) [7] đã có nhiều ứng dụng và mở rộng tiêu biéu nhưMederos (2003) đã áp dụng để khử nhiễu đám may điểm Fleishman (2005) và Oztireli(2009) đã mở rộng để cung cấp một phép chiéu mạnh lên bề mat MLS: Robust Moving

Least Square (RMLS) va Robust Implicit Moving Least Square (RIMLS); ap dung ky

thuật thống kê Mark Pauly (2004) dé xuất một kỹ thuật định lượng không chắc chắntrong các đám mây điểm dữ liệu, phương pháp thông kê Bayesian được sử dụng trongbài báo [19] hay Schall (2005) lọc nhiễu đám mây điểm theo cách để xác định vị trícủa các điểm trên bề mặt bằng cách di chuyển chúng đến những vị trí cực đạilikelihood trong cụm chứa chúng: một hướng tiếp cận khác là từ những thuật toán lọcnhiễu đã được nghiên cứu và ứng dụng trong 2D sẽ được chuyền đổi sang 3D tiêu biểunhư từ bài báo lọc nhiễu cho ảnh (bilateral filtering) của tác gia Tomasi và Manduchi(1998), sau đó đã được Shachar Fleishman mở rộng va ứng dung trong lọc nhiễu trênlưới [25] hay Oliver Schall đã giới thiệu một phương pháp mới trong việc loại bỏ nhiễuđối với dữ liệu tinh va dữ liệu thay đổi theo thời gian Trong phương pháp này tác giảcũng đã có sự chuyền đổi từ thuật toán khử nhiễu không cục bộ cho ảnh trong bài báo

[3].

Với mục tiêu khử nhiễu đám mây điểm sao cho vẫn giữ đặc tính vốn có của đối tượng.Phương pháp dé xuất được lay ý tưởng từ phương pháp Moving Least Squares và từbài báo của tác giả Oliver Schall Trong phương pháp dé xuất này có sự kết hợp giữahai phương phương pháp: Thứ nhất là phương pháp MLS, thứ hai là phương phápkhông cục bộ cho lọc nhiều ảnh của tác giả Buades (2005) [3].

1.4 Kêt cau luận văn

Luận văn gồm các chương:Chương 1 GIỚI THIỆUChương 2 TONG QUANTrình bày về thiết bị Kinect, một số thuật ngữ liên quan đến vẫn dé lọc nhiễu dữ liệu,Point Cloud Library (PCL) để có được sự hiểu biết rõ ràng hơn về vấn đề đang đượctìm hiểu để có hướng tiếp cận đúng

Chương 3 CO SỞ LÝ THUYETGiới thiệu một số lý thuyết co bản can thiết để có liên quan hay được sử dụng trong

luận văn.

Chương 4 NGHIÊN CỨU LIÊN QUAN

Trinh bày tông quan vệ các công trình liên quan đên bài toán lọc nhiêu dữ liệu thiệt bicảm biên độ sâu.

Chương 5 TRÍCH DOI TƯỢNGTrình bày các bước để có thể trích đối tượng cần khảo sát ra khỏi cảnh vật, để sau đóđối tượng sẽ được dùng như là đầu vào cho phương pháp khử nhiễu

Chương 6 PHƯƠNG PHÁP KHU NHIÊUTrinh bày độ đo cho phương pháp khử nhiễu và phương pháp khử nhiễu cho dữ liệu

đám mây.

Chương 7 KẾT QUÁ VÀ KẾT LUẬNĐây là phan để trình bày kết quả thực nghiệm giữa phương pháp dé xuất và phươngpháp Moving Least Squares (MLS) Từ kết quả thu được và những nhận xét trên kếtquả đó dé đưa ra kết luận về phương pháp đã được đề xuất

4

Chương 2 TÔNG QUAN

Chương này bắt đầu bằng việc mô tả tổng quát thiết bị Kinect, bên cạnh đó cũng mô tảcách tính những thuộc tính điểm như: tính normal, 2 phương pháp PFH và FPFH đượcdùng dé tìm điểm tương xứng trong đăng ký (registration) 2 tập điểm

2.1 Kinect

Thiét bi cam bién Kinect

Thiết bi cảm ứng Microsoft Kinect được phát hành cho Microsoft Xbox 360 videogame vào cuối năm 2010 Thiết bi nay cho phép người dùng tương tác trò chơi videobang cách di chuyển co thé của mình trong một cách tự nhiên và do đó cho phép chơigame mà không cần dùng bat kỳ phím điều khiến nào Ngoài ra, cảm biến Kinect vớiXbox cũng nhận biết khi người dùng nói, nên cho người dùng tìm những chương trìnhtivi, thé thao,

Bên cạnh những thành công trong công nghiệp trò chơi Với chi phí thấp cho một thiếtbị Kinect, nhiều nhà nghiên cứu và các sinh viên, học viên trong các lĩnh vực khoa họcmáy tính, kỹ thuật điện tử và ứng dụng robot đã tận dụng công nghệ cảm biến để pháttriển những cách mới trong tương tác và thực hiện nhiều công việc khác nhau

Cảm biến Kinect bao gồm một camera màu, một cảm biến độ sâu (depth sensor) đượctạo bởi Microsoft hay còn gọi là RGB-D camera Công nghệ cảm biến theo chiều sâuđược tạo bởi công ty PrimeSense Israel, chi tiết bên trong chưa được tiết lộ vẫn còn làbí mật nhưng nguyên lý hoạt động dựa trên nên tảng “structured light” Bộ phận chiếu

hồng ngoại (infrared (IR) projector) cua thiét bi Kinect phong ra cac diém sang va tốiliên tục vào mỗi bề mặt đồi tượng Các điểm mẫu đó sẽ được thu giữ bởi bộ phậncamera hồng ngoại (IR camera) Cam biến Kinect dùng vi trí tương đối của những đốmnhỏ để tính khoảng cách tại mỗi vị trí pixel.

Thông số kỹ thuật:

Góc nhìn

Góc nhìn ngang : 57” (1.3m - 3.8m)

Góc nhìn đứng: 43°Pham vi nghiên vat lý: + 27°

Phạm vi cảm biến độ sâu: 1.2m - 3.5m

Dòng dữ liệu

Tốc độ dữ liệu: xấp xỉ 30 frames/secCảm biến độ sâu: 320x240 pixels 16-bit độ sâu

RGB Camera: 640x480 pixels 32-bit mauAudio: 16-bit @ 16 kHz

Hệ thống theo dõi khung xươngTheo dõi lên đến 6 người, bao gdm 2 người choi

Theo đõi 20 khớp trên người, 33ms thời gian trả lời

Khả năng ánh xạ người chơi đến LIVE AvatarsHệ thống Audio

Trò chuyện nhóm trực tiếp và trò chuyện trong game (yêu cầu là thành viên Xbox

Những phan của thực thé không được chiếu bởi IR projector nhưng hình anh đó đượcbắt giữ bởi IR camera

= Nhiéu (Noise)Nhiéu (noise): lỗi trong phép đo (độ sâu) Ví du nếu đo một mặt phăng tại một khoảng

cách 3 m Ta sẽ không lay được tat cả các điêm đu có giá tri là 3 m mà sẽ có giá tri

xung quanh 3 m theo phan bố Gaussian với một độ lệch chuẩn nhất định Độ lệchchuẩn được xem như là nhiễu trong phép đo

m Outliers (big errors)

Một outliers là một phép đo mà sai lệch quá nhiều so với những phép khác Chúng lànhững phép đo không tuân theo hình học bề mặt cục bộ

2.2 Đám mây điểm (Point Clouds)

Phương pháp lọc nhiễu dữ liệu 3 chiều (3D) được tạo ra từ thiết bị Kinect, được gọi làđám mây điểm 3D Đám mây điểm 3D là một tập điểm 3 chiều không liên thông thểhiện thế giới được thu giữ bởi thiết bị cảm biến Kinect Thể hiện đơn giản của mỗiđiểm trong đám mây điểm 3D có toa độ (x, y, z), nhưng chúng vẫn có thé chứa các

thuộc tính khác màu và hướng normal vector.

Đám mây điểm 3D được sinh ra từ những ảnh độ sâu (depth image) hay bản đồ độ sâu(depth map) Ảnh độ sâu là một ma trận pixels, mỗi pixel chứa một giá tri độ sâu trongđó giá trị độ sâu chính là khoảng cách từ bé mặt của đối tượng trong thế giới thực đến

camera, sau đó ảnh độ sâu được chuyên đôi sang thê hiện 3D.

Một đám mây điểm là một cấu trúc dữ liệu được sử dung dé thé hiện một tập hợp cácđiểm đa chiều và thường được sử dụng để biểu diễn dữ liệu ba chiều Trong một đámmây điểm 3D, các điểm thường được biểu diễn với tọa độ hình học X, Y, và Z của mộtbé mặt mẫu Khi có thêm thông tin màu sắc, các đám mây trở thành điểm 4D

2.3 Point Cloud Library (PCL)

Point Cloud Library (PCL) là thư viện mã nguồn mở được viết trong ngôn ngữ C++,miễn phí trong thương mai và trong nghiên cứu, được sử dụng trong xử lý hình học 3Dvà đám mây điểm n-D PCL đã hỗ trợ trên nhiều hệ điều hành như: Windows, MacOS,Linux, và Android đang được cộng đồng sử dụng

Do dữ liệu đám mây (PCD) là lớn và phải thực hiện các tính toán hình học phức tap

nên tốc độ xử lý chậm PCL đã dùng tập lệnh Streaming SIMD Extensions (SSE) cho

ö

việc tính toán nhanh trên những CPU hiện đại Bên cạnh PCL cung cấp OpenMP vàthư viện Intel Threading Building Blocks (TBB) trong việc xử lý song song Truyền

Hình 2-2: Sơ đồ Class của PCL2.3.1 Một số thư viện module C++:

e libpcl features: chứa các cấu trúc dữ liệu và các kỹ thuật ước lượng dặc tính 3Dtừ dữ liệu đám mây điểm Vi du normal, độ cong (curvatures), những diém bién

(boundary points), Point Feature Histograms (PFH), Fast PFH

e libpcl_surface: gồm những kỹ thuật xây dựng lại bề mặt như meshing, convex

hulls, Moving Least Squares,

e libpcl filters: gồm những kỹ thuật lọc nhiễu, outliers, nó cũng chứa một sốphương pháp trích tập con của đám mây điểm, hay loại bỏ những phần của đám

mây điêm như downsampling, outlier removal, indices extraction, projections,

e libpcl_io: xử lý việc đọc ghi dữ liệu (files: PCD, PLY)

e libpcl_segmentation: những xử lý lay đoạn dữ liệu gồm có cluster extraction,

Sample Consensus model fitting, polygonal prism extraction, e libpcl_registration: những phương pháp đăng ký dam may dữ liệu Iterative

Closest Point (CP), non linear optimizations, 2.3.2 Bộ loc (filter)

e Giới hạn phạm vi (PassThrough)

Lọc ra các điểm năm ngoài phạm vi được chỉ địnhe Giảm mẫu (Voxel Grid)

Đám mây dữ liệu được thé hiện dưới dạng lưới 3D Mỗi phan tử của lưới 3D lànhững hộp (box) hay còn gọi là “voxel” chứa các điểm dữ liệu Mỗi voxel mà hoàntoàn bị chiếm giữ thì được lấy thay thế bởi tâm của những điểm bên trong nó

e Loại bỏ Outliers (StatisticalOutlierRemoval / RadiusOutlierRemoval)

e Loại ra điểm dựa trên mật độ điểm cục bộ của chúng Loại bỏ các điểm có thưathớt so với mật độ điểm trung bình của toàn bộ đám mây

2.3.3 Những đặc tính điểm (Point Features)Việc thể hiện Point Features được mô tả như một vector mà nó mô tả thông tin hìnhhọc cục bộ xung quanh một điểm đang được xem xét

Công thức của một thé hiện đặt tính cho một điểm Py là điểm đang được truy vẫn và P

là tập k hàng xóm xung quanh điểm P, được thể hiện như sau:

F(pạ, P*) ={#l,X¿, , Xa}Với n thê hiện vector kêt quả có n chiều.

10

BoundaryPoint

NormalTBB NormalOMP

Hình 2-4: So đồ class đặc tính điểm

2.3.4 Uớc lượng Normal

Những van đê sử lý dữ liệu điêm, bước ước lượng normal thường di trước nhiệm vụchính.

Về cơ bản có 2 cách tiếp cận trong việc ước lượng normal của bề mặt: cách truyềnthống là từ dữ liệu đám mây điểm xây dựng mô hình bề mặt cơ bản dùng kỹ thuật chia

lưới (meshing) sau đó tính những normal từ đó Tuy nhiên, khi kích thước dữ liệu lớn,

thì hướng tiếp cận này tốn chi phí cao trong việc xây dựng lưới Một hướng thứ 2 là

Hình 2-5: Đám mây điểm 3D Hình 2-6: Tinh normal của dé liệu điểmre k ` ^ „ bd A ` ` “ Kẻ oA AR ` A „Với P` là tập các diém là hàng xóm của điêm truy van pg, P* được dùng dé ước lượng

A A 2 2 ~ d A A AN Lá k 4 “

một xâp xỉ normal của bê mặt tại điêm truy vân pạ việc xác định P` có 2 cách sau:

e Xác định k hàng xóm gan nhất của điểm truy van (k search)

e Xác định các hàng xóm của diém truy vân trong bán kính r (r search)

Cho diém truy van pg, một tập các diém hàng xóm cho mục đích ước lượng normal bêmặt được lay mâu quanh điêm truy vân pạ Vân đề xác định các hệ sô k hoặc r dé chỉ ra

11

những hàng xóm xung quanh điêm truy vân có ảnh hưởng đền việc ước lượng normaltại điểm truy van.

Hình phía bên trái cho thay một ước lượng normal hợp lý hon với chọn lựa hệ số k

hoặc r là nhỏ so với phía bên phải với các hệ sô là lớn.

Chọn lựa các hệ số phù hợp là một việc khó

Hình 2-7: Ước lượng bề mặt normal a) hệ số tỉ lệ nhỏ (tốt) bên trái; b) hệ số tỉ lệ lớn

(xấu) bên phải

2.3.5 PEH (Point Feature Histogram)

PFH là kỹ thuật mạnh đối với dữ liệu nhiễu và chứa outliers trong việc lay dac tinhthông tin Mục tiêu là lay được đặc trưng hình hoc cục bộ tại một điểm hay nói cáchkhác là một xấp xỉ hình học của một điểm dùng thông tin về k hàng xóm xung quanh

của điêm đó, với từng cặp điêm được nôi với nhau như hình dưới.

Hình 2-8: Hàng xóm xung quanh từng cặp điểm

12

Dữ liệu đầu vào bao gôm đám mây điêm 3D, những normal cua đám mây dữ liệu dauvào đã được ước lượng với bán kính hàng xóm xung quanh là rạ ( normal radius), bánkính rr là bán kính xác định k diém với khoảng cách nhỏ hơn r; là điêm ho trợ trong

việc tính đặc trưng hình học của điểm đang xét Trong đó rr > rạ.Kết quả của thuật toán là một mảng giá trị kiểu float thé hiện histogram về sự quan hệ

của tât cả các cặp điêm.

' ! j !

Hinh 2-9: Histogram dac tinh

Độ phức tap của giải thuật O(nk”) với n là số điểm trong đám mây điểm đầu vào

2.3.6 FPFH (Fast Point Feature Histogram)

Với mục đích lam cho việc tinh toán trở nên nhanh hon, thuật toán PFH đã được dongiản hóa trong việc xử lý nhưng vẫn đảm bảo thông tin trong PFH Như vậy, FPFH[22] là phương pháp được thay đổi từ PFH với độ phức tạp tính toán là O(nk)

13

Hình 2-10: Hàng xóm xung quanh điểm

Thủ tục FPFH được tính đơn giản lại như sau:

1) Với mỗi điểm truy vẫn p chỉ xét mối quan hệ giữa điểm đó và k điểm hàng

xóm của nó Bước này được gọi là Simplified Point Feature Histogram(SPFH) Hình 2-10 trên

11) Tính SPFH cho k giá trị hàng xóm có được của p ở bước |, các giá tri này

được dùng làm trọng sô cua histogram cuôi cùng.

Hình 2-11: Hàng xóm của những hàng xóm

Sự khác biệt chính giữa thủ tục tính toán PFH và FPFH là:

1 Độ phức tạp của PFH là O(nk’) con FPFH la O(nk)

2 Với PFH điểm truy van va các hàng xóm của nó từng cặp với nối với nhau.Trong khi FPFH chỉ có sự liên kết giữa điểm truy vấn và các hàng xóm của nó.3 FPFH chứa thêm mi liên kết giữa các hàng xóm của những hàng xóm của điểm

truy van.

14

Chương 3 CƠ SỞ LÝ THUYETTrong chương này trình bày một số phương pháp hay được sử dụng trong xử lý dữ liệunhiều chiều, có kích thước lớn cần có một cấu trúc dữ liệu lưu trữ để hỗ trợ trong việctìm kiếm.

3.1 Khoảng cách EuclideanKhoảng cách Euclidean giữa các điểm p và q là độ dài của đoạn thang kết nối chúng.P = (Pu Day» D„) q = (ay dạ, , Un), khoảng cách giữa 2 điểm p, q là

PCA trong tập điểm 3D thì số hướng chính bằng với số chiều của các điểm dữ liệuViệc tính các thành phan chính gồm các bước sau: đầu tiên cần tính tâm của tập dữ

của C, được tính boi Singular Value Decomposition (SVD) Trong trường hợp 3D,eigenvectors thứ 3 được xem là hướng normal.

3.3 Random Sample Concensus (RANSAC)

RANSAC là phương pháp ngẫu nhiên dé ước lượng những tham số của một mô hình.Nó đặc biệt mạnh trong dữ liệu có nhiễu khi mà những phương pháp khác không thựchiện được RANSAC được viết tắt từ RANdom Sampling Consensus được thê hiện đầutiên 1981 [11] Với một tập dữ liệu gôm P điểm dữ liệu, thủ tục vòng lặp của giải thuậtđược thé hiện như sau:

1 Chọn một tập con k điểm dữ liệu ngẫu nhiên2 Xây dựng một mô hình từ k điểm dữ liệu3 Đánh giá chất lượng phù hợp của mô hình dựa trên các điểm còn lại

4 Lap lai 1-3

Tiên trình chon tập con ứng viên va đánh giá được lặp lại nhiều lân, cuôi cùng mô hình

mà phù hợp nhất đến tập dữ liệu được chọn.Y tuong để chon điểm bắt đầu k mẫu từ tập dữ liệu là chọn tối thiểu số điểm để xâydựng được mô hình tham số Nếu là đường thăng thì chọn 2 điểm, còn nếu là một mặt

phăng sô điểm nên là 3.

3.4 Kd-tree

Trong đám mây điểm 3D, để tăng hiệu suất trong việc xử lý thì cần một cấu trúc dữliệu lưu trữ hiệu quả Kd-tree (k-dimensional tree) là một cau trúc dữ liệu tổ chức tậpđiểm trong một không gian k chiều Nó là một cây tìm kiếm nhị phân nhiều chiều hữudụng trong việc tìm kiếm trong phạm vi hay các hàng xóm gần nhất Tham khảo thêmtrong quyên “Computational Geometry Algorithms and Applications” của tác giả Mark

de Berg 2008.

16

Y tưởng la tại mỗi mức của kd-tree chia tập điểm của cây theo một chiều cụ thể: chiềux, chiều y, Dén khi số điểm chỉ còn 1 điểm

Chiêu x (x-coordinate): chia tập điểm bởi đường thăng đứng với một nữa bên trái vàmột nữa bên phải chiều y (y-coordinate): chia tập điểm bởi đường thăng nằm ngang

với một nữa bên trên và một nữa bên dưới.

fybs Tà.

¢r

Đa Ds P9

°

P10fy 2

—*——¬ e P“mì pr |

e Pa

P3fg P6t %

Ví dụ của kd-tree 2 chiềuThư viện đám mây điểm PCL đã cai đặt chi tiết của cầu trúc dữ liệu kd-tree

17

Chương 4 NGHIÊN CỨU LIÊN QUANChương này sẽ trình bày một số công trình liên quan đến đề tài nghiên cứu gồm nhữngkỹ thuật xủ lý trực tiếp trên đám mây điểm không có cấu trúc hay một số phương phápxử lý trên dữ liệu 2D, nhưng những phương pháp này có thể được sử dụng để mở rộng

trên dt liệu 3D.

4.1 Mesh-Independent Surface Interpolation [7]

Tác giả nội suy bề mặt mịn từ dữ liệu phân tán không có cau trúc bằng cách kết hợpnhững vùng cục bộ, mỗi vùng là một xấp xỉ trên mình tham khảo cục bộ Bài báo dùngphương pháp chiếu tiếp cận theo “Moving-Least-Square” (MLS) cho việc chiếu độc

Slides của Niloy J Mitra và An Nguyen

Sao cho tối thiểu

»Œ a,rị > — D)?6(l rị —r I)iel

Nếu có nhiều tối ưu cục bộ thì mặt phăng gân nhất đến r được chọn <*, s> là innerproduct trong IR#

18

6(IIr¡ — r II) là trọng số, giảm khi khoảng cách || 7; — r [I tăng.

Hình 4-2: Tìm mặt phăng H, tối ưu

Slides của Niloy J Mitra và An Nguyen

Bước 2: Xap xi MLSDat {*;};c; là phép chiều vuông gốc của những điểm {?;};c¡ trên mặt phang H,,Và đặt ƒ; = < r;,a > — D,¡ €1 là chiều cao của những điểm {7;};c; trên H,,Với q là điểm chiếu cả r trên H,, là sốc của hệ tọa độ vuông H,

Tìm đa thức bậc m là xấp xỉ cục bộ, p € HỆ, 1 sao cho tối thiểu:

se nén: È (PŒ) — f)26( 1; = r

i€lGiá trị ð(0) xấp xi chiều cao của S trên H, tại gốc tọa độ qNhư vậy xấp xỉ của việc chiếu của r trên S là: = q + Ø(0),f = „(r)

P», (7)

Hình 4-3: Chiếu của r trên S

Slides của Niloy J Mitra và An Nguyen

19

4.2 Curve Reconstruction from Unorganized Points [9|

Tác giả In-Kwon Lee đã áp dung kỹ thuật moving least-squares dé làm min point cloudcó dạng hình cong Bai báo đã cai đặt trên tap điểm 2D sau đó đã mở rộng lên tập điểm

3D.

Cấu trúc dữ liệu dùng dé định nghĩa sự liên thông của các thành phan trong tập điểm là

Euclidean Minimum Spanning Tree (EMST)

Để xác định kích thước hang xóm phản ánh phù hợp độ day cua point cloud, tác giả đãgiới thiệu khái niệm “correlation” trong thuyết xác suất, tham khảo thêm J Pitman,

Probability (Springer-Verlag 1992).

4.3 Point set surfaces [13]

Tương tự phương pháp của Levin, nhưng Marc Alexa thay cho hàm trọng số cho mỗi 1;là khoảng cách đến r (trường hợp Levin) bằng khoảng cách của r; đến điểm chiếu của r,đặt là q, trên mặt phăng H

0(IIr; — ri) G(r — q)

Hình 4-4: Mối quan hệ giữa r, với r và r¡ với q

Slides của Niloy J Mitra va An NguyenDown-sampling

Dùng loại bỏ điểm mà có số lượng thông tin nhỏ nhất đến hình, hay được xem là điểm

dư thừa (redundant)Up-sampling

Những trường hợp ma mật độ tap điểm không đủ thì cần thêm điểm vào (up-sampled)

20

4.4 Robust moving Least-squares Fitting with Sharp Features [26]

Shachar Fleishman giới thiệu một định nghĩa bề mặt mịn từng phan (a piecewisesmooth surface) bang cách định nghĩa toán tử chiếu để chiếu một điểm lên trên vùngmịn cục bộ chứ không phải một bề mặt giả sử là mịn mọi nơi

Cho một điểm x, phân tích hàng xóm của nó:- _ Nếu xác định là mịn thì dùng phương pháp chiếu của Levin- _ Ngược lại, phân loại hàng xóm của điểm đó thành những tập con những vùng

mịn bỏ qua outliers và chiếu điểm đó lên vùng mịn gần nhấtCác trường hợp định nghĩa bề mặt mịn từng phân (piecewise smooth surface)

4.5Similarity-based denoising of point-sampled surface [24]

Dựa trên ý tưởng cơ bản của thuật toán khử nhiễu không cục bộ (non-local denoisingalgorithm, NLD) cho khử nhiễu (denoising) ảnh được dé xuất bởi Buades et al (2005).Thuật toán NLD cho bề mặt mẫu điểm dự trên sự tương tự bao gôm cường độ hình học

và những đặc tính của các điêm mâu được tác giả thê hiện như sau:

xóm của một điểm được gom cụm bởi phương pháp mean shift.Cường độ hình học được khử nhiễu (denoised geometry intensity) hay khoảngcách offset 6’; cho mỗi điểm p; được tính

Vị trí p’; được dịch chuyển theo hướng normal vector p; = p; + ổ;n¿

Adaptive feature-preserving non-local denoising of static andtime-varying range data [17]

Theo bài báo “A non-local algorithm for image denoising”, tác giả dé xuất thuật toán“non-local means” (NL-mean) với giả định một hình ảnh chứa SỐ lượng lớn tương tựchính nó (self-similarity) Một ví dụ tương tự chính nó cho thay trong Hinh 4-7

22

Hình trên cho thấy 3 pixels: p, q, r và những vùng lân cận tương ứng Những hàng xóm

của pixel p và q là tương tự nhau nhưng những hàng xóm của pixel p và r thì không

tương tự nhau Với giả thiết tương tự chính nó được dùng để khử nhiễu một ảnh.Những pixel với hàng xóm tương tự nhau được dùng để xác định giá trị của một pIxelbị nhiễu Một ảnh nhiễu, giá tri ước lượng cua một pixel được tính như là trung bìnhtrọng số của tất cả các pixel trong hình ảnh

Oliver Schall đã mở rộng hướng tiếp cận này cho khử nhiễu dữ liệu miền Với giả địnhrằng dữ liệu được thể hiện dưới dạng điểm và được sắp xếp theo một cau trúc lưới Tácgiả không lấy tong trên tat cả vị trí điểm để lọc một điểm mà trên vùng vuông xungquanh điểm

Sau khi áp dụng thuật toán cho mỗi frame độc lập với kết quả thỏa mãn, tác giả đã mởrộng trên miễn thời gian Những điểm với tương tự nhau vùng lân cận không chi bêntrong một frame mà còn trên các frame lân cận, bao gdm frame trước và sau frame hiện

dé độ sâu không bị nhiễu bằng cách dùng cả hai thông tin không gian và thời gian, gồm

3 giai đoạn chính:

- Dir liệu độ sâu được lọc để cải thiện độ chính xác theo dữ liệu trực quan và mô

hình Dy,- _ Những pixels nmd (no-measured depth) mà có một hàng xóm dang tin cậy được

đưa vào tính toàn dùng thông tin trực quan- M6 hình chính xác được tạo ra và được dùng

Kinect C map

I~

D Ỷ \ Dạ Dm Cmap

nmd ModelReplacement Update

I: dtr liệu video (video data)

D: bang đồ độ sâu (depth data)Dm: mô hình bang đồ độ sâu (depth map model)

Crap: độ tín các phép đo độ sâu trong Dạ

Bài báo của tác giả chỉ liên hệ đến cảnh vật tĩnh

4.8 Adaptive Spatio-Temporal Filter For Low-Cost Camera DepthMaps [15]

Trong bài báo tác giả thé hiện bộ lọc thuộc về không gian và thời gian dé cải thiện sự

chính xác và ôn định vé thời gian của camera chi phí thâp Hệ thông được dé xuât gôm

3 khối để xây dựng một bảng đồ độ sâu của cảnh vật tĩnh chắc chăn

24

độ sâu mà thuộc về cùng vùng đói tượng trong khi giữ và cải thiện phép đo độ

sâu của cạnh.e Hole Filling (HF): gan giá trị cho những pixel độ sâu không được đo (no-

measured depth - nmd) đầu vào ban đồ độ sâu đã được lọc được cung cấp từkhối AJBE

e Adaptive Kalman Filter (AKF): dùng dé theo dõi những độ do dao động theo

thời gian, nó giảm những dao động về thời gian cua môi pixel

25

Chương 5 TRÍCH DOI TUONG

Trong chương này sẽ trình bày vê các bước rút ra phan của đôi tượng can được khảosát từ cảnh vật được quét với thiệt bị cảm biên Kinect từ một góc nhìn Bên dưới là sơ

đồ trình bày trình tự của quá trình trích đối tượng

26