Độ chênh lệch
Độ lệch thị giác (vision disparity)-, là sự khác biệt giũa hai ánh trên võng mạc cua mát khi quan sát đối tượng. Điều này xay ra vì hai mat ơ vị trí khác nhau cho nên mặc dù quan sát cùng một đổi tượng nhưng mất trái không thu nhận cùng một thông tin như mất phải [24].
Biin dò chcnh lệch của iinh sau khi chỉnh sửa:
Chính sưa ánh tạo ra các anh mới có các đường epipolar song song với nhau và son<> song với đường cơ ban dựa trên ràng buộc epipolar. Tiên hành đỏi sánh trẽn ánh chinh sửa làm cho không gian tìm kiếm diêm đối sánh giam từ 2 chiều xuống 1 chiêu.
Nêu mi(ui,Vi) thuộc ảnh thứ nhất, thì điểm tương ứng trên anh thứ hai là m-)(u-),Vi), tuy nhiên, đỏi với cặp ảnh đã được chỉnh sửa, với mi(U[,V|) thi điểm đối sánh tương ứng sẽ là m2( u 2 , V i ) . Đ ộ chênh lệch d được định nghĩa như sau d=ui-ui(hình 3.9). L là độ dài cùa đường cơ bản cc\ z là độ sâu của điểm 3 chiều (khoảng cách tinh từ điêm 3 chiêu đên đường cơ bản). f là tiêu cự cùa camera (khoảng cách từ mặt phăng ảnh dên đường cơ bán). Hai mặt phăng ảnh song song với đường cơ ban vi ảnh đã được chỉnh sứa.
Dựa vào các quan hệ hình học của các đại lượng nêu trên, ta có được mối liên hệ giữa độ sâu và độ chênh lệch theo công thức toán học sau:
Z = L L d
Tuy nhiên nếu sử dụng công thức này trong tính toán độ sâu thỉ ta cần biết đại lượng L độ dài của đường cơ bản. Hay nói cách khác biết vị trí của hai camera khi chụp 2 ánh đầu vào. z / Z. “ d Ị " t... \ ... \ « . / - Ị 1 I I « _^ UũQ2fl____ __r ạmi-ll 'Ị i: I r**-
Hình 3.9. Mối liên hệ giữa độ chênh lệch và độ sâu
Điém 3 chiều có thề tính được thông qua phép chiếu ngược lại từ hai điêm ảnh qua 2 tàm chiếu c và c \ Giao điềm cua hai tia chiếu này là điêm 3 chiều cân tim. Dầu
kl iòm' bict cỉirợc đ ộ dài cua d ư ờ i m c ơ ban, nlurng các ma trận camera lại t hê hiện
thê hiện ở m a trận F, tìm ra các ma trận camera từ đó tìm ra điểm 3 chiều thông qua các phép biến đối.
3.2. Mô hình bộ công cụ dựng mô hình 3 chiều từ cặp ảnh
Đê có được một bộ công cụ hoàn chỉnh, chúng tôi lựa chọn mồi bước trong qui trình tông thê một kĩ thuật đê triên khai và áp dụng dựa vào một số ưu điêm cùa chúng về độ phức tạp, thời gian tính toán cũng như độ chính xác đã được phân tích phần trên. Các kĩ thuật được lựa chọn kết họp lại với nhau và được biểu diễn bời mô hình sau:
Hình 3.10. Mô hình bộ công cụ dựng lấy thông tin 3 chiêu từ cặp anh
Các phần tiếp theo của chương 3 sẽ đi sâu vào nghiên cửu từng kĩ thuật cũng như thuật toán được lựa chọn trong mô hình để triến khai.
3. 2.1. Đ i ể m g ó c S U S A N
Đề tìm ra các cạnh và góc cua một đối tượng, ta sư dụng một mặt nạ hình tròn
(circular mask) và tâm hình tròn được coi như hạt nhân (nueìeits) cùa mặt nạ. Xét một đối tượng hình chữ nhật màu đen trên nền trắng: Mặt nạ hình tròn có rơi vào 5 vị trí như sau (hình 3.11)
T h u ậ t toán tam giác tôi uu
ầ.__ 1_ U H u _ I__ _J >
Hình 3.11. M ặt nạ hình tròn và vị trí tương đối so với đối tượng
Điêm dang xét là điêm mà ta cân quan tâm xem có phải là điêm đặc trưng hay không và tại dó ta dặt hạt nhân cùa mặt nạ hình tròn. Một miền ảnh đang xét là miền nằm trong vùng mặt nạ. Miên USAN ( Uỉùvalue Segment Assimilating Nucleus) là miền bao gồm các điểm ánh thuộc miền ảnh đang xét sao cho mỗi điểm ánh đều có độ sáng giống với độ sáng của điểm tại vị trí hạt nhân.
Miền U SAN manii rất nhiều thông tin quan trọng vê trúc cua miền anh xung quanh điểm đang xét. M iền U SAN đạt diện tích cực đại khi hạt nhân nằm sâu tronií miền đồng nhắt cua ảnh. Khi miền USAN tiến tới 1/2 diện tích cực đại này thì hạt nhân tiến dần tới biên cùa đối tượng. Diện tích miền U SA N càng nho đi. thi vị trí hạt nhàn cùa mặt nạ càng tiến tới sóc cua đổi tượne. Dựa vào miên USAN tim ra các điếm uỏc SUSAN.
M ộ t a n h đ ầ u v à o đ ư ợ c XU' lý đ ê đ ư a ra m i ề n U SAN c h o t ừ n g d i ê m anh. từ t h ô n g tin
của các miền IISAN tìm ra nhữne điểm góc. gần góc hoặc thuộc biên đỏi tượng . Càn« gần tới diêm uỏc số 1 ironic điểm anh cua miền USAN càng giam.
Đối với cách tiep cận phát hiện góc này, rỏ ràng không cần tính đến độ biên đôi mức xám hoặc xót don giám nhiễu cua anh trước khi tiến hanh trích chọn đặc trưng.
Các điêm góc được dùng dưới dạng các điểm đặc trưng phài thoả màn một số Y ê u
cầu sau:
’4»' Tât cả các điêm góc phải được phát hiện. ‘4- Không điểm góc nào phát hiện ra bị lỗi.
i- Các điếm góc phải được định vị tổt. ■4- Các điểm góc phải được dùng hiệu quả Thuât toán tim điểm góc SUSAN (adsbygoogle = window.adsbygoogle || []).push({});
Phát hiện điểm góc SU SA N sử dụng mặt nạ hình tròn có bán kính 3.4 điềm ảnh. toàn bộ mặt nạ chứa 37 điểm ảnh. Mặt nạ được đặt sao cho hạt nhân trùng với mỗi điếm ảnh đang xét, cường độ mức xám cùa mỗi điểm ảnh trong mặt nạ được so sánh với cường độ mức xám của điểm ảnh tại vị trí hạt nhân theo công thức sau:
C'(/-,/-„ ) = 1,I r \ - l 0 < t V / \ 0, ỉ '7- - 1 \ > ! V J [P T 3 .1 ] .
trong dó r0 là vị trí cùa hạt nhân, r là vị tri bát kì trong mặt nạ, l ự - ị là cương dỏ
mức xám của điêm ảnh tại vị trí r . Sau đó ta tính tône sau:
»(<■) = Ẹ t'< ) [P T 3.2]
( -> \
V t
là số tượim điểm ánh trong, miền USAN. Lấy giá trị ngưỡng g = 11 mj, 2. Anh nối rõ các điếm S ió c đạt dược nhờ việc so sánh giá trị n với ngưỡng g
[PT 3.3] H = { ì ỊỊ-Ilị p ' ỉ -* \ r(ị V 7 0,// r„ >8
Bước tiêp theo, lọc bớt các điêm ảnh có khả năng dẫn đến phát hiện điềm góc bị sai. Cuôi cùng, lây ra các điêm góc bàng cách chọn những điểm có giá trị R lớn hơn 0. Chênh lệch độ sáng giữa các điểm ảnh nẳm trong mặt nạ với điềm ành tại vị trí hạt nhân tính theo phương trinh 3.4 sẽ làm cho thuật toán ổn định và cho kết quả tốt hơn.
[PT 3.4]
1 Đặt mặt nạ có hạt nhân trùng với mỗi điểm ảnh
2 Dùng phương trình 3.4 tính số lượng điểm ành của miền USAN 3 Sứ dụng phương trình 3.3 làm nổi rõ các góc
4 Loại bó những điểm có khá năng dẫn đến phát hiện góc sai nhờ tính khoảng cách từ trọng tàm tới hạt nhân
5 Tim ra điếm góc bang việc loại bỏ những điêm có R=0
B áng 3.1. Tóm tái thuật toán tìm điãm góc S i 'SAN
3.2.2. Đối s á n h đ i ể m g óc S Ư S A N
A. T ì m l âp ứ n g CU' vi ên
Đối với một điểm eóc Ci trên ánh 1 nhiệm vụ đưa ra là tim các ứng cư viên đỏi sánh với Ci trong một miền có khá năng cua ảnh 2. Hai ánh đầu vào chụp chung một canh nên điểm góc tương ứng cùa một đối tượnu trên 2 anh không lệch nhau quá xa. Do vậy các ứ n g cử v i ê n đố i s á n h c u a C] có k h ả n ă n g n h ất sẽ t h u ộ c v ù n g x u n g q u a n h vị
trí có cùng toạ độ với C| trên anh hai. VỚI d i ê m góc c ] cho trước trên anh !. cứa sô
t ìm k i ế m ( 2 d u+ 1 ) x ( 2 d v+ l ) đ ư ợ c đặt tại vị trí sao c h o t â m c ử a sô t r ù n g với toạ độ c u a
C| trên anh 2. Định niihĩa cưa sô tương quan lá cưa sổ có kích cờ (2n+l)x(2m-M). T r ô n a n h 1 c u n s o t ư c n i ^ CỊUÍÌI1 c o l u m tọ 1 C| c o d i n h , t r c n íinh — Cưci s o t ư ơ n ì i CỊUcin d ị c h c h u y ê n [ r ò n CÍ1C d i ô m LÍOC c-i t h u ộ c CLici s o l i m k i c n i ( h m h . 1.12), t u đ o t i m r a
m ứ c đ ộ t ư ơ n g t ư ơ n g t ự g i ữ a C] v à c 2 t h ô n g q u a g i á t ư ơ n g q u a n (correlation c o s t) đ ư ợ c đ ị n h n g h í a n h ư sau: X x [ 7l("l +Í>1 + ý ) - / , (lipvjjx [/,(», + /.V, S(c„c2) = £ ^ ĩ z i--- --- [PT3.5] (2 /1 +l)(2/ii + lị j c r : ( /ì) x ơ 2( /ĩ ) Trong dó K (».ỹ) = X ỉ / * ( « + / , v + ỹ)/(2« + lX2m + l) với k = 1 ’2 i =—/J ị=—ni ơ ( / k ) là đ ộ lệch c h u ẩ n c ù a ả n h Ik t r on g m i ề n lân c ậ n ( 2 n + l ) ( 2 m + l ) c ủ a (u. v) v à
được tính bói công thúc:
/I ni
ị p ĩ M
[PT3.6]
Của '-.ỏ n!3iis qu.m C ira iõ :mi luẻm
Hình 3.12. Cửa sổ tim kiếm và cưa sỏ tương quan
Giá tương quan nhận các tiiá trị trona đoạn [-1,1], nêu nhận giá trị -1 hai cưa sò tương quan hoàn toàn khác nhau, ngược lại nhận giá trị 1 hai cưa sô tương quan hoàn toàn siỏnu nhau. (adsbygoogle = window.adsbygoogle || []).push({});
C| và C; tạo t h à n h một c ặ p d ối s án h ứ n g c ư viên nếu giá t ư ơ n g q u a n c u a c h ú n g lớn
hơn một ngưởng nào đó. Theo Zhengyou Zhang [23] ngưỡng so sánh ơ đây là 0.8. với lựa chọn n=m=7, du và d s tương ứng là 1/4 chiều rộng va chiều cao cua anh.
N hư vậy, đôi với môi điêm góc thuộc ảnh thứ nhất có một tập các ứng cừ viên đối sánh thuộc ảnh thứ hai, tập này có thể rỗng. Ngược lại. mỗi điểm góc thuộc ánh thứ 2 cũng có một tập các điểm ứng cử viên đối sánh thuộc ảnh thứ nhất.
B. Tim tân các căn dối sánh tương ứng
Từ tập các ứng cứ viên đối sánh phái tim ra tập các cập ứng cư viên tốt nhất. Kĩ thuật được dùng ở khâu này là kĩ thuật phục hồi: Loại bỏ nhũng cặp ứng cừ viên tồi nhờ vào các ràng buộc duy nhất và liên tục.
Đê dám bảo ràng buộc duy nhất, mỗi thủ tục đều được tính trẽn hai anh. Hay nói cách khác là đối vị trí ánh 1 và 2 cho nhau trong các thù tục.
Ràng buộc liên tục được thể hiện một cách toán học dưới dạng công thức độ tin cậy đối sánh SM:
[PT3.7]
r.Lfl \' __
SM (ctl,c2l)=c„ 2 , m a x , ' , ' , , 1
trong đó í//.v/(í , ,c, ;í/1A ,<•/,,) được tính như sau:
dist(ch, C,, ; d u ,il2, ) = [rf(c„.</„ ) + d{c2 r dv )]/ 2 f/(/»,/;) = 11»; -//|Ị là khoảng cách ơclit giữa m và n.
^(cìj ’ c2 ; ’ ’^2/ì~ ị
Ổ nhận giá trị c' " ‘" nếu (d lk,d;i) là một cặp ứng cử viên đổi sánh và | f / ( r .)-(/{c 2i. d 2 Ị
t l i s r ị i! . c 2 l :</,< ,<■/;, )
í; là n g ư ữ i m d i r ợ c c h ọ n là 0 .3 . C,J - 1 .
Độ tin cậy đối sanh tinh đến số lượng các cặp dối sánh ứng cư viên trong miền lân
0
Moi quan hệ tương tự vê vị trí cùa các cặp đối sánh ứng cừ viên là dựa trên khoảng cách.
Đọ đo S M không đôi xứng SM(C|j,C2j) # SM(c2j,C]j), điều này xảy ra vi một điểm có the co nhiêu ứng cử viên đôi sánh. Trong hình 3.13, C ] | và C p cùng là ứng cừ viên đối sánh của c2|
Hình 3.13. Đối sánh không đối xúng
Nêu một vài điểm (lu e N (cu) có cùng giá tương quan lớn nhất với cùng một điếm
d 2l e Af(c,; ) thì chỉ những điểm có giá trị lớn nhất mới được giữ lại. Hàm năng lượng biêu diễn tống độ tin cậy dối sánh được tính như sau:
J = Y s m {cu.c2i) [PT3.8]
Thu tục phục hồi:
Repeat
Tính dộ tin cậy của mỗi cặp ửna cử viên đôi sánh
Cập nhật lại các cặp đối sánh bằng cách tối thiêu hóa hàm năng lượng } Until hàm năn? lượng hội tụ
________________ ____________________________________________________________
3. 2. 3. I h u ậ t t oán tính ma trận cơ bản s ử d ụ n g R A N S A C (adsbygoogle = window.adsbygoogle || []).push({});
M a t r ậ n F t ừ 7 cặ p điểm đối sánh: Khi chi có 7 cặp điềm đối sánh, dựa váo ràng
b u ộ c e p i o l a r ta t h à n h l ập đ ư ợ c p h ư ơ n g trình A f = 0 . A là m a t rận 7 x 9 có h ạ n g 7.
Lời giải cho phương trình t rên là không gian 2 chiều có dạng aFl + ( l - ữ ) f 2, trong đó a là biên hệ sô co dãn. M a trận F{ và F2 là ma trận tưone ứng với phân từ sinh /, và / , của không gian rỗng phải (right null space - Phụ lục D) của A. Mặt khác, det F = 0 do vậy aFt + (l ~ a ) f 2 = 0 từ đó tính dược a .
Độ đo k h o ả n g cách dL: Cho một ma trận F dược tính từ 7 mẫu RANSAC, d L đo mức độ gần nhau cùa cặp điểm đối sánh thôa mãn hình học epipolar. Tối thiểu một
h à m g iá n à o d ó c ó th ê là m ộ t lựa c h ọ n c ù a ( i .
Một số lượng No các cặp dối sánh dầu vào, đẩu ra của thuật toán là ma trận F phù hợp nhất với các cặp đối sánh nêu trên. Đe được ma trận F phù hợp 100% với tât ca
No cặp đầu vào là điều không tưởng. Do vậy, trong quá trình triền khai thuật toán có thêm bước lựa chọn số lượng mẫu N (phụ lục C) trong số No đê cho kêt qua F được tốt nhất. Dưới đây mô tà thuật toán tính ma trận cơ bàn sư dụng RANSAC: Bài toán: Tính ma trận cơ bản F từ cặp ảnh đầu vào
Thuật toán:
1. Tinh diếm ứim cử viên đôi sánh (3.2.2.A) 2. Tính các cập điểm đối sánh (3.2.2.B) 3. LíÓ'C lượnt’ RANSA C: lặp lại cho N mâu
• Lựa chọn ngẫu nhiên 7 mẫu tương ứng đế tính mà trận cơ bàn F. Kết qua
c ỏ thố c ó từ 1 đ c n 3 giãi pháp.
• Tính klioanc cách </, cho mỗi cặp đôi sánh
• Nêu có nhiêu hơn 1 giải pháp, lấy giải pháp với inlier lớn nhất.
4. Tính lại mà trận F cho tât cà các cặp đối sánh được coi là inlier bang cách tối thiếu hóa hàm giá
Banịỉ 3.3. Thuật toán SU' dụng RANSAC
3. 2.4. C h ỉ n h s ứ a ả nh b à n g p h ư ơ n g pháp c h u y ển đổi s a n g tọa độ cực
Ràng buộc epipolar thể hiện mối quan hệ giữa 2 điểm anh đối sánh được thể hiện qua phương trình sau:
m ' Fiji - 0
trong dó m ’ và m là toạ độ thuần nhất cua cặp điểm anh đối sánh trên hai anh. F là
m a trận CO' ban. D ư ờ n g e p i p o l a r cua đ i ế m m d ư ợ c h iế u d i ễn bới p h ư ơ n g trinh
/ ~ Fm và nuưọc lại diêm m ’ có tlưừniỉ cpipolar như sail / - Fm .
a. Các đường cpipolar định hưởng
Hình học chiếu định hướng [14] phân biệt diem trước và sau camera. Phân anh mà nhìn thấy dược phai là điểm trước camcra. Điều này thề hiện bàng công thức toán học như sau: khi dựng lại diêm 3 chiều theo cônư thức Ảm - PX thi hệ sô Ằ phai dương.
K h á i n i ệ m về h ì n h h ọ c c hi ế u đ ị n h h ư ớ n e đ ư ợ c áp d ụ n g t r on g h ì n h học e p i po l ar n h ư
sau: Một điêm trong một ảnh chi lựa chọn các khả năng đối sánh với nó trên nưa đường epipolar của anh khác chứ không phai toàn bộ đường này (hinh 3.14). M và N là 2 điểm 3 chiều cùng tlniộc một mặt phăng epipolar n (mặt phăng qua tâm camera c và ( " ) va tạo thanh cặp diêm đối sánh m <-> III và n <-> n . Nêu cặp diêm đối sánh không thuộc cùniĩ phía của dường cơ ban C C ’ thi diêm 3 chiêu sẽ năm sau camera và khônu hiên thị, trong hình minh họa đó là điêm N.
Hình 3.14. Hình học chiếu định hướng, b. Ma trận dồng hình lương thích H và ma trận cơ ban F
Các ma trận đồng hình II ánh xạ giữa các diêm ảnh 1)1 <-> III . Nhữntỉ ma trận đỏng hình này được áp dụng trong chinh sửa anh phăng đê tạo ra các đường epipolar song song hoặc trùng nhau. Tuy nhiên như đã biết, phương pháp chinh sửa ánh phăng
k h ô n g h i ệ u q u á, d o v ậ y chì các m a t rận đ ồ n g h ì n h t ư ơ n g t hí ch m ớ i xét đ ế n ơ đà y , đó
là các ma trận dồim hình chi tạo ra các đucmg thăng trùng nhau.
Cho trước ma trận cơ bản F và các cặp đối sánh m lìì . ma trận đồng hinh tương thích H sẽ biến đồi m"thành một điểm Htn nàm trên đường epipolar Fm . Như vậy, áp dụnu ma trận đ ồ n e hình tương thích cho tất cả các điêm anh tương đương với (adsbygoogle = window.adsbygoogle || []).push({});
vi ệc đ ị n h n u h ì a c ặ p ả n h m ó i có cá c đ ư ờ n g e p i p o l a r t r ù n g n h a u và d o đó c ù n g có
chilli'1 diem epipole He = c va !ỉ ư . H dược xác định t h ô n g qua ma trận cơ