Chương này đã trình bày một cách t ng quan v tình hình nghiên c u v thu t ổ ề ứ ề ậ
toán lĩnh vực th giác máy tính vị ới ứng d ng dụ ẫn đường. Qua đánh giá cơ bản, tác gi ả
thấy có các vấn đề ầ c n nghiên c u ứ triệt để hơn như sau đây.
Vấn đề trích xu t m t ph ng t b n chênh lấ ặ ẳ ừ ả đồ ệch/độ sâu: Bài toán cần được gi i quy t k ả ế ỹ lưỡng t khâu ừ tốc độ tính toán bản đồ chênh lệch/độ sâu sau khichọn d ữ
liệu đầu vào sao cho thích h p. B n thân d u nh có mợ ả ữliệ ả ột nhược điểm c h u là khố ữ ối
lượng lớn và tăng rất nhanh nếu độ phân giải tăng. Các phương pháp trích xuất m t ặ
ph ng cẳ ần cải thiện thời gian ch y. Do ạ đóthuật toán c n th a mãn hai y u t g m khầ ỏ ế ố ồ ối
lượng d liữ ệu tính toán ít hơn và độ ph c t p thu t toán thứ ạ ậ ấp. Đa số các phương pháp
nghiên c u gứ ần đây chỉ ả gi i quyết được m t trong hai y u t trên. V i s ộ ế ố ớ ố ít phương pháp
thử nghi m k t h p c hai lệ ế ợ ả ợi điểm trên thì k t qu v n cế ả ẫ ần được c i thi n cho phù h p ả ệ ợ
v i tớ ừng môi trường c ụthể. Khâu c t lõi là thu t toán áp d ng phố ậ ụ ải đảm b o tính mả ạnh m , ẽ ổn định và ph ổ quát. Trong khi đó nó vẫn đạt yêu cầu độ phứ ạc t p thấp hơn các phương pháp hiệ ạn t i. H n n aơ ữ , vấn đề nhận d ng mạ ặt đấ ừ ữ liệu ảt t d nh th giác máy ị tính cũng có thể ả gi i quy t d a ên d ế ự tr ữ ệli u b n sâuả đồ độ . Phương pháp đề xu t cấ ần l a ch n h p lý d u vào ự ọ ợ ữliệ đểcó mộ ợt l i th v t i. Thu t toán nh n d ng mế ề ả ậ ậ ạ ặ ất cũng t đ
cần đảm b o tính m nh m , ph quát và khả ạ ẽ ổ ối lượng tính toán th p hoấ ặc tương đương nhưng kết qu ph i tả ả ốt hơn các phương pháp gần đây.
Vấn đề ẫn đườ d ng cho xe -b t trong nhà rô ố trong môi trường chưa biết. Các
phương pháp nghiên c u v dứ ề ẫn đường d a trên th ự ị giác máy tính được kh o sát cho ả
thấy còn t n tồ ại hạn ch v tính chính xác, tính tế ề ối ưu.
Như vậy, chương này đã trình bày khái quát và cập nh t v thu t toán tính b n ậ ề ậ ả đồ chênh l ch, ệ các phương pháp trích xuất đối tượng m t ph ng, mặ ẳ ặt đất trong nh ng ữ năm gần đây cũng như m t s ộ ố phương pháp dẫn đường d a trên th giác hi n t ự ị ệ ại.Chương này cũng nêu được định hướng nghiên c u c ứ ụthể c a tác gi gi i quy t bài toán nhủ ả để ả ế ận d ng ạ đối tượng liên quan trên, ng dứ ụng tìm đường cho xe -b t trong nhà. rô ố
41 CHƯƠNG 2.PHƯƠNG PHÁP TĂNG TỐC TÍNH TOÁN
BẢN ĐỒ CHÊNH L CH VÀ PHÁT TRI N THU T TOÁN Ệ Ể Ậ
TRÍCH XU T M T PHẤ Ặ ẲNG
i thi
Giớ ệu chương u c
Đầ hương này mô t c m biả ả ến hình nh, c u trúc v t lý, nguyên lý tính toán thả ấ ậ ị
giác nổi được trình bày ng n g n kèm theo khái ni m bắ ọ ệ ản đồ độ sâu như là mộ t lo i d ạ ữ
liệu đầu ra đặc thù của h th ng th giác n i. ệ ố ị ổ
p theo c
Tiế hương này s trình bày hai n i dung chính. N i dung chính th nh t ẽ ộ ộ ứ ấ
trong m c 2.3 v ụ ề phương pháp tăng tốc độ xây d ng bự ản đồ chênh lệch/ độ sâu với đề
xu t thu t toán SAD c i thi n. Gi i thuấ ậ ả ệ ả ật đề xuất được đánh giá thời gian x lý nhanh ử hơn trong khi các tiêu chí khác vẫn tương đương. N i dung chính th hai là ộ ứ phương pháp
trích xuất đối tượng m t ph ng ặ ẳ được đề xu t có th ấ ểgiữ ạ l i những ưu điểm của phương
pháp ti p c n [6] [7]. Ph n 2.4 ế ậ ầ giới thi u nguyên lý trích xu t m t ph ng d a trên m bệ ấ ặ ẳ ự ột ộ
gi ảthuyết đơn giản v khái ni m m t ph ng trong bề ệ ặ ẳ ản đồ độ sâu. Đây là cơ sở giúp đơn
gi n hóa vi c tính toán trên cùng m b d ả ệ ột ộ ữ liệu đầu vào chuẩn Sau là m t s khái . đó ộ ố
niệm cơ bản h u ích. M c 2.5 trình bày ki n trúc h ữ ụ ế ệ thống triển khai tìm ki m các khu ế
v c ph ng ự ẳ áp d ng các thu t toán ụ ậ đề xuất. Các k t qu ế ả thu được và m t s ộ ốthảo lu n quan ậ
trọng để ả c i thi n các kh ệ ả năng kết qu ả trong các môi trường khác nhau. Ph n cuầ ối 2.6 trình b mày ộ ố ổt s t ng k t ế cũng như đị nh hướng việc átph tri n. ể
Các kết quả nghiên cứu đề xuấ ề ập trong chương 2 đã đượt đ c c công b trong ố các bài báo (1) và (3) trong phần “Danh mục các công trình đã công bố ủ c a luận án”. Công trình s (3) là kố ết qu ảđầu tiên của đề tài khoa h c và công ngh cọ ệ ấp cơ sở mã s T2016-ố
PC-108 năm 2016 có tên “Nghiên cứu phát tri n thu t toán trích m t phể ậ ặ ẳng đất và vật c n d a trên h ả ự ệthống c m bi n kinect ng d ng h dả ế ứ ụ ỗtrợ ẫn đường cho -b t rô ố di động”. Đề tài này được Trường Đại h c Bách Khoa Hà N phê duyọ ội ệt năm 2016 và nghiệm thu
năm 2017 vớ ếi k t qu t t, ả ố đã hỗ ợ ệ tr hi u qu cho nghiên c u sinh trong th i gian th c ả ứ ờ ự
hi n lu n án ti n s . ệ ậ ế ỹ
H ệ thống máy nh n i ả ổ
2.2.1. Cảm biến hình ảnh
C m bi n hình nh là c m bi n phát hi n và truy n t i thông tin c u thành hình ả ế ả ả ế ệ ề ả ấ ảnh b ng cách chuyằ ển đổi năng lượng c a sóng ánh sáng ph n x t các v t th t i c m ủ ả ạ ừ ậ ể ớ ả
42 bi n thành tín hiế ệu điện. C m bi n hình ả ế ảnh được coi như trái tim của m t máy ộ ảnh chứa các ph n t bào) biầ ử (tế ến đổi quang/điện tương ng v i mứ ớ ỗi điểm ảnh. S ố lượng điểm
ảnh th hi n mể ệ ức độ phân gi i c a hình ả ủ ảnh thu được. M t c m bi n hình nh có th ộ ả ế ả ể
chứ ớa t i hàng ch c triụ ệu điểm ảnh. Sóng ánh sáng có th là ánh sáng nhìn th y ho c ể ấ ặ
h ng ngo i ho c là các lo i b c x ồ ạ ặ ạ ứ ạ điện t khác. C m bi n hình ừ ả ế ảnh được s d ng trong ử ụ
các thi t b hình ế ị ảnh điệ ử tương tựn t và k thu t s , bao g m máy nh k thu t s , mô-ỹ ậ ố ồ ả ỹ ậ ố đun máy ảnh, thi t b ế ịchụp ảnh y khoa, thi t b ế ị nhìn ban đêm như thiết b ịchụp ảnh nhiệt, radar, sonar và các thi t b khác. Ngày nay, hình nh k ế ị ả ỹthuậ ố có xu hướt s ng thay th ế
hình ảnh tương tự.
Hiện nay, các lo i c m bi n hình ạ ả ế ảnh được s d ng là Linh kiử ụ ện tích điện kép (CCD) ho c c m biặ ả ến điểm ảnh tích c c trong các ch Bán d n b sung ôxit kim loự ất ẫ ổ ại (CMOS ) ho c công ngh Bán d n ôxit kim lo i lo N (NMOS). H u h t các s n phặ ệ ẫ ạ ại ầ ế ả ẩm tiêu dùng nh ỏ chứa máy ảnh đều s d ng c m bi n CMOS. B i vì c m bi n CMOS r ử ụ ả ế ở ả ế ẻ hơn, nh ỏhơn CCD và m c tiêu th ứ ụđiện năng thấp hơn trong các thiế ịt b ch y b ng pin. ạ ằ
Cảm biến CCD được s d ng cho máy quay video chử ụ ất lượng phát sóng cao c p [75].ấ
2.2.2. C u trúc h ấ ệthống máy ảnh n i ổ
M t h ộ ệ thống máy nh n i (SCS) bao g m hai ho c nhiả ổ ồ ặ ều ống kính v i m t b ớ ộ ộ
c m bi n hình nh riêng bi t ho c khung phim cho mả ế ả ệ ặ ỗi ống kính được đặt theo chiều ngang. Nói cách khác h ệ thống máy nh n i mô ph ng th giác hai m t cả ổ ỏ ị ắ ủa con người. Khoảng cách gi a hai ng kính trong SCS (còn g i là kho ng cách gi a các trữ ố ọ ả ữ ục) tương
t ự như khoảng cách giữa đôi mắ ọi là đường cơ sởt g và kho ng t vài cm t i vài chả ừ ớ ục
cm. Do đó hệ ố th ng này cho phép ch p hình ụ ảnh đa góc nhìn được gọi là nhi p nh n i. ế ả ổ
SCS có th ể được sử ụng để ạ d t o các khung nhìn n i (stereo views) và hình nh 3D cho ổ ả
phim hoặc đểchụ ảp nh theo d i. Mả ột số SCS tiêu bi u th hi n trong Hình 2.1 ể ể ệ
Hình 2.1. H ệthống máy nh n i Bumblebee [76] ả ổ
Máy ảnh th giác n i là thi t b khai thác thông tin 3D t các hình nh k thu t ị ổ ế ị ừ ả ỹ ậ
s , ch ng hố ẳ ạn như thu được b ng máy nh CCD. B ng cách so sánh thông tin v mằ ả ằ ề ột c nh t hai khung hình có góc nhìn khác nhau, thông tin 3D có th ả ừ ể được trích ra b ng ằ
cách kiểm tra các v ị trí tương đối của các đối tượng trong hai ảnh và được trình bày chi ti t trong phế ần sau đây.
43
2.2.3. Nguyên lý thị giác n i ổ
Nguyên lý th giác n i giị ổ ống như tầm nhìn hai m t cắ ủa con người và nh n thậ ức trực quan c a chúng ta v ủ ề độsâu, nơi mà các vậ ởt xa hơn trong c nh thì v trí c a chúng ả ị ủ ít thay đổi khi chúng ta nh m mắ ắt luân phiên. Đây là tính chất trong h th ng th giác ệ ố ị
n i: các v t nổ ậ ằm xa tương ứng có m t s khác bi t (còn gộ ự ệ ọi là độ chênh l ch) nh ệ ỏ hơn
gi a hai hình nh n i; các v t nữ ả ổ ậ ằm ở ầ g n thì có s khác bi t l n v v trí gi a c p hình ự ệ ớ ề ị ữ ặ ảnh n i. Theo ổ [77], quá trình phân tích hình ảnh n i bao gổ ồm 5 bước sau: thu th p hình ậ ảnh, mô hình hóa máy nh, trích xuả ất đặc trưng, kế ợt h p hình ảnh và xác định chi u sâu. ề Trong các bước trên thì quá trình k t hế ợp là bước quan tr ng vì nó quyọ ết định đến ch t ấ lượng k t quế ả chiều sâu, được mô t ả dưới đây.
Đểlàm được điều này, h ệthống bao g m hai máy ồ ảnh cách nhau b i m t kho ng ở ộ ả
cách nhất định, đường cơ sở ( ), xem Hình 2.2T , để có được hai khung c nh khác nhau, ả
giống như tầm nhìn hai mắt của con người. Quá trình kết hợp là quá trình xác định đặc
trưng hoặc điểm gi ng nhau trong c hai hình nh và tính s khác bi t v v trí c a t p ố ả ả ự ệ ề ị ủ ậ
hợp các đặc trưng hoặc điểm này. S khác bi t v ự ệ ị trí thường c a mủ ột đặc trưng trong hai ảnh thường là theo tr c ngang. K t qu Learning OpenCVụ ế ả có được m t tộ ập đặc trưng
ho c chênh lặ ệch tương ứng. Chênh lệch được định nghĩa là phép trừ ừ, t hình nh trái ả
sang phải, của các tọa độ 2D của các điểm tương ứng trong không gian hình ảnh.
Hình 2.2. Các tr c tụ ọa độ ủ c a h ệthống th giác n i [78]. ị ổ
Chú thích: (cx, cy) là điểm trung tâm nh. pả l và pr là tọa độ ủa điể c m p trong nh trái và ả
ảnh phải, tương ứng.
K t qu c a quá trình k t h p ế ả ủ ế ợ thu được thông tin độ sâu tương đối. Nó có t l ỷ ệ
ngh ch v i khoị ớ ảng cách đến các đối tượng vì chi u sâu t l ngh ch v i s chênh lề ỷ ệ ị ớ ự ệch. Hai thông s này rõ ràng là có m t m i quan h phi tuy n. Khi chênh l ch g n 0, s ố ộ ố ệ ế ệ ầ ự
khác bi t chênh l ch nh l i t o ra s ệ ệ ỏ ạ ạ ự thay đổi kho ng cách lả ớn. Khi độ chênh l ch l n, ệ ớ
44 thống th giác nị ổi có độ phân gi cao chải ỉ đố ới các đối tượng tương đố ầ i v i g n máy nh ả
(Hình 2.3).
(a): H máy nh n i ệ ả ố (b): Quan h gi a khoệ ữ ảng cách và độ chênh lệch
Hình 2.3. M i quan h t l nghố ệ ỷ ệ ịch độ sâu và độ chênh l ch [78] ệ
Độ sâu có th ể được thi t l p b ng cách l p tam giác tính chênh l ch thu ế ậ ằ ậ để độ ệ được, với điều ki n kho ng cệ ả ách giữa hai m áy nhả , độ dài tiêu c ự và hướng c a tr c ủ ụ quang được biết đến. Độ dài tiêu c ự , thường đượf c bi u di n b ng milimét (mm), là ể ễ ằ
thông s ố cơ bản của ống kính m nh. Nó không pháy ả ải là phép đo chiều dài th c t cự ế ủa
ống kính, nhưng tính khoảng cách quang h c t ọ ừ điểm mà các tia sáng tập trung để hình thành m t hình ộ ảnh s c nét c a mắ ủ ột đố ượi t ng t i c m bi n s ớ ả ế ố ở ặ m t ph ng tiêu c trong ẳ ự
máy ảnh. Độ dài tiêu c c a ự ủ ống kính được xác định khi ng kính t p trung vô cố ậ ở ực.
Đường th ng t trung tâm máy nh vuông góc v i m t ph ng hình ẳ ừ ả ớ ặ ẳ ảnh được g i là tr c ọ ụ
chính ho c tr c quang c a máy nh. M t ph ng song song v i m t ph ng hình nh có ặ ụ ủ ả ặ ẳ ớ ặ ẳ ả
chứa trung tâm quang học được g i là m t ph ng chính ho c m t ph ng tiêu c c a máy ọ ặ ẳ ặ ặ ẳ ự ủ ảnh. M i quan h gi a các tố ệ ữ ọa độ 3D c a mủ ột điểm trong c nh và tả ọa độ ủ c a hình chiếu của nó lên mặt phẳng ảnh được mô tả ằ b ng phép chi u trung tâm hoế ặc góc tọa độ.
Do đó, tọa độ ểđi m trong h th ng tham chi u máy nh có th ệ ố ế ả ể được tính như là
(X ', Y', Z )’ cho máy ảnh đầu tiên và (X. Y, Z) cho máy ảnh thứ hai. Độ sâu z có th ể được tính b ng cách k t h p các bi u th c (2ằ ế ợ ể ứ .1) để có bi u th c (2.2) khi bi t các thông s nể ứ ế ố ội tại của máy ảnh như độ dài tiêu c ựf, đường cơ sởmáy ảnh T, và kích thước điểm γ.
(2.1)
45 Giả ử s có một SCS điển hình g m hai máy ồ ảnh, được đặt theo chiều ngang để có
hai điểm nhìn khác nhau trong m t cộ ảnh, theo cách tương tự như tầm nhìn hai m t c a ắ ủ con người. B ng cách so sánh hai ằ ảnh này, thông tin độ sâu tương đối có th ể có được
dướ ại d ng m t bộ ản đồ chênh l ch, mã hóa s khác bi t v tệ ự ệ ề ọa độ ngang của các điểm
ảnh tương ứng. Các giá tr trong bị ản đồ chênh l ch này t l ngh ch vệ ỷ ệ ị ới độ sâu c nh t i ả ạ
v ị trí điểm tương ứng.
2.2.4. Bản đ độồ sâu
Khi ch p nh b ng m nh n i, hụ ả ẳ áyả ổ ìnhảnh i t ng s xu t hi n ên c hai nh đố ượ ẽ ấ ệ tr ả ả
trái và nh ph i. ả ả Độ chênh l ch cệ ủa đối tượng (ví d ụnhư điể ảm nh) là s khác bi t v v ự ệ ề ị
trí c a nó trong hai nh trái và nh ph i. Bủ ả ả ả ản đồ chênh l ch là t p h p các giá tr ệ ậ ợ ị độ
chênh l ch cệ ủa các điểm trong một ảnh. T b n lừ ả đồ độ ệch ho àn toàn có thể tính được b n sâu n u nh bi t êm kho ng cách hai m nh và êu c c a máy nh. ả đồ độ ế ư ế th ả áy ả ti ự ủ ả
[79] Trong đồ ọ h a máy tính 3D, m t bộ ản đồ chiều sâu là m t kênh hình nh hoộ ả ặc hình nh có chả ứa thông tin liên quan đến kho ng cách c a các b m t c a v t th c nh ả ủ ề ặ ủ ậ ể ả
t mừ ột điểm đến v ị trí đặt máy ảnh thường gọi là độ sâu z z. " " liên quan đến m t quy ộ ướ ằc r ng tr c trung tâm c a máy nh n m ụ ủ ả ằ ở hướng tr c ụ Z, ch không phứ ải đến tr c Z ụ
c a c nh. Tùy thu c vào mủ ả ộ ục đích sử ụ d ng c a m t bủ ộ ản đồ chi u sâu, máy tính có th ề ể mã hóa các điểm trong bản đồ độ sâu v i s ớ ốlượng bit khác nhau. Ví d bụ ản đồđộ sâu 8