Nghiên cứu phương pháp tính toán độ sâu ảnh stereo ứng dụng trong rô bốt di động

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN ĐẠI HỌC MỞ HÀ NỘI LUẬN VĂN THẠC SĨ Chuyên ngành: Kỹ thuật ñiện tử Mã ngành: 60520203 Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng HỌC VIÊN THỰC HIỆN: Bạch Ngọc Minh HƯỚNG DẪN KHOA HỌC: TS. Nguyễn Vĩnh An Hà Nội, 9/2013 Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng Bạch Ngọc Minh i LỜI MỞ ĐẦU Với mục ñích thay thế cho con người ñối với những công việc ở những môi trường khắc nghiệt, nhiễm ñộc hay phóng xạ… ảnh hưởng tới sức khỏe cũng như tính mạng của con người thì việc sử dụng Robot là một việc rất cần thiết. Trên thế giới việc phát triển công nghệ robot ñã phát triển từ lâu và ñã có những thành công nhất ñịnh. Nhưng ở Việt Nam thì công nghệ này vẫn còn ñang trong thời gian nghiên cứu và phát triển, tuy có những thành công nhưng vẫn chưa có những thành tựu ñáng kể. Hệ thống Robot dựa trên công nghệ dẫn ñường và hệ thống thị giác có thể ñáp ứng ñược những tác vụ phức tạp trong lĩnh vực giám sát, tìm kiếm và cứu hộ cứu nạn. Với các hệ thống thu thập dữ liệu ña dạng, hệ thống robot có thể tìm kiếm, hiển thị, truyền ñi tới trung tâm vị trí, tình trạng nạn nhân, môi trường xung quanh ñể cho các nhân viên cứu hộ hay người quản lý biết ñể có biện pháp xử lý kịp thời và ñạt hiệu quả cao nhất. Với ñặc ñiểm của mình thì hệ thống này có thể hoạt ñộng ñộc lập hay ñược lập trình sẵn theo từng yêu cầu cụ thể. Để xây dựng ñược một hệ thống hoàn chỉnh như vậy thì cần phải có thời gian nghiên cứu, thử nghiệm và phát triển các module trong hệ thống. Với mục ñích như vậy dưới sự hướng dẫn của thầy TS. Nguyễn Vĩnh An em ñã phát triển sản phẩm “ Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng ” Hà Nội, Ngày 25 Tháng 9 Năm 2013 Sinh Viên Bạch Ngọc Minh Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng Bạch Ngọc Minh ii MỤC LỤC LỜI MỞ ĐẦU i MỤC LỤC ii DANH MỤC HÌNH VẼ v DANH MỤC BẢNG vii DANH MỤC TỪ VIẾT TẮT viii Giới thiệu chung 1 1. Tính cấp thiết của ñề tài: 1 2. Mục tiêu nghiên cứu 2 2.1 Mục tiêu nghiên cứu tổng quát 2 2.2 Mục tiêu cụ thể 2 3. Đối tượng và phạm vi nghiên cứu 3 4. Tổng quan tài liệu 3 5. Nội dung, vật liệu và phương pháp nghiên cứu 5 5.1. Nội dung nghiên cứu: 5 5.2. Phương pháp nghiên cứu: 5 6. Dự kiến kết quả (viết theo từng nội dung nghiên cứu, dự kiến logíc và khoa học, tính khả thi ) 7 Chương 1: TỔNG QUAN VỀ ROBOT CỨU HỘ ỨNG DỤNG HỆ THỐNG CAMERA THỊ GIÁC 8 1.1. Rôbốt cứu hộ 8 1.2. Kiến trúc hệ thống rôbốt 10 1.3. Hệ thống dẫn ñường cho robot 13 1.3.1. Tầm quan trọng của hệ thống dẫn ñường cho robot cứu hộ: 14 1.3.2. Các hệ thống dẫn ñường thường gặp 15 1.4. Hệ thống thị giác 15 1.4.1. Thị giác máy tính 15 1.4.2. Hệ thống dẫn ñường cho robot cứu hộ sử dụng thị giác máy tính 16 Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng Bạch Ngọc Minh iii 1.5. Cơ sở tính toán ảnh stereo 18 1.5.1. Ảnh 3D và ứng dụng 19 1.5.2. Stereo camera 20 1.5.3. Bản ñồ chênh lệch và bản ñồ ñộ sâu 21 1.5.4. Mối quan hệ giữa ảnh ñộ sâu và tọa ñộ thực: 23 1.5.5. Phương pháp tính bản ñồ chênh lệch 23 1.6. Phương pháp trích chọn ñường biên 29 1.6.1. Đường biên và ý nghĩa 29 1.6.2. Toán tử Prewitt 30 1.6.3. Toán tử Sobel 31 1.7. Phát hiện mặt phẳng bằng biến ñổi Hough 31 1.7.1. Biến ñổi Hough 31 1.7.2. Biến ñổi Hough trong không gian 3D 32 1.7.3. Phát hiện mặt phẳng bằng biến ñổi Hough: 33 Chương 2 : NGHIÊN CỨU THUẬT TOÁN BẢN ĐỒ CHÊNH LỆCH 34 2.1. Giới thiệu 34 2.2. Phương pháp SAD truyền thống 36 2.3. Phương pháp SAD ñiều chỉnh 39 2.3.1. Phương pháp SAD ñối với ñường biên 39 2.3.2. Phương pháp trích chọn ñường biên màu 41 2.4. Bộ lọc logic: 44 2.4.1. Sự che khuất trong hai tấm ảnh 44 2.4.2. Bộ lọc logic trong trường hợp này 45 2.5. Bộ lọc kích thước: 45 2.5.1. Kích thước lỗi sai 45 2.5.2. Cách lọc bằng kích thước: 46 2.6. Phương pháp SAD phân vùng 47 2.7. Hoàn thành disparity map 55 2.8. Kết luận về phương pháp SAD ñiều chỉnh 58 Chương 3: PHÁT HIỆN MẶT PHẲNG VÀ CHƯỚNG NGẠI VẬT 59 Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng Bạch Ngọc Minh iv 2.1. Phát hiện mặt phẳng: 59 2.1.1. Ưu nhược ñiểm của biến ñổi Hough 59 2.1.2. Tổng quan phương pháp ñoán vector không gian: 60 2.1.3. Các ñặc ñiểm của mặt phẳng: 61 2.1.4. Dự ñoán hướng của mặt phẳng: 62 2.1.5. Đường ñồng mức: 63 2.1.6. Phương pháp Hough dựa trên ñường ñồng mức: 64 2.2. Phát hiện chướng ngại vật 65 2.2.1. Yêu cầu phát hiện chướng ngại vật: 65 2.2.2. Sự thể hiện của chướng ngại vật: 65 2.2.3. Các vấn ñề trong phát hiện chướng ngại vật 66 2.2.4. Phát hiện chướng ngại vật: 67 Chương 4: KẾT QUẢ VÀ ĐÁNH GIÁ 68 2.1. Kết quả thực hiện chương trình: 68 2.1.1. Thuật toán phát hiện ñộ sâu dựa trên phương pháp SAD ñiều chỉnh 68 2.1.2. Thuật toán phát hiện ñộ sâu dựa trên phương pháp SAD lai. 69 2.1.3. Thuật toán phát hiện mặt phẳng và chướng ngại vật 71 2.2. Hướng phát triển thêm về ñề tài: 72 2.2.1. Phần lý thuyết: 72 2.2.2. Hệ thống thị giác robot: 72 2.2.3. Hệ thống robot cứu hộ: 73 KẾT LUẬN 76 PHỤ LỤC 1 77 TÀI LIỆU THAM KHẢO 79 Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng Bạch Ngọc Minh v DANH MỤC HÌNH VẼ Hình 1.1 : Robot cứu hộ 9 Hình 1.2 : Một thí nghiệm với robot cứu hộ 10 Hình 1.3: Sơ ñồ khối hệ thống 11 Hình 1.4 : Một ñường ñi ñược tính toán 14 Hình 1.6: Một cảnh trong phim 3D 19 Hình 1.7 : Ảnh 3D sau khi tách ra 20 Hình 1.8 : Stereo camera 20 Hình 1.9: Hoạt ñộng của stereo camera 21 Hình 1.10: Bản ñồ chênh lệch 22 Hình 1.11: Bản ñồ ñộ sâu 22 Hình 1.12 :Quan hệ ñộ sâu và tọa ñộ thực 23 Hình 1.13: Sơ ñồ khối tổng quát của một thuật toán tương ứng stereo 26 Hình 1.14: Chip ASIC (a) board FPGA (b). 27 Hình 1.15: Phân loại các giải thuật thị giác stereo 28 Hình 1.17: Đường biên làm rõ nội dung ảnh 29 Hình 1.16: Đường biên 29 Hình 1.18: Đồng xu với hai màu khác nhau 30 Hình 1.19 : Toán tử Prewitt 30 Hình 1.20 : Ảnh kết quả của toán tử Prewitt 31 Hình 1.21: Toán tử Sobel 31 Hình 1.22 : Biến ñổi Hough 31 Hình 1.23: Biến ñổi Hough trong không gian 3D 32 Hình 2.1: Ảnh kiểm tra Tsukuba (trái) và groundtruth (bên phải) 34 Hình 2.2: Bản ñồ ñộ sâu của việc thực hiện SAD với kích thước cửa sổ của .35 Hình 2.3: Bản ñồ ñộ sâu của việc thực hiện SSD với kích thước cửa sổ của 5x5 (trái), 7x7 (giữa) và 11x11 (bên phải) 36 Hình 2.4: Các kết quả tính SAD thông thường 37 Hình 2.5 : Tốc ñộ phép toán SAD với các kích thước cửa sổ khác nhau 38 Hình 2.6: Phương pháp SAD ñiều chỉnh 39 Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng Bạch Ngọc Minh vi Hình 2.7: Đường biên cũng là ñường bao ñối tượng 40 Hình 2.8: Đánh giá kết quả của phương pháp SAD dựa trên ñường biên 41 Hình 2.9: Đường biên 20% số ñiểm bằng phương pháp Sobel màu và xám 42 Hình 2.10 : Các mảng màu của hình gốc 43 Hình 2.11: Sự che khuất ở 2 tấm ảnh 44 Hình 2.12: Lọc kích thước vùng 46 Hình 2.13: Thuật toán SAD phân vùng 49 Hình 2.14: Ảnh stereo trước khi chỉnh sửa 50 Hình 2.15: Ảnh stereo sau khi chỉnh sửa 50 Hình 2.16: Mô hình cơ bản cho phân vùng ảnh 52 Hình 2.17: Thuật toán SAD lai 55 Hình 2.18: Nội suy bên trong ñường biên 56 Hình 2.19: Tách riêng chi tiết dựa vào ñộ sâu 57 Hình 2.20: Nội suy một ñối tượng 57 Hình 2.21: Đối tượng nội suy bị tách ra 58 Hình 3.1: Khoảng giao nhau của các mặt phẳng 60 Hình 3.2: Mặt phẳng 61 Hình 3.3: Vector pháp tuyến 62 Hình 3.4: Đường ñồng mức 63 Hình 3.5 : Điểm gẫy khúc 64 Hình 3.6: Chướng ngại vật trong ảnh ñộ sâu 66 Hình 4.1: Một số kết quả thực hiện tìm SAD trên ñường biên 68 Hình 4.2: Nội suy bản ñồ chênh lệch với ảnh Cones 69 Hình 4.3: Kết quả thực nghiệm trên bốn ảnh thử nghiệm màu xám 70 Hình 4.5: Mặt phẳng thu ñược 72 Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng Bạch Ngọc Minh vii DANH MỤC BẢNG Bảng 4.1: So sánh kết quả của các giải thuật tính bản ñồ chênh lệch 71 Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng Bạch Ngọc Minh viii DANH MỤC TỪ VIẾT TẮT Thuật ngữ/từ viết tắt Tên tiếng Anh Tên tiếng Việt GPS Global Positioning System Hệ thống ñịnh vị toàn cầu NCC Normal Cross Correlation Tương quan chéo chuẩn SAD Sum of Absolute Differences Tổng sai lệch tuyệt ñối SSD Sum of Squared Differences Tổng sai lệch bình phương HSAD Hybrid Sum of Absolute Differences Tổng sai lệch tuyệt ñối lai RNV Robot vision system nevigation Hệ thống robot thị giác dẫn ñường VR Virtual reality system Hệ thống thực tế ảo FPGA Field programvnable gate arrays Các mảng cổng trường khả trình ASIC Application-specific integrated circuits Mạch tích hợp ứng dụng Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng Bạch Ngọc Minh 1 Giới thiệu chung 1. Tính cấp thiết của ñề tài: Trong bối cảnh khoa học công nghệ phát triển mạnh mẽ, theo chủ trương của Đảng và Nhà nước thì nhiệm vụ nghiên cứu phát triển khoa học công nghệ trở nên bức thiết hơn bao giờ hết. Có ñặt vai trò làm chủ khoa học và công nghệ lên vị trí quan trọng hàng ñầu thì mới ñảm bảo mục tiêu hiện ñại hóa công nghiệp hóa ñất nước. Nằm một trong những ngành khoa học công nghệ hiện ñại, ngành Rô bốt ñang trở thành lĩnh vực phát triển hấp dẫn ñầy tiềm năng. Rô bốt có mặt trong nhiều lĩnh vực thiết yếu và năng ñộng như y tế ñể theo dõi, giúp ñỡ bệnh nhân, trong cứu hộ cứu nạn, tham gia vào các khâu trong dây truyền sản xuất, lĩnh vực giải trí như các trò chơi tương tác hình ảnh… Một xu hướng phát triển mới là rô bốt sử dụng camera thị giác ñể quan sát như mắt người. Mặc dù việc chiết xuất dữ liệu từ ảnh thị giác là khó khăn hơn là dùng cảm biến nhưng bù lại thì cách thức này cung cấp cho rô bốt và con người những dữ liệu trực quan sinh ñộng và ñầy ñủ. Robot cũng có thể ñược trang bị nhiều cảm biến hình ảnh ñể có thể tính toán chiều sâu của thị giác trong môi trường ñược tốt hơn. Giống như ñôi mắt của con người, "ñôi mắt "robot" cũng phải có khả năng tập trung vào một khu vực ñặc biệt, và cũng có thể ñiều tiết ñể thích nghi với sự thay ñổi cường ñộ ánh sáng Tình hình nghiên cứu thuật toán xử lý tín hiệu camera chưa ñược sự quan tâm xứng ñáng với vai trò quan trọng của nó. Nguyên nhân chủ yếu là việc ñịnh hướng nghiên cứu chưa ñược hoạch ñịnh ở tầm vỹ mô. Nếu ñiều này ñược xây dựng một cách bài bản thì sẽ khuyến khích có nhiều nhà khoa học, các nghiên cứu sinh, kỹ sư … tham gia bởi tính ứng dụng thiết thực ñến nhiều lĩnh vực trong ñời sống xã hội. Mặc dù xử lý tín hiệu camera là một khoa học ứng dụng ñóng vai trò ñặc biệt cho sự phát triển của các hệ thống giám sát, cứu hộ, hỗ trợ bệnh nhân … [...]... th c hi n Nghiên c u phương pháp tính toán tài: sâu nh stereo ng d ng trong rô b t di ng” 2 M c tiêu nghiên c u 2.1 M c tiêu nghiên c u t ng quát Nghiên c u và tri n khai m t s thu t toán x lý nh stereo K t qu c a tài có th ng d ng trên các h th ng quan sát stereo nói chung và rôb t th giác stereo nói riêng 2.2 M c tiêu c th - Nghiên c u v h th ng rôb t s d ng a c m bi n và h th ng camera stereo B ch... B ch Ng c Minh 2 Nghiên c u phương pháp tính toán sâu nh stereo ng d ng trong rô b t di ng - Nghiên c u t ng quát v lý thuy t nh, nh s , nh stereo th giác - Nghiên c u các k thu t x lý nh cơ b n - Nghiên c u m t s thu t toán x lý nh th giác stereo - Tri n khai thành công m t s thu t toán x lý nh th giác stereo 3 i tư ng và ph m vi nghiên c u • Nghiên c u ư c ti n hành trên i tư ng nghiên c u c a i... a s thích nghi Các phương pháp th giác stereo chính ư c th hi n v m t toán h c như sau B ch Ng c Minh 24 Nghiên c u phương pháp tính toán 1 Phương pháp t ng s sâu nh stereo ng d ng trong rô b t di khác bi t tuy t ng i (SAD - Sum of Absolute Differences): (0-4) Theo công th c (0-4), vi c tính giá tr chênh l ch c a i m (x,y) ư c th c hi n b ng phép tính hi u trong c a s W Do ó thu t toán ơn gi n C a s... a trên ph n m m b ng tính S li u ư c công c tính toán trích d n sang t p b ng tính B ch Ng c Minh thu n ti n cho vi c t ng và phân tích 6 Nghiên c u phương pháp tính toán 6 D sâu nh stereo ng d ng trong rô b t di ng ki n k t qu (vi t theo t ng n i dung nghiên c u, d ki n logíc và khoa h c, tính kh thi ) - Nghiên c u v h th ng rôb t s d ng a c m bi n và h th ng camera stereo - Nghiên c u v các chu n... và các v t c n trong môi trư ng t k t qu thu ư c c a stereo camera Các phương pháp v ch ra s yêu c u tài nguyên tính toán th p nhưng có ư c k t qu t t B ch Ng c Minh 17 Nghiên c u phương pháp tính toán sâu nh stereo ng d ng trong rô b t di ng Cu c cách m ng khoa h c k thu t là m t bư c phát tri n vư t b c c a loài ngư i, cu c cách m ng ó ã làm thay i hoàn toàn cu c s ng c a con ngư i trong t t c m i... t toán tương ng stereo cho k t qu phân lo i và ánh giá chúng, m t b i c nh ã ư c u ra dày c xu t trong Scharstein và Szeliski 2002 Theo ó, các thu t toán phù h p v i dày a phương và toàn c c Phương pháp c ư c phân lo i thành hai lo i là a phương (theo vùng) mang l i ưu th v t c Chúng cũng ư c g i là phương pháp d a trên c a s vì quá trình tính toán B ch Ng c Minh 26 Nghiên c u phương pháp tính toán. .. ng rô b t ki n th c và xu t mô hình B ch Ng c Minh t ng h p 5 Nghiên c u phương pháp tính toán sâu nh stereo ng d ng trong rô b t di ng - Nghiên c u v các chu n nh s : ph m vi nghiên c u là các chu n nh s ư c s d ng ph bi n có ưu i m là dung lư ng nh nh , ch t lư ng nh t t cho vi c trích ch n d li u; Vi n mb o a i m nghiên c u t i thư vi n như thư vi n c a i h c M Hà N i, thư vi n Qu c gia Phương pháp. . .Nghiên c u phương pháp tính toán nhưng do sâu nh stereo ng d ng trong rô b t di ng c thù c a lĩnh v c nghiên c u là òi h i có nh ng ki n th c cơ b n v toán h c và logic v ng vàng, nên d n n nhi u khó khăn trong nghiên c u iv i nhi u ngư i Cho nên không có nhi u các bài báo, các công trình khoa h c có giá tr ư c công b trên các t p chí khoa h c, báo khoa h c trong nư c Tuy nhiên ngoài nhóm nghiên. .. trình làm vi c như 1-5: B ch Ng c Minh 16 Nghiên c u phương pháp tính toán sâu nh stereo ng d ng trong rô b t di ng Hình 0-5 : H th ng d n ư ng s d ng th giác máy tính Trong quá trình ho t ng, rô b t c n th c hi n các thao tác ch y u là quan sát, thu th p d li u v môi trư ng xung quanh, tiêu H u h t các ho t ng trên ng th i di chuy n h p lý t i m c u di n ra trong th i gian th c t c là òi h i vi c x... tín hi u stereo camera trong khâu ti n x lý, trong ó t p trung vào giai o n tính toán b n chênh l ch, phát hi n m t ph ng và chư ng ng i v t 5 N i dung, v t li u và phương pháp nghiên c u 5.1 N i dung nghiên c u: Lu n văn bao g m 4 chương: - Chương 1: Nghiên c u t ng quan v rôb t c u h và ng d ng h th ng camera stereo th giác - Chương 2: Nghiên c u thu t toán tìm b n chênh l ch c a c p nh stereo - . 16 Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng Bạch Ngọc Minh iii 1.5. Cơ sở tính toán ảnh stereo 18 1.5.1. Ảnh 3D và ứng dụng 19 1.5.2. Stereo. stereo. Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng Bạch Ngọc Minh 3 - Nghiên cứu tổng quát về lý thuyết ảnh, ảnh số, ảnh stereo thị giác. - Nghiên cứu các. ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng ” Hà Nội, Ngày 25 Tháng 9 Năm 2013 Sinh Viên Bạch Ngọc Minh Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong