Nghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác Rô bốt trong nhà (Luận án tiến sĩ)

Nghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác Rôbốt trong nhàNghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác Rôbốt trong nhàNghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác Rôbốt trong nhàNghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác Rôbốt trong nhàNghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác Rôbốt trong nhàNghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác Rôbốt trong nhàNghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác Rôbốt trong nhàNghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác Rôbốt trong nhàNghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác Rôbốt trong nhàNghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác Rôbốt trong nhàNghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác Rôbốt trong nhà

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Hà Nội – 2019 i BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ Ngành: Kỹ thuật điện tử Mã số: 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Nguyễn Tiến Dũng TS Lê Dũng Hà Nội – 2019 ii LỜI CAM ĐOAN Tôi xin cam đoan kết khoa học trình bày luận án thành nghiên cứu thân suốt thời gian làm nghiên cứu sinh chưa xuất công bố tác giả khác Các kết đạt xác trung thực Hà Nội, ngày Tập thể giáo viên hướng dẫn khoa học tháng năm 2019 Tác giả luận án TS Lê D PGS TS Nguyến Tiến Dũng TS Lê Dũng Đặng Khánh Hòa i LỜI CẢM ƠN Trước hết, xin bày tỏ lời cảm ơn chân thành sâu sắc đến tập thể hướng dẫn PGS TS Nguyễn Tiến Dũng TS Lê Dũng trực tiếp định hướng khoa học trình nghiên cứu Các Thầy dành nhiều thời gian tâm huyết, động viên mặt để tác giả hoàn thành luận án Tác giả xin trân trọng cảm ơn Lãnh đạo trường Đại học Bách Khoa Hà Nội (HUST), Phòng Đào tạo, Viện Điện tử Viễn thông (SET), Bộ môn Điện tử Kỹ thuật máy tính TT Đào tạo thực hành tạo điều kiện thuận lợi cho nghiên cứu sinh suốt trình học tập nghiên cứu Chân thành cảm ơn cán bộ, giảng viên, cộng anh chị NCS Viện Điện tử Viễn thông động viên, hỗ trợ tận tình giúp đỡ tác giả trình thực luận án Tác giả cảm ơn chương trình 911, Bộ Giáo dục Đào tạo tài trợ cho nghiên cứu sinh Cảm ơn SET, HUST tài trợ thông qua đề tài nghiên cứu khoa học cấp sở với mã T2016PC-108 Cuối cùng, tơi xin bày tỏ lịng biết ơn đến song thân phụ mẫu, vợ hai thúc đẩy, khích lệ hy sinh nhiều thời gian vừa qua Đây động lực to lớn giúp tác giả vượt qua trở ngại để hoàn thành luận án Tác giả luận án ĐẶNG KHÁNH HÒA ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU .vi DANH MỤC CÁC CHỮ VIẾT TẮT viii DANH MỤC CÁC BẢNG xi DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ xii MỞ ĐẦU xv Tính cấp thiết luận án xv 1.1 Trích trọn mặt phẳng xvii 1.2 Trích trọn mặt phẳng đất xix 1.3 Dẫn đường cho rô-bốt nhà xx Mục tiêu, đối tượng, phương pháp phạm vi nghiên cứu .xxi 2.1 Mục tiêu nghiên cứu xxi 2.2 Đối tượng nghiên cứu xxii 2.3 Phương pháp nghiên cứu xxii 2.4 Phạm vi nghiên cứu xxiii Ý nghĩa khoa học đóng góp luận án xxiii 3.1 Ý nghĩa khoa học xxiii 3.2 Các đóng góp khoa học luận án gồm: xxiii Cấu trúc nội dung luận án xxiv CHƯƠNG TỔNG QUAN HỆ THỐNG DẪN ĐƯỜNG CHO RƠ-BỐT DỰA TRÊN HÌNH ẢNH THỊ GIÁC MÁY TÍNH Giới thiệu chương Hệ thống dẫn đường cho rô-bốt nhà 1.2.1 Các hệ thống dẫn đường cho rô-bốt nhà 1.2.2 Kiến trúc hệ thống dẫn đường rơ-bốt sử dụng thị giác máy tính Một số vấn đề hệ thống rô-bốt dẫn đường dựa thị giác 1.3.1 Phương pháp tính tốn đồ chênh lệch/độ sâu 1.3.2 Phương pháp trích xuất đối tượng mặt phẳng dựa ảnh thị giác máy tính 1.3.3 Phát mặt phẳng đất dựa biến đổi ảnh thị giác 15 iii 1.3.4 Phương pháp dẫn đường cho rô-bốt nhà môi trường chưa biết 25 Tổng kết chương 29 CHƯƠNG PHƯƠNG PHÁP TĂNG TỐC TÍNH TỐN BẢN ĐỒ CHÊNH LỆCH VÀ PHÁT TRIỂN THUẬT TỐN TRÍCH XUẤT MẶT PHẲNG 31 Giới thiệu chương 31 Hệ thống máy ảnh 31 2.2.1 Cảm biến hình ảnh 31 2.2.2 Cấu trúc hệ thống máy ảnh 32 2.2.3 Nguyên lý thị giác 33 2.2.4 Bản đồ độ sâu 35 Phương pháp tăng tốc tính tốn đồ chênh lệch/độ sâu 36 2.3.1 Triển khai tính tốn SAD thông thường 36 2.3.2 Triển khai tính tốn SAD đề xuất 37 2.3.3 Kết thực thảo luận 39 Nguyên lý trích xuất đối tượng mặt phẳng 43 2.4.1 Độ sâu điểm 43 2.4.2 Khái niệm mặt phẳng thị giác máy tính 44 2.4.3 Khái niệm điểm lân cận hàng xóm 45 Triển khai phương pháp trích xuất đối tượng mặt phẳng 46 2.5.1 Kiến trúc hệ thống xử lý liệu 46 2.5.2 Thuật toán đề xuất Tạo nhóm hàng xóm kết hợp lọc 46 2.5.3 Kết thực nghiệm thảo luận 49 2.5.4 Kết luận 55 Tổng kết chương 55 CHƯƠNG PHÁT TRIỂN THUẬT TOÁN NHẬN DẠNG MẶT ĐẤT 57 Giới thiệu chương 57 Nguyên lý nhận dạng đối tượng mặt đất 57 Phương pháp nhận đối tượng mặt đất từ ảnh độ sâu chuẩn 59 3.3.1 Kiến trúc hệ thống xử lý liệu 59 3.3.2 Thuật toán đề xuất 60 3.3.3 Kết thực nghiệm thảo luận 64 3.3.4 Kết luận 72 iv Phương pháp nhận dạng đối tượng mặt phẳng đất từ liệu độ sâu thực tế 72 3.4.1 Giới thiệu 72 3.4.2 Kiến trúc hệ thống trích mặt đất từ liệu độ sâu thực tế 73 3.4.3 Kết thực nghiệm thảo luận 74 3.4.4 Kết luận 81 Tổng kết chương 81 CHƯƠNG PHÁT TRIỂN PHƯƠNG PHÁP DẪN ĐƯỜNG CHO RƠBỐT DỰA TRÊN THUẬT TỐN NHẬN DẠNG MẶT ĐẤT 83 Giới thiệu chương 83 Phương pháp dẫn đường sử dụng nhận dạng mặt đất 83 4.2.1 Mơ hình hoạt động rô-bốt nhà 83 4.2.2 4.2.3 sâu Xác định kích thước 2D điểm sâu 84 Phương pháp dẫn đường AMSD đề xuất dựa khai thác liệu độ 85 Kết thực nghiệm phương pháp dẫn đường AMSD dựa nhận dạng mặt đất thảo luận 89 4.3.1 Kết thực nghiệm phương pháp tránh vật cản 90 4.3.2 Kết thực nghiệm phương pháp tránh vật cản cải thiện 92 4.3.3 Kết luận 97 Tổng kết chương 98 KẾT LUẬN VÀ KIẾN NGHỊ 99 Kết luận 99 Kiến nghị nghiên cứu 99 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 100 TÀI LIỆU THAM KHẢO 102 v DANH MỤC CÁC KÝ HIỆU Ký hiệu Ý nghĩa A Cửa sổ tham chiếu A’ Cửa sổ tìm kiếm B Cửa sổ làm mịn Bottom Điểm liền kề C Phép biến đổi ảnh d Độ chênh lệch dmax Độ chênh lệch tối đa dmin Độ chênh lệch tối thiểu f Tiêu cự máy ảnh FN Bộ đếm điểm đất không phát FP Bộ đếm điểm phi đất bị phát sai H Ma trận biến đổi phẳng IL Ảnh bên trái IR Ảnh bên phải j Ngưỡng chênh lệch độ sâu hai điểm liền kề K Ma trân hiệu chuẩn máy ảnh Left Điểm liền kề bên trái masbias Giới hạn độ lệch n Véc tơ pháp tuyến mặt đất OL Vị trí máy ảnh trái OR Vị trí máy ảnh phải p Điểm ảnh P Tập điểm ảnh PL Điểm phản chiếu điểm p ảnh trái PR Điểm phản chiếu điểm p ảnh phải q Ngưỡng phân biệt khối đất phi đất R Phép xoay ảnh R1 Tỷ lệ phần trăm điểm đất phát R2 Tỷ lệ phần trăm điểm mặt đất phát không xác Right Điểm liền kề bên phải vi T Khoảng cách hai máy ảnh máy ảnh với projector TN Bộ đếm điểm phi đất phát Top Điểm liền kề TP Bộ đếm điểm đất phát w Kích thước cửa sổ XG Tập hợp điểm có sẵn mặt đất xL Hoành độ ảnh trái xR Hoành độ ảnh phải z Độ sâu vii DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt Tên tiếng Anh Tên tiếng Việt 2D Two Dimensions Hai chiều 3D Three Dimensions Ba chiều AMDS ANN Always Move Straight to the Thuật toán Ln di chuyển thẳng Destination tới đích Artificial Neural Network Mạng nơron nhân tạo APIs Application Programming Interface Giao diện lập trình ứng dụng ARA* Anytime Repairing A* BFS Best First Seaching BP Belief Propagation Thuật toán sửa chữa lúc nào* Thuận tốn tìm kiếm tốt Thuật toán Lan truyền tin cậy CCD Charge Coupled Device Linh kiện tích điện kép CMOS DSM Complementary Metal Semiconductor Digital Surface Models DWA Dynamic Window Approach EKF Extended Kalman Filter Oxide Bán dẫn bổ sung xít kim loại Mơ hình bề mặt số Thuật tốn tiếp cận cửa sổ động GDM Bộ lọc phi tuyến tính Kalman mở rộng Fast Plane Detection In Disparity Thuật toán Phát mặt phẳng Maps nhanh đồ chênh lệch Fast Sampling Plane Filtering Thuật toán Lọc mặt phẳng lấy mẫu nhanh Gradient Depth Map Thuật toán Gradien đồ độ sâu GPS Global Positioning System Hệ thống định vị toàn cầu HSAD Hybrid SAD SAD lai HSBSR HT Hierarchical Shape-Based Surface Thuật toán tái tạo bề mặt dự Reconstruction hình dạng phân cấp Hough Transform Thuật tốn Biến đổi Hough ICP Iterative Closest Point Thuật toán điểm gần lặp lại LRF Laser Range Finder Xác định phạm vi tia laser LSD Line Segment Detector Bộ phát đoạn thẳng MDL Minimum Description Length Thuật toán Độ dài mơ tả tối thiểu MS Mean Shift Thuật tốn Dịch trung bình FPDIDM FSPF viii (a) (b) Hình 4.12 Theo dõi vị trí rơ-bốt theo chiến thuật điều hướng cải tiến Chú thích: (a) kịch đơn giản (b) kịch phức tạp Hình 4.12 minh họa kết theo dõi vị trí xe rơ-bốt với hai loại kịch gồm kịch có vật cản kịch có nhiều vật cản Vị trí điểm bắt đầu điểm kết thúc biểu thị tọa độ 2D Rô-bốt khởi tạo hướng 12h Sau rôbốt nhận tọa độ điểm bắt đầu điểm kết thúc, xác định góc quay để hướng về mục tiêu trước di chuyển phía mục tiêu minh họa phân đoạn đường theo dõi vị trí xe rơ-bốt màu xanh Khi hệ thống phát tắc nghẽn đầu tiên, xác định góc quay để tránh chướng ngại vật tránh xa vật cản để đảm bảo chúng đủ an toàn (đoạn đỏ đầu tiên) Như vậy, rơ-bốt hồn tồn tn thủ chiến lược di chuyển đề xuất Rô-bốt đạt điểm đến hai trường hợp với vật cản nhiều vật cản với góc điều chỉnh hướng gần vơ cấp Vì vậy, phương pháp điều hướng AMSD đề xuất thể tính linh hoạt mượt mà ba cơng trình khác gần so sánh trình bày Bảng 4.1 Kết điều hướng đánh giá dựa yếu tố phạm vi góc điều hướng, số lượng hướng góc phạm vi Đáng ý bước góc quay điều chỉnh hướng phương pháp đề xuất nhỏ Nó minh chứng cho hiệu thuật tốn áp dụng cho việc điều khiển rôbốt tự trị nhà Tỷ lệ định hướng phân loại tình chiến thuật dẫn đường đề xuất so sánh với kết phương pháp khác (Bảng 4.2) Rơ-bốt đạt đến đích với tỷ lệ thành cơng 98.7%, nhiên thời gian kiểm tra không giống 96 Bảng 4.1 So sánh hiệu phương pháp dẫn đường cho rô-bốt nhà Phương pháp (Tác giả) Bước Sai số Phạm vi điều Số lượng lượng tử lượng tử hướng hướng điều 0 () () () hướng Correa [36] (2012) 22.5 11.25 180 Zainuddin [73] (2014) 90 45 180 XIN Jing [74] (2016) 22.5 11.25 360 16 Phương pháp đề xuất AMSD 0.5 180 180 Bảng 4.2 So sánh tỷ lệ điều hướng thành công Phương pháp (Tác giả) Tỷ lệ định hướng/phân loại (%) (Correa) [36] 92 (Biswas) [95] 100 Phương pháp đề xuất AMSD 100 4.3.3 Kết luận Trong nghiên cứu này, tác giả tập trung vào việc phát triển hệ thống dẫn đường tự trị nhà cho ứng dụng rô-bốt di động cách khai thác đồ độ sâu Hệ thống rô-bốt nhà trang bị với máy ảnh RGB-D thực tốt với phương pháp điều hướng đề xuất, không bị ảnh hưởng cường độ ánh sáng môi trường hoạt động Kết thu hoạch chứng minh giải vấn đề điều hướng rô-bốt môi trường động chưa biết với phương pháp AMSD đề xuất Máy ảnh RGB-D sử dụng Kinect phù hợp cho ứng dụng dẫn đường cục khả cung cấp liệu mạnh mẽ đáng tin cậy để tránh chướng ngại vật môi trường nhà phức tạp Dự án điều hướng dựa khai thác video chiều sâu thời gian thực cải thiện với hiệu suất cao cách so sánh thông số tỷ lệ thành công khả góc hướng số phương pháp điều hướng thú vị Trong 97 tương lai, cần sử dụng máy ảnh có độ phân giải cao để phân tích thêm hình học đối tượng Ngồi ra, nghiên cứu nên khai thác liệu sâu cách kết hợp luồng liệu chiều sâu với luồng liệu màu để mang lại kết tinh tế nhân Tổng kết chương Chương trình bày phương pháp điều hướng AMSD cho rơ-bốt di động môi trường nhà sử dụng luồng liệu độ sâu Phương pháp điều hướng thời gian thực tích hợp hệ thống rơ-bốt tự xây dựng trang bị máy ảnh RGB-D có độ phân giải 640x480 Đầu tiên, phương pháp áp dụng nguyên tắc di chuyển khả thi phương tiện giao thơng đường thường di chuyển mặt đất Vì vậy, phương pháp bắt đầu với việc tìm kiếm mặt đất từ video chiều sâu cung cấp ổn định Dựa hình dạng mặt đất đáng tin cậy này, đề xuất thuật toán lựa chọn hướng di chuyển mạnh mẽ Trong chờ đợi, hệ thống rô-bốt theo chiến lược khoảng cách đường tối thiểu đến mục tiêu cho Đồng thời, với đồ xác định trước môi trường hoạt động, vấn đề điều hướng rô-bốt giải với mức tỷ lệ thành công phương pháp gần FSPF Hệ thống rô-bốt điều hướng mạnh mẽ linh hoạt phương pháp mạng nơ-ron với bước góc điều chỉnh 10 Các thử nghiệm độ ổn định độ xác thuật toán điều hướng đề xuất lên đến 98% Thời gian xử lý phương pháp đề xuất điều hướng giảm thiểu để đáp ứng ứng dụng thời gian thực rô-bốt Rô-bốt dẫn đường thành cơng phịng bước tiến tới phát triển thiết bị tự trị hoàn toàn Việc tích hợp hệ thống dẫn đường thị giác vào rơ-bốt sử dụng làm tảng Các ứng dụng khai thác liệu độ sâu luồng ảnh màu ngày sâu rộng để tiếp tục đánh giá phát triển chức liên quan đến phương tiện tự trị thị giác tương lai Mặc dù điều kiện môi trường nhà ngồi nhà khác lớn nhiều tính hệ thống điều khiển hoàn toàn giống Hệ thống rô-bốt cần nâng cao phân hệ khí phù hợp, hỗ trợ tối ưu di chuyển an tồn Các phần cứng máy tính mạnh mẽ, phân hệ nguồn cung cấp dung lượng lớn tạo điều kiện tăng hiệu xe rô-bốt Mỗi hệ thống rô-bốt cần nhận biết tính chất mơi trường vận hành 98 KẾT LUẬN VÀ KIẾN NGHỊ Kết luận Đóng góp khoa học luận án Luận án đề xuất thuật toán xác định mặt phẳng từ đồ độ sâu Bước đầu, đề xuất tăng cường thuật tốn tính đồ chênh lệch SAD Phương pháp thực tính tốn tập điểm biên ảnh thị giác nổi, giúp giảm sâu khối lượng liệu cần xử lý Từ giảm thời gian tính tốn, đáp ứng phát triển ứng dụng thời gian thực Tiếp theo, luận án đề xuất phương pháp trích mặt phẳng từ đồ độ sâu sử dụng thuật tốn Lọc gom nhóm hàng xóm (NGaF) có khả giảm độ phức tạp tính tốn tăng tốc độ xử lý Sau đó, luận án đề xuất phương pháp nhận dạng mặt đất áp dụng thuật toán Bản đồ gradient độ sâu (GDM) để khai thác đồ độ sâu Thuật toán nghiên cứu liệu cung cấp máy ảnh màu độ sâu (RGB-D) hệ thống thị giác Mục đích tốn nhận dạng mặt đất phát triển ứng dụng dẫn đường dựa hệ thống thị giác cho hệ rô-bốt di động nhà Luận án đề xuất phương pháp dẫn đường cho rô-bốt môi trường trước dựa việc xác định mặt phẳng đất gọi Luôn di chuyển thẳng tới đích (AMSD) Kế thừa kết nghiên cứu đạt toán nhận dạng mặt phẳng đất, luận án phát triển việc khai thác mặt đất để tìm hướng ngắn tới đích cho trước Ban đầu việc xây dựng mơ hình xe rơ-bốt thích hợp với mơi trường thử nghiệm mà trang bị hệ cảm biến RGB-D Thuật toán tìm mặt đất tích hợp hệ rơ-bốt đáp ứng thời gian thực, giúp cho việc tìm phương hướng cách chắn nhanh chóng Đây giải tránh vật cản trở đạt hiệu cao Kiến nghị nghiên cứu Các kiến nghị nghiên cứu vấn đề hạn chế luận án định hướng hoàn thiện đề tài Tăng cường chất lượng trích xuất mặt phẳng, nhận dạng mặt đất Xây dựng mơ hình 3D theo thời gian thực có độ xác cao Tăng cường khai thác liệu độ sâu kết hợp với luồng liệu màu để mở rộng nhận dạng nhiều loại đối tượng ảnh Nghiên cứu theo định hướng tích hợp mơ hình trí tuệ nhân tạo để giải sâu tốn nhận dạng Tích hợp hiệu hệ thống định vị nhà trời 99 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN A Các cơng trình cơng bố kết trực tiếp luận án D K Hoa, L Dung and N T Dzung, (2013), "Efficient determination of disparity map from stereo images with modified sum of absolute differences (SAD) algorithm", IEEE, 2013 International Conference on Advanced Technologies for Communications (ATC 2013), Ho Chi Minh City, 2013, ISBN Information: Electronic ISBN: 978-1-4799-1089-2, Print ISBN: 978-1-4799-1086-1, CD-ROM ISBN: 978-1-4799-1088-5, ISSN Information: Print ISSN: 2162-1020, Electronic ISSN: 2162-1039, doi: 10.1109/ATC.2013.6698196, http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6698196&isnumber=6698065, pp 657-660 Dang Khanh Hoa, Pham The Cuong, Nguyen Tien Dzung, (2016), “Gradient depth map based ground plane detection for mobile robot applications”, 8th Asian Conference on Intelligent Information and Database Systems, (ACIIDS 2016), Lecture Notes in Artificial Intelligence, Part I (LNAI 9621), subseri of Lecture Notes in Computer Science (LNCS), ISSN 0302-9743, ISBN 978-3-662-49380-9, ISBN 978-3-662-49381-6 (eBook), © Springer-Verlag Berlin Heidelberg 2016, pp 721-729 (ISI Conference Proceedings Citation Index, Scopus, Q1-2016) Dang Khanh Hoa, Bach Ngoc Minh, Nguyen Tien Dzung, (2017), “Effective Method For Detecting Multi Planes From Depth Maps”, VNU Journal of Science: Natural Sciences and Technology, ISSN 0866-8612, vol 33(1), pp 58-66 Dang Khanh Hoa, Pham The Cuong, Nguyen Tien Dzung, (2017), “An Effective Ground Plane Extraction using Depth Map Estimation from a Kinect Devide”, Journal of Science & Technology of Technical Universities, vol 123, ISSN 2354-1083, pp 19-25 Dang Khanh Hoa, Than Viet Duc, Vu Minh Hoang, Vu Song Tung and Nguyen Tien Dzung, (2018), “AN EFFECTIVE DEPTH MAP NAVIGATION FOR MOBILE ROBOT IN INDOOR ENVIRONMENTS”, JP Journal of Heat and Mass Transfer, Special Volume, Issue II, Advances in Mechanical System and ICT-convergence, ISSN: 0973-5763, pp 221 – 237 (Scopus, Q4-2017) Dang Khanh Hoa, Than Viet Duc, Do Trong Anh, Vu Song Tung, Le Dzung, Nguyen Tien Dzung, (2018), “An Improved Navigation Method for Robot in Indoor Dynamic Environment Based on Ground Extraction”, Journal of Science & Technology of Technical Universities, vol 131 (11/2018), ISSN: 2354-1083, pp.062068 100 B Đề tài khoa học công nghệ công bố liên quan đến luận án Chủ nhiệm đề tài KH&CN cấp sở phân cấp mã số T2016-PC-108, (2017), “Nghiên cứu phát triển thuật tốn trích mặt phẳng đất vật cản dựa hệ thống cảm biến kinect ứng dụng hỗ trợ dẫn đường cho rô-bốt di động” 101 TÀI LIỆU THAM KHẢO [1] R R A Bourne and a el, "Magnitude, temporal trends, and projections of the global prevalence of blindness and distance and near vision impairment: a systematic review and meta-analysis," Articles, vol 5, no 9, pp 888-897, 2017 [2] F TR, T N, R S, P E, B A, H SM, N T and N KS, "Global Prevalence of Presbyopia and Vision Impairment from Uncorrected Presbyopia: Systematic Review, Metaanalysis, and Modelling," Ophthalmology, vol 125, no 10, pp 1492-1499, 2018 [3] F Rong, C Du-wu and H Bo, "A Novel Hough Transform Algorithm for Multiobjective Detection," in 2009 Third International Symposium on Intelligent Information Technology Application, Shanghai, 2009 [4] D Borrmann, J Elseberg, K Lingemann and A Nüchter, "The 3D Hough Transform for plane detection in point clouds: A review and a new accumulator design," 3D Research, vol II, no 2, pp 1-13, 2011 [5] Yang, M Ying and W Förstner, "Plane detection in point cloud data," Bonn, Germany, 2010 [6] P Labatut, J.-P Pons and R Keriven, "Hierarchical shape-based surface reconstruction for dense multi-view stereo," in IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops), Kyoto, Japan, 2009 [7] E Bughin, A Almansa, R G v Gioi and Y Tendero, "Fast Plane Detection In Disparity Maps," in Proceedings of 2010 IEEE 17th International Conference on Image Processing, Hong Kong, 2010 [8] L V Hung, V Hai, N T Thuy, L T Lan and T T T Hai, "Table plane detction using geometrical constraints on depth image," in Proceedings of the National conference on Fundamental and applied IT research (FAIR), Hanoi, 2015 [9] V.-H LE, M VLAMINCK, H VU, T.-T NGUYEN, T.-L LE, T.-H TRAN, Q.-H LUONG, P VEELAERT and W PHILIPS, "Real-Time Table Plane Detection Using Accelerometer Information And Organized Point Cloud Data From Kinect Sensor," Journal of Computer Science and Cybernetics, vol 32, no 3, p 243–258, 2016 [10] M Zhang, G Jiang, C Wu and L Quan, "Horizontal plane detection from 3D point clouds of buildings," Electronics letters, vol 48, no 13, pp 764-765, 2012 [11] H Masuta, S Makino and H.-o Lim, "3D plane detection for robot perception applying particle swarm optimization," in 2014 World Automation Congress (WAC), Waikoloa, HI, USA, 2014 102 [12] Bouchafa, Samia, A Patri and B Zavidovique, "Efficient plane detection from a single moving camera," in 2009 16th IEEE International Conference on Image Processing (ICIP), Cairo, Egypt, 2009 [13] H Osian and C Andrew, "Detecting planes and estimating their orientation from a single image," Visual Information Laboratory, University of Bristol, Bristol, 2012 [14] J E Deschaud and F Goulette, "A fast and accurate plane detection algorithm for large noisy point clouds using filtered normals and voxel growing," HAL, Paris, France, 2010 [15] H W Yoo, W H Kim, J W Park, W H Lee and M J Chung, "Real-time plane detection based on depth map from Kinect," in 2013 44th International Symposium on Robotics (ISR), Seoul, South Korea, 2013 [16] F D F., D Scharstein and A J Briggs, "Multiple plane detection in image pairs using j-linkage," in 2010 20th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, 2010 [17] A Hast, J Nysjö and A Marchetti, "Optimal RANSAC – towards a repeatable algorithm for Finding the optimal set," Journal of WSCG, vol 21, no 1, p 21–30, 2013 [18] X Hu, Rodriguez and Gepperth, "A multi-modal system for road detection and segmentation," in 2014 IEEE Intelligent Vehicles Symposium Proceedings, Michigan, USA, 2014 [19] A Sakai, Y Tamura and Y Kuroda, "Visual odometry using feature point and ground plane for urban environment," in 41st International Symposium on and 2010 6th German Conference on Robotics (ROBOTIK), Munich, Germany, 2010 [20] Z Wang and J Zhao, "Optical flow based plane detection for mobile robot navigation," in The 8th World Congress on Intelligent Control and Automation, Taiwan, 2011 [21] A Jamal, P Mishra, S Rakshit, A K Singh and M Kumar, "Real-time ground plane segmentation and obstacle detection for mobile robot navigation," in 2010 International Conference on Emerging Trends in Robotics and Communication Technologies (INTERACT 2010), Chennai, India, 2010 [22] K Gong and R Green, "Ground-plane detection using stereo depth values for wheelchair guidance," in 24th International Conference Image and Vision Computing New Zealand (IVCNZ), Wellington, New Zealand, 2009 [23] H Haberdar and S K Shah, "Disparity Map Refinement for Video Based Scene Change Detection Using a Mobile Stereo Camera Platform," in 2010 20th International Conference on Pattern Recognition, Istanbul, 2010 103 [24] C Teoh, C Tan and Y C Tan, "Ground plane detection for autonomous vehicle in rainforest terrain," in IEEE Conference on Sustainable Utilization and Development in Engineering and Technology (STUDENT), Wellington, New Zealand, 2010 [25] F Tarsha-Kurdi, T Landes and P Grussenmeyer, "Hough-transform and extended ransac algorithms for automatic detection of 3d building roof planes from lidar data," in Proceedings of the ISPRS Workshop on Laser Scanning, Vol 36;, Espoo, Finland, 2007 [26] J Arrospide, L Salgado, M Nieto and R Mohedano, "Homography-based ground plane detection using a single on-board camera," IET Intelligent Transport Systems, vol 4, no 2, p 149–160, 2010 [27] N M M.Elhabiby and N El-Sheimy, "Indoor localization and mapping using camera and inertial measurement unit (IMU)," in 2014 IEEE/ION Position, Location and Navigation Symposium (PLANS 2014), Monterey, CA, USA, 2014 [28] P Mishra, J K Kishore, R Shetty, A Malhotra and R Kukreja, "Monocular vision based real-time exploration in autonomous rovers," in 2013 International Conference on Advances in Computing, Communications and Informatics (ICACCI), Mysore, India, 2013 [29] I FLIR Systems, "ptgrey," [Online] https://www.ptgrey.com/corporate/about-us [Accessed 20 2017] Available: [30] F Endres, J Hess, N Engelhard, J Sturm, D Cremers and W Burgard, "An evaluation of the RGB-D SLAM system," in 2012 IEEE International Conference on Robotics and Automation, Saint Paul, MN, 2012 [31] A S Huang, A Bachrach, P Henry, M Krainin, D Maturana, D Fox and N Roy, "Visual odometry and mapping for autonomous flight using an RGB-D camera," in The 15th International Symposium of Robotics Research (ISRR), 2011 [32] R A Newcombe, S J Lovegrove and A J Davison, "DTAM: Dense tracking and mapping in real-time," in In IEEE Int Conf on Computer Vision (ICCV), Barcelona, Spain, 2011 [33] O Khatib, V Kumar and G Sukhatme, "RGB-D mapping: Using depth cameras for dense 3D modeling of indoor environments," in The 12th International Symposium on Experimental Robotics, 2014 [34] M Daniel, A Hornung and M Bennewitz, "Real-time navigation in 3D environments based on depth camera data," in 2012 12th IEEE-RAS International Conference on Humanoid Robots (Humanoids 2012), Osaka, 2012 104 [35] Z Yong-guo and L G.-l C Wei, "The Navigation of Mobile Robot Based on Stereo Vision," in 2012 Fifth International Conference on Intelligent Computation Technology and Automation, Zhangjiajie, Hunan, 2012 [36] D S O Correa, D F Sciotti, M G Prado and D O Sales, "Mobile robots navigation in indoor environments using kinect sensor," in Second Brazilian Conference on Critical Embedded Systems (CBSEC), 2012 [37] C C Lai and K L Su, "Development of an intelligent mobile robot localization system using Kinect RGB-D mapping and neural network," Computers & Electrical Engineering, vol 67, pp 620-628, 2016 [38] S Prabu and G Hu, "Stereo Vision based Localization of a Robot using Partial Depth Estimation and Particle Filter," in IFAC Proceedings Volumes, 2014 [39] K M I Khalilullah, S Ota, T Yasuda and Mitsuru, "Development of robot navigation method based on single camera vision using deep learning," in 56th Annual Conference of the Society of Instrument and Control Engineers of Japan (SICE), Kanazawa, Japan, 2017 [40] N X Dao, B.-J You and S.-R Oh, "Visual navigation for indoor mobile robots using a single camera," in IEEE/RSJ International Conference on Intelligent Robots and Systems, Edmonton, Alta, 2005 [41] C Georgoulas, G C Sirakoulis and I Andreadis, "Real-time Stereo Vision Applications," Robot Vision, pp 275-292, 2010 [42] N Baha and S Larabi, "Accurate real-time disparity map computation based on variable support window," International Journal of Artificial Intelligence & Applications, vol II, no 3, pp 22-34, 2011 [43] W.-S Jang and Y.-S Ho, " Efficient disparity map estimation using occlusion handling for various 3D multimedia applications," IEEE Transactions, vol 57, no 4, p 1937 – 1943, 2011 [44] Q Lu, S Li and G Yan, "Stereo Vision Navigation of Autonomous Mobile Robot Based on Complex Positioning," Journal of Control Engineering and Technology (JCET), vol 1, no 1, pp 17-22, 2011 [45] C Watman, D Austin, N Barnes, G Overett and S Thompson, "Fast sum of absolute differences visual landmark detector," in IEEE International Conference on Robotics and Automation (ICRA '04) , New Orleans, LA, USA, 2004 [46] O C Gurol, S Oztürk, B Acar, B Sankur and M Guney, "Sparse disparity map estimation on stereo images," EURASIP Journal on Image and Video Processing, vol 2013, no 53, pp 1-12, 2013 105 [47] P KAMENCAY, M BREZNAN and R JARINA, "Improved Depth Map Estimation from Stereo Images Based on Hybrid Method," RADIOENGINEERING, vol 21, no 1, pp 70-78, 2012 [48] D Lowe, "Object Recognition from Local Scale-Invariant Features," in Proceedings of the 7th International Conference on Computer Vision (ICCV'99), Kerkyra, Greece, 1999 [49] S Se, D Lowe and J Little, "Vision-based Mobile Robot Localization and Mapping using Scale-Invariant Features," in Proceedings of the IEEE International Conference on Robotics and Automation 2001 (ICRA '01), Seoul, South Korea, 2001 [50] M A Fischler and R C Bolles, "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM, vol 24, no 6, pp 381-395, 1981 [51] Y Kanazawa and H Kawakam, "Detection of planar regions with uncalibrated stereo using distribution feature points," in British Machine Vision Conference, United Kingdom, 2004 [52] A Toriia and A Imiya, "The randomized-hough-transformbased method for great-circle detection on sphere," Pattern Recognition Letters, vol 28, no 10, p 1186–1192, 2007 [53] E Bughin and A Almansa, "Planar Patch Detection for Disparity Maps," in Proc 3DPVT, 2010 [54] R Hartley and A Zisserman, Multiple View Geometry in Computer Vision, New York, NY, USA: Cambridge University Press, 2003 [55] G Welch and G Bishop, "An Introduction to the Kalman Filter," Report TR 95-041, Department of Computer Science, University of North Carolina at Chapel Hill, Chapel Hill, NC, USA, 2004 [56] J J Leonard and H F Durrant-Whyte, "Simultaneous map building and localization for an autonomous mobile robot," in Proceedings IROS '91:IEEE/RSJ International Workshop on Intelligent Robots and Systems '91, Osaka, Japan, 1991 [57] M W M G Dissanayake, P Newman, S Clark, H F Durrant-Whyte and M Csorba, "A solution to the simultaneous localization and map building (SLAM) problem," IEEE Transactions on Robotics and Automation, vol 17, no 3, pp 229-241, 2001 [58] M Montemerlo, S Thrun, D Koller and B Wegbreit, "FastSLAM: a factored solution to the simultaneous localization and mapping problem," in Proceeding Eighteenth national conference on Artificial intelligence, Edmonton, Alberta, Canada, 2002 106 [59] C Zeng, Q Zhang and X Wei, "Robotic Global Path-Planning Based Modified Genetic Algorithm and A* Algorithm," in 2011 Third International Conference on Measuring Technology and Mechatronics Automation, Shangshai, China, 2011 [60] X Zezhong, L Jilin and X Zhiyu, "Map building and localization using 2d range scanner," in Proceedings 2003 IEEE International Symposium on Computational Intelligence in Robotics and Automation Computational Intelligence in Robotics and Automation for the New Millennium (Cat No.03EX694), Kobe, Japan, 2003 [61] P N Stuart Russell, Artificial Intelligence: A Modern Approach, Upper Saddle River, New Jersey: Prentice Hall, 2003, pp 94-95 [62] J Russell and R Cohn, Dijkstra's Algorithm, Stoughton: Book on Demand, 2012 [63] S K D Disha Sharma, "Anytime A* Algorithm – An Extension to A*," International Journal of Scientific & Engineering Research, vol 4, no 1, pp 1-4, 2013 [64] Z Fang and J Duan, "Obstacle detection for intelligent vehicle based on Lab View and laser measurement system," in Information and Automation (lCIA) 2013 IEEE International Conference, 2013 [65] T F Wu, P S Tsai, N T Hu and J Y Chen, "Use of Ultrasonic Sensors to Enable Wheeled Mobile Robots to Avoid Obstacles," in Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP) 2014 Tenth International Conference, 2014 [66] G Yang, F Chen, W Chen, M Fang, Y.-H Liu and L Li, "A new algorithm for obstacle segmentation in dynamic environments using a RGB-D sensor," in 2016 IEEE International Conference on Real-time Computing and Robotics (RCAR), Angkor Wat, 2016 [67] P Batavia and S Singh, "Obstacle detection using adaptive color segmentation and color stereo homography," in IEEE International Conference on Robotics and Automation (Cat No.01CH37164),, Seoul, South Korea, 2001 [68] Y Zhu, B Yi and T Guo, "A Simple Outdoor Environment Obstacle Detection Method Based on Information Fusion of Depth and Infrared," Journal of Robotics, vol 2016, pp 1-10, 2016 [69] K Yun and J Y Choi, "Robust and fast moving object detection in a non-stationary camera via foreground probability based sampling," in 2015 IEEE International Conference on Image Processing (ICIP) , Quebec City, QC, Canada, 2015 [70] L Kurnianggoro, A Shahbaz and K.-H Jo, "Dense optical flow in stabilized scenes for moving object detection from a moving camera," in 2016 16th International Conference on Control, Automation and Systems (ICCAS), Gyeongju, Korea, 2016 107 [71] R Cheng, K Wang, K Yang and X Zhao, "A ground and obstacle detection algorithm for the visually impaired," in 2015 IET International Conference on Biomedical Image and Signal Processing (ICBISP 2015), Beijing, 2015 [72] J Hernández-Aceituno, R Arnay, J Toledo and L Acosta, "Using Kinect on an Autonomous Vehicle for Outdoors Obstacle Detection," vol 16, no 10, pp 3603-3610, 2016 [73] N A Zainuddin, Y M Mustafah, Y A M S Rashid and N K A M Rashid, "Autonomous Navigation of Mobile Robot Using Kinect Sensor," in International Conference on Computer and Communication Engineering, Kuala Lumpur, 2014 [74] J Xin, X.-L Jiao, Y Yang and D Liu, "Visual navigation for mobile robot with Kinect camera in dynamic environment," in 35th Chinese Control Conference (CCC), Chengdu, 2016 [75] Wikipedia, "Wikimedia Foundation, Inc," Charge-coupled_device, 10 2018 [Online] Available: https://en.wikipedia.org/wiki/Charge-coupled_device [Accessed 30 11 2018] [76] I FLIR Integrated Imaging Solutions, "FLIR Integrated Imaging Solutions, Inc.," Bumblebee2, 2018 [Online] Available: https://www.ptgrey.com/bumblebee2-firewirestereo-vision-camera-systems [Accessed 25 2018] [77] R S Daniel Scharstein, "A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms," International Journal of Computer Vision, vol 47, no 13, p 7–42, 2002 [78] G Bradski and A Kaehler, Learning OpenCV, Sebastopol,: O’Reilly Media, Inc, 2008 [79] i.-A Corporation, i-art3d, 2018 [Online] Available: art3d.com/Eng/About_Depth.htm [Accessed 30 11 2018] http://www.i- [80] R C Gonzalez and R E Woods, Digital Image Processing, Upper Saddle River, New Jersey 07458: Prentice Hall, 2002 [81] S Gupta and S G Mazumdar, "Sobel Edge Detection Algorithm," International Journal of Computer Science and Management Research, vol 2, no 2, pp 1578-1583, 2013 [82] B Mertzios and T K., "Applications of coordinate logic filters in image analysis and pattern recognition," in The 2nd International Symposium on Image and Signal Processing and Analysis, Pula, Croatia, 2001 [83] M College, M Research and t N S Foundation, "middlebury," Middlebury College, [Online] Available: http://vision.middlebury.edu/stereo/data/scenes2005/ [Accessed 23 2017] 108 [84] M College, M Research and t N S Foundation, "middlebury," Middlebury College, [Online] Available: http://vision.middlebury.edu/stereo/data/scenes2006/ [Accessed 25 2017] [85] Yiningkarlli, "blog.yiningkarlli.com," [Online] Available: http://blog.yiningkarlli.com/2010/11/city-street-playing-with-z-depth-andambientocclusion.html [Accessed 27 2015] [86] DeviantArt, "mvramsey.deviantart.com," [Online] Available: http://mvramsey.deviantart.com/art/Vaulted-Cellar-depth-map-429569523 [Accessed 27 2015] [87] Evermotion, "evermotion," [Online] http://www.evermotion.org/tutorials/show/8320/tip-of-the-week-makingofarchmodels-vol-134-cover [Accessed 27 2015] Available: [88] T Foundry, "community.thefoundry.co.uk," [Online] http://community.thefoundry.co.uk/discussion/topic.aspx?f=36&t=48950 27 2015] Available: [Accessed [89] G U.-A Association, "home.unix-ag.org," [Online] Available: http://www.home.unixag.org/simon/files/street-canyon.html [Accessed 27 2015] [90] S Choi, J Park, J Byun and W Yu, "Robust ground plane detection from 3D point clouds," in 14th International Conference on Control, Automation and Systems (ICCAS 2014), Gyeonggi-do, Korea, 2014 [91] O O Ogundana, C R Coggrave, R L Burguete and J M Huntley, "Automated detection of planes in 3-D point clouds using fast Hough transforms," Optical Engineering, vol 50, no 5, p 53609–053609, 2011 [92] D Yiruo, W Wenjia and K Yukihiro, "Complex ground plane detection based on Vdisparity map in off-road environment," in IEEE Intelligent Vehicles Symposium (IV), Gold Coast, Queensland, Australia, 2013 [93] I Wikimedia Foundation, "wikipedia," Wikimedia Foundation, Inc., 2018 [Online] Available: https://en.wikipedia.org/wiki/Kinect [Accessed 25 2017] [94] Microsoft, "msdn," 22 12 2016 [Online] Available: https://msdn.microsoft.com/enus/library/jj131033.aspx [95] J Biswas and M Veloso, "Depth camera based indoor mobile robot localization and navigation," in 2012 IEEE International Conference on Robotics and Automation, Saint Paul, MN, 2012 109 [96] L Stefano, M.Marchionni and S.Mattoccia, "A fast area-based stereo matching algorithm," in Proceedings of the 15th International Conference on Vision Interface, Calgary Canada, 2004 [97] D.Scharstein and R.Szeliski, "A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms," International Journal of Computer Vision, vol 47, no 1, pp 7-42, 2002 [98] V.Venkateswar and R.Chellappa, "Hierarchical Stereo and Motion Correspondence Using Feature Groupings”,," International Journal of Computer Vision, vol 15, no 3, pp 245-269, 1995 [99] D Fleet, "Disparity from local weighted phase-correlation”,," in Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics, San Antonio, TX, USA, 1994 [100] O Montiel-Ross, R Sepulveda, O Castillo and J Quinones, "Efficient Stereoscopic Video Matching and Map Reconstruction for a Wheeled Mobile Robot," International Journal of Advanced Robotic Systems, vol 9, no 4, pp 1-13, 2012 [101] R A Hamzah, H N Rosly and S Hamid, "An Obstacle Detection and Avoidance of A Mobile Robot with Stereo Vision Camera," in 2011 International Conference on Electronic Devices, Systems and Applications (ICEDSA), Kuala Lumpur, 2011 [102] E Bughin, A Almansa, R Gioi and Y Tendero, "Fast plane detection in disparity maps.," in 2010 IEEE International Conference on Image Processing, Hong Kong, China, 2010 [103] K N Al-Mutib, E A Mattar, M M Alsulaiman and H Ramdane, "Stereo Vision SLAM Based Indoor Autonomous Mobile Robot Navigation," in 2014 IEEE International Conference on Robotics and Biomimetics (ROBIO 2014), Bali, Indonesia, 2014 110 ... GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ Ngành: Kỹ thuật. .. cần thiết cho rô- bốt di động 1.2.1 Các hệ thống dẫn đường cho rô- bốt nhà Các hệ thống dẫn đường cho rô- bốt nhà phân thành ba nhóm lớn Điều hướng dựa đồ có sẵn: Đây hệ thống phụ thuộc vào mơ hình... trích xuất mặt phẳng, nhận dạng mặt đất Cuối vấn đề ứng dụng tốn dẫn đường cho rơ -bốt Hệ thống dẫn đường cho rô- bốt nhà Hệ thống dẫn đường thị giác rơ -bốt di động có khả nhận thức để phát môi trường