Luận án tiến sĩ nghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác rôbốt trong nhà

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Hà Nội – 2019 i BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ Ngành: Kỹ thuật điện tử Mã số: 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Nguyễn Tiến Dũng TS Lê Dũng Hà Nội – 2019 ii LỜI CAM ĐOAN Tôi xin cam đoan kết khoa học trình bày luận án thành nghiên cứu thân suốt thời gian làm nghiên cứu sinh chưa xuất công bố tác giả khác Các kết đạt xác trung thực Hà Nội, ngày 11 tháng năm 2019 Tập thể giáo viên hướng dẫn khoa học Tác giả luận án TS Lê D PGS TS Nguyễn Tiến Dũng TS Lê Dũng Đặng Khánh Hòa i LỜI CẢM ƠN Trước hết, xin bày tỏ lời cảm ơn chân thành sâu sắc đến tập thể hướng dẫn PGS TS Nguyễn Tiến Dũng TS Lê Dũng trực tiếp định hướng khoa học trình nghiên cứu Các Thầy dành nhiều thời gian tâm huyết, động viên mặt để tác giả hoàn thành luận án Tác giả xin trân trọng cảm ơn Lãnh đạo trường Đại học Bách Khoa Hà Nội (HUST), Phịng Đào tạo, Viện Điện tử Viễn thơng (SET), Bộ mơn Điện tử Kỹ thuật máy tính TT Đào tạo thực hành tạo điều kiện thuận lợi cho nghiên cứu sinh suốt trình học tập nghiên cứu Chân thành cảm ơn cán bộ, giảng viên, cộng anh chị NCS Viện Điện tử Viễn thông động viên, hỗ trợ tận tình giúp đỡ tác giả trình thực luận án Tác giả cảm ơn chương trình 911, Bộ Giáo dục Đào tạo tài trợ cho nghiên cứu sinh Cảm ơn SET, HUST tài trợ thông qua đề tài nghiên cứu khoa học cấp sở với mã T2016PC-108 Cuối cùng, tơi xin bày tỏ lịng biết ơn đến song thân phụ mẫu, vợ hai thúc đẩy, khích lệ hy sinh nhiều thời gian vừa qua Đây động lực to lớn giúp tác giả vượt qua trở ngại để hoàn thành luận án Tác giả luận án ĐẶNG KHÁNH HÒA ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU vi DANH MỤC CÁC CHỮ VIẾT TẮT viii DANH MỤC CÁC BẢNG x DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ xi MỞ ĐẦU 1 Tính cấp thiết luận án 1.1 Trích xuất mặt phẳng 1.2 Trích xuất mặt phẳng đất 1.3 Dẫn đường cho rô-bốt nhà Mục tiêu, đối tượng, phương pháp phạm vi nghiên cứu 2.1 Mục tiêu nghiên cứu 2.2 Đối tượng nghiên cứu 2.3 Phương pháp nghiên cứu 2.4 Phạm vi nghiên cứu Ý nghĩa khoa học đóng góp luận án 3.1 Ý nghĩa khoa học 3.2 Các đóng góp khoa học luận án Cấu trúc nội dung luận án 10 CHƯƠNG TỔNG QUAN HỆ THỐNG DẪN ĐƯỜNG CHO RƠ-BỐT DỰA TRÊN HÌNH ẢNH THỊ GIÁC MÁY TÍNH 12 Giới thiệu chương 12 Hệ thống dẫn đường cho rô-bốt nhà 12 1.2.1 Các hệ thống dẫn đường cho rô-bốt nhà 14 1.2.2 Kiến trúc hệ thống dẫn đường rơ-bốt sử dụng thị giác máy tính .15 Một số vấn đề hệ thống rô-bốt dẫn đường dựa thị giác 16 1.3.1 Phương pháp tính toán đồ chênh lệch/độ sâu 16 1.3.2 Phương pháp trích xuất đối tượng mặt phẳng dựa ảnh thị giác máy tính 19 1.3.3 Phát mặt phẳng đất dựa biến đổi ảnh thị giác .26 iii 1.3.4 Phương pháp dẫn đường cho rô-bốt nhà môi trường chưa biết 36 Tổng kết chương 40 CHƯƠNG PHƯƠNG PHÁP TĂNG TỐC TÍNH TỐN BẢN ĐỒ CHÊNH LỆCH VÀ PHÁT TRIỂN THUẬT TỐN TRÍCH XUẤT MẶT PHẲNG 41 Giới thiệu chương 41 Hệ thống máy ảnh 41 2.2.1 Cảm biến hình ảnh 41 2.2.2 Cấu trúc hệ thống máy ảnh 42 2.2.3 Nguyên lý thị giác 43 2.2.4 Bản đồ độ sâu 45 Phương pháp tăng tốc tính tốn đồ chênh lệch/độ sâu 46 2.3.1 Triển khai tính tốn SAD thơng thường 46 2.3.2 Triển khai tính tốn SAD đề xuất 47 2.3.3 Kết thực thảo luận 49 Nguyên lý trích xuất đối tượng mặt phẳng 53 2.4.1 Độ sâu điểm 53 2.4.2 Khái niệm mặt phẳng thị giác máy tính 54 2.4.3 Khái niệm điểm lân cận hàng xóm 55 Triển khai phương pháp trích xuất đối tượng mặt phẳng 56 2.5.1 Kiến trúc hệ thống xử lý liệu 56 2.5.2 Thuật tốn đề xuất Tạo nhóm hàng xóm kết hợp lọc .57 2.5.3 Kết thực nghiệm thảo luận 60 2.5.4 Kết luận 66 Tổng kết chương 67 CHƯƠNG PHÁT TRIỂN THUẬT TOÁN NHẬN DẠNG MẶT ĐẤT 68 Giới thiệu chương 68 Nguyên lý nhận dạng đối tượng mặt đất 68 Phương pháp nhận đối tượng mặt đất từ ảnh độ sâu chuẩn 70 3.3.1 Kiến trúc hệ thống xử lý liệu 70 3.3.2 Thuật toán đề xuất 71 3.3.3 Kết thực nghiệm thảo luận 75 3.3.4 Kết luận 83 iv Phương pháp nhận dạng đối tượng mặt phẳng đất từ liệu độ sâu thực tế 83 3.4.1 Giới thiệu 83 3.4.2 3.4.3 3.4.4 Kiến trúc hệ thống trích mặt đất từ liệu độ sâu thực tế .85 Kết thực nghiệm thảo luận 86 Kết luận 92 Tổng kết chương 93 CHƯƠNG PHÁT TRIỂN PHƯƠNG PHÁP DẪN ĐƯỜNG CHO RƠBỐT DỰA TRÊN THUẬT TỐN NHẬN DẠNG MẶT ĐẤT 94 Giới thiệu chương 94 Phương pháp dẫn đường sử dụng nhận dạng mặt đất 94 4.2.1 Mơ hình hoạt động rơ-bốt nhà 94 4.2.2 Xác định kích thước 2D điểm sâu 95 4.2.3 Phương pháp dẫn đường AMSD đề xuất dựa khai thác liệu độ sâu 96 Kết thực nghiệm phương pháp dẫn đường AMSD dựa nhận dạng mặt đất thảo luận 101 4.3.1 Kết thực nghiệm phương pháp tránh vật cản 102 4.3.2 Kết thực nghiệm phương pháp tránh vật cản cải thiện .104 4.3.3 Kết luận 110 Tổng kết chương 110 KẾT LUẬN VÀ KIẾN NGHỊ 112 Kết luận 112 Kiến nghị nghiên cứu 112 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 113 TÀI LIỆU THAM KHẢO 115 PHỤ LỤC 123 Kịch thực nghiệm 123 Kịch thực nghiệm 126 Kịch thực nghiệm 129 Kịch thực nghiệm 132 v DANH MỤC CÁC KÝ HIỆU Ký hiệu Ý nghĩa A a A’ Accurate B Cửa sổ tham chiếu Góc chuyển hướng xe rơ bốt Cửa sổ tìm kiếm Độ xác Cửa sổ làm mịn Bottom Điểm liền kề C Coverage d dmax Phép biến Độ bao phủ Độ chênh lệch Độ chênh lệch tối đa dmin Độ chênh lệch tối thiểu f Tiêu cự máy ảnh FN FP H IL Bộ đếm điểm đất không phát Bộ đếm điểm phi đất bị phát sai Ma trận biến đổi phẳng Ảnh bên trái IR Ảnh bên phải Ngưỡng chênh lệch độ sâu hai điểm liền kề K Ma trân hiệu chuẩn máy ảnh L Left Số điểm tính độ chênh lệch Điểm liền kề bên trái maxbias Giới hạn độ lệch n OL Kích thước tối thiểu mặt phẳng Véc tơ pháp tuyến mặt đất Vị trí máy ảnh trái OR Vị trí máy ảnh phải p P PL Điểm ảnh Tập điểm ảnh Điểm phản chiếu điểm p ảnh trái PR Điểm phản chiếu điểm p ảnh phải Ngưỡng phân biệt khối đất phi đất vi Q R Số lượng điểm tính độ chênh lệch hợp lệ Phép xoay ảnh R1 Tỷ lệ phần trăm điểm đất phát R2 Right T TN Top TP w XG Tỷ lệ phần trăm điểm mặt đất phát khơng xác Điểm liền kề bên phải Khoảng cách hai máy ảnh máy ảnh với projector Bộ đếm điểm phi đất phát Điểm liền kề Bộ đếm điểm đất phát Kích thước cửa sổ Tập hợp điểm có sẵn mặt đất xL Hồnh độ ảnh trái xR Hoành độ ảnh phải z Độ sâu vii DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt Tên tiếng Anh Tên tiếng Việt 2D Two Dimensions Hai chiều 3D Three Dimensions Ba chiều AMDS Always Move Straight to the Destination Artificial Neural Network Thuật toán Ln di chuyển thẳng tới đích Mạng nơron nhân tạo ANN APIs BP Application Programming Giao diện lập trình ứng dụng Interface Anytime Repairing A* Thuật toán sửa chữa lúc nào* Best First Seaching Thuận tốn tìm kiếm tốt Belief Propagation Thuật toán Lan truyền tin cậy CCD Charge Coupled Device CMOS DSM Complementary Metal Oxide Bán dẫn bổ sung xít kim loại Semiconductor Digital Surface Models Mơ hình bề mặt số DWA Dynamic Window Approach Thuật toán tiếp cận cửa sổ động EKF Extended Kalman Filter FPDIDM FSPF Fast Plane Detection In Disparity Maps Fast Sampling Plane Filtering GDM Gradient Depth Map Bộ lọc phi tuyến tính Kalman mở rộng Thuật tốn Phát mặt phẳng nhanh đồ chênh lệch Thuật toán Lọc mặt phẳng lấy mẫu nhanh Thuật toán Gradien đồ độ sâu GPS Global Positioning System Hệ thống định vị toán cầu HSAD Hybrid SAD SAD lai HSBSR HT Hierarchical Shape-Based Surface Reconstruction Hough Transform Thuật toán tái tạo bề mặt dựa hình dạng phân cấp Thuật toán Biến đổi Hough ICP Iterative Closest Point Thuật toán điểm gần lặp lại LRF Laser Range Finder Xác định phạm vi tia laser LSD Line Segment Detector Bộ phát đoạn thẳng MDL Minimum Description Length Thuật tốn Độ dài mơ tả tối thiểu ARA* BFS Linh kiện tích điện kép viii