Nghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác rô bốt trong nhà

Nghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác rô bốt trong nhà Nghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác rô bốt trong nhà luận văn tốt nghiệp thạc sĩ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Hà Nội – 2019 i BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ Ngành: Kỹ thuật điện tử Mã số: 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Nguyễn Tiến Dũng TS Lê Dũng Hà Nội – 2019 ii LỜI CAM ĐOAN Tôi xin cam đoan kết khoa học trình bày luận án thành nghiên cứu thân suốt thời gian làm nghiên cứu sinh chưa xuất công bố tác giả khác Các kết đạt xác trung thực Hà Nội, ngày 11 tháng năm 2019 Tập thể giáo viên hướng dẫn khoa học Tác giả luận án TS Lê D PGS TS Nguyễn Tiến Dũng TS Lê Dũng Đặng Khánh Hòa i LỜI CẢM ƠN Trước hết, xin bày tỏ lời cảm ơn chân thành sâu sắc đến tập thể hướng dẫn PGS TS Nguyễn Tiến Dũng TS Lê Dũng trực tiếp định hướng khoa học trình nghiên cứu Các Thầy dành nhiều thời gian tâm huyết, động viên mặt để tác giả hoàn thành luận án Tác giả xin trân trọng cảm ơn Lãnh đạo trường Đại học Bách Khoa Hà Nội (HUST), Phịng Đào tạo, Viện Điện tử Viễn thơng (SET), Bộ mơn Điện tử Kỹ thuật máy tính TT Đào tạo thực hành tạo điều kiện thuận lợi cho nghiên cứu sinh suốt trình học tập nghiên cứu Chân thành cảm ơn cán bộ, giảng viên, cộng anh chị NCS Viện Điện tử Viễn thông động viên, hỗ trợ tận tình giúp đỡ tác giả trình thực luận án Tác giả cảm ơn chương trình 911, Bộ Giáo dục Đào tạo tài trợ cho nghiên cứu sinh Cảm ơn SET, HUST tài trợ thông qua đề tài nghiên cứu khoa học cấp sở với mã T2016PC-108 Cuối cùng, tơi xin bày tỏ lịng biết ơn đến song thân phụ mẫu, vợ hai thúc đẩy, khích lệ hy sinh nhiều thời gian vừa qua Đây động lực to lớn giúp tác giả vượt qua trở ngại để hoàn thành luận án Tác giả luận án ĐẶNG KHÁNH HÒA ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU .vi DANH MỤC CÁC CHỮ VIẾT TẮT viii DANH MỤC CÁC BẢNG x DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ xi MỞ ĐẦU 1 Tính cấp thiết luận án 1.1 Trích xuất mặt phẳng 1.2 Trích xuất mặt phẳng đất 1.3 Dẫn đường cho rô-bốt nhà Mục tiêu, đối tượng, phương pháp phạm vi nghiên cứu 2.1 Mục tiêu nghiên cứu 2.2 Đối tượng nghiên cứu 2.3 Phương pháp nghiên cứu 2.4 Phạm vi nghiên cứu Ý nghĩa khoa học đóng góp luận án 3.1 Ý nghĩa khoa học 3.2 Các đóng góp khoa học luận án Cấu trúc nội dung luận án 10 CHƯƠNG TỔNG QUAN HỆ THỐNG DẪN ĐƯỜNG CHO RÔ-BỐT DỰA TRÊN HÌNH ẢNH THỊ GIÁC MÁY TÍNH 12 Giới thiệu chương 12 Hệ thống dẫn đường cho rô-bốt nhà 12 1.2.1 Các hệ thống dẫn đường cho rô-bốt nhà 14 1.2.2 Kiến trúc hệ thống dẫn đường rô-bốt sử dụng thị giác máy tính 15 Một số vấn đề hệ thống rô-bốt dẫn đường dựa thị giác 16 1.3.1 Phương pháp tính tốn đồ chênh lệch/độ sâu 16 1.3.2 tính 1.3.3 Phương pháp trích xuất đối tượng mặt phẳng dựa ảnh thị giác máy 19 Phát mặt phẳng đất dựa biến đổi ảnh thị giác 26 iii 1.3.4 Phương pháp dẫn đường cho rô-bốt nhà môi trường chưa biết 36 Tổng kết chương 40 CHƯƠNG PHƯƠNG PHÁP TĂNG TỐC TÍNH TỐN BẢN ĐỒ CHÊNH LỆCH VÀ PHÁT TRIỂN THUẬT TỐN TRÍCH XUẤT MẶT PHẲNG 41 Giới thiệu chương 41 Hệ thống máy ảnh 41 2.2.1 Cảm biến hình ảnh 41 2.2.2 Cấu trúc hệ thống máy ảnh 42 2.2.3 Nguyên lý thị giác 43 2.2.4 Bản đồ độ sâu 45 Phương pháp tăng tốc tính tốn đồ chênh lệch/độ sâu 46 2.3.1 Triển khai tính tốn SAD thơng thường 46 2.3.2 Triển khai tính tốn SAD đề xuất 47 2.3.3 Kết thực thảo luận 49 Nguyên lý trích xuất đối tượng mặt phẳng 53 2.4.1 Độ sâu điểm 53 2.4.2 Khái niệm mặt phẳng thị giác máy tính 54 2.4.3 Khái niệm điểm lân cận hàng xóm 55 Triển khai phương pháp trích xuất đối tượng mặt phẳng 56 2.5.1 Kiến trúc hệ thống xử lý liệu 56 2.5.2 Thuật tốn đề xuất Tạo nhóm hàng xóm kết hợp lọc 57 2.5.3 Kết thực nghiệm thảo luận 60 2.5.4 Kết luận 66 Tổng kết chương 67 CHƯƠNG PHÁT TRIỂN THUẬT TOÁN NHẬN DẠNG MẶT ĐẤT 68 Giới thiệu chương 68 Nguyên lý nhận dạng đối tượng mặt đất 68 Phương pháp nhận đối tượng mặt đất từ ảnh độ sâu chuẩn 70 3.3.1 Kiến trúc hệ thống xử lý liệu 70 3.3.2 Thuật toán đề xuất 71 3.3.3 3.3.4 Kết thực nghiệm thảo luận 75 Kết luận 83 iv Phương pháp nhận dạng đối tượng mặt phẳng đất từ liệu độ sâu thực tế 83 3.4.1 Giới thiệu 83 3.4.2 Kiến trúc hệ thống trích mặt đất từ liệu độ sâu thực tế 85 3.4.3 Kết thực nghiệm thảo luận 86 3.4.4 Kết luận 92 Tổng kết chương 93 CHƯƠNG PHÁT TRIỂN PHƯƠNG PHÁP DẪN ĐƯỜNG CHO RƠBỐT DỰA TRÊN THUẬT TỐN NHẬN DẠNG MẶT ĐẤT 94 Giới thiệu chương 94 Phương pháp dẫn đường sử dụng nhận dạng mặt đất 94 4.2.1 Mơ hình hoạt động rô-bốt nhà 94 4.2.2 4.2.3 sâu Xác định kích thước 2D điểm sâu 95 Phương pháp dẫn đường AMSD đề xuất dựa khai thác liệu độ 96 Kết thực nghiệm phương pháp dẫn đường AMSD dựa nhận dạng mặt đất thảo luận 101 4.3.1 Kết thực nghiệm phương pháp tránh vật cản 102 4.3.2 Kết thực nghiệm phương pháp tránh vật cản cải thiện .104 4.3.3 Kết luận 110 Tổng kết chương 110 KẾT LUẬN VÀ KIẾN NGHỊ 112 Kết luận 112 Kiến nghị nghiên cứu 112 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 113 TÀI LIỆU THAM KHẢO 115 PHỤ LỤC 123 Kịch thực nghiệm .123 Kịch thực nghiệm .126 Kịch thực nghiệm .129 Kịch thực nghiệm .132 v DANH MỤC CÁC KÝ HIỆU Ký hiệu Ý nghĩa A a A’ Accurate Cửa sổ tham chiếu Góc chuyển hướng xe rơ bốt Cửa sổ tìm kiếm Độ xác B Cửa sổ làm mịn Bottom Điểm liền kề C Phép biến Coverage Độ bao phủ d Độ chênh lệch dmax Độ chênh lệch tối đa dmin Độ chênh lệch tối thiểu f Tiêu cự máy ảnh FN FP H Bộ đếm điểm đất không phát Bộ đếm điểm phi đất bị phát sai Ma trận biến đổi phẳng IL Ảnh bên trái IR Ảnh bên phải  Ngưỡng chênh lệch độ sâu hai điểm liền kề K Ma trân hiệu chuẩn máy ảnh L Số điểm tính độ chênh lệch Left Điểm liền kề bên trái maxbias Giới hạn độ lệch n Kích thước tối thiểu mặt phẳng Véc tơ pháp tuyến mặt đất OL Vị trí máy ảnh trái OR Vị trí máy ảnh phải p P Điểm ảnh Tập điểm ảnh PL Điểm phản chiếu điểm p ảnh trái PR Điểm phản chiếu điểm p ảnh phải  Ngưỡng phân biệt khối đất phi đất vi Q Số lượng điểm tính độ chênh lệch hợp lệ R Phép xoay ảnh R1 Right T TN Top TP w Tỷ lệ phần trăm điểm đất phát Tỷ lệ phần trăm điểm mặt đất phát khơng xác Điểm liền kề bên phải Khoảng cách hai máy ảnh máy ảnh với projector Bộ đếm điểm phi đất phát Điểm liền kề Bộ đếm điểm đất phát Kích thước cửa sổ XG Tập hợp điểm có sẵn mặt đất xL Hồnh độ ảnh trái xR Hoành độ ảnh phải z Độ sâu R2 vii DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt Tên tiếng Anh Tên tiếng Việt 2D Two Dimensions Hai chiều 3D Three Dimensions Ba chiều AMDS Always Move Straight to the Thuật tốn Ln di chuyển thẳng Destination tới đích Artificial Neural Network Mạng nơron nhân tạo ANN BP Application Programming Giao diện lập trình ứng dụng Interface Anytime Repairing A* Thuật toán sửa chữa lúc nào* Best First Seaching Thuận tốn tìm kiếm tốt Belief Propagation Thuật toán Lan truyền tin cậy CCD Charge Coupled Device Linh kiện tích điện kép CMOS Oxide Bán dẫn bổ sung xít kim loại DSM Complementary Metal Semiconductor Digital Surface Models DWA Dynamic Window Approach EKF Extended Kalman Filter APIs ARA* BFS Mơ hình bề mặt số Thuật toán tiếp cận cửa sổ động GDM Bộ lọc phi tuyến tính Kalman mở rộng Fast Plane Detection In Disparity Thuật toán Phát mặt phẳng Maps nhanh đồ chênh lệch Fast Sampling Plane Filtering Thuật toán Lọc mặt phẳng lấy mẫu nhanh Gradient Depth Map Thuật toán Gradien đồ độ sâu GPS Global Positioning System Hệ thống định vị toán cầu HSAD Hybrid SAD SAD lai HSBSR HT Hierarchical Shape-Based Surface Thuật tốn tái tạo bề mặt dựa Reconstruction hình dạng phân cấp Hough Transform Thuật toán Biến đổi Hough ICP Iterative Closest Point Thuật toán điểm gần lặp lại LRF Laser Range Finder Xác định phạm vi tia laser LSD Line Segment Detector Bộ phát đoạn thẳng MDL Minimum Description Length Thuật tốn Độ dài mơ tả tối thiểu FPDIDM FSPF viii ... QUAN HỆ THỐNG DẪN ĐƯỜNG CHO RÔ-BỐT DỰA TRÊN HÌNH ẢNH THỊ GIÁC MÁY TÍNH 12 Giới thiệu chương 12 Hệ thống dẫn đường cho rô- bốt nhà 12 1.2.1 Các hệ thống dẫn đường cho rô- bốt nhà. .. GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ Ngành: Kỹ thuật điện... trích xuất mặt phẳng, nhận dạng mặt đất Cuối vấn đề ứng dụng toán dẫn đường cho rô- bốt Hệ thống dẫn đường cho rô- bốt nhà Hệ thống dẫn đường thị giác rơ -bốt di động có khả nhận thức để phát môi