Nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN QUỐC HÙNG NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội − 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN QUỐC HÙNG NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ Chuyên ngành: Khoa học Máy tính Mã số chuyên ngành: 62480101 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Trần Thị Thanh Hải PGS.TS Nguyễn Quang Hoan Hà Nội −2017 LỜI CAM ĐOAN Tôi xin cam đoan luận án: “Nghiên cứu phát triển số kỹ thuật định vị dựa hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị” cơng trình nghiên cứu riêng Một phần số liệu, kết trình bày luận án trung thực, cơng bố tạp chí khoa học chun ngành Kỷ yếu Hội nghị khoa học nước quốc tế Phần lại luận án chưa cơng bố cơng trình nghiên cứu Hà Nội, ngày 20 tháng năm 2017 TẬP THỂ HƯỚNG DẪN KHOA HỌC TS Trần Thị Thanh Hải NGHIÊN CỨU SINH PGS.TS Nguyễn Quang Hoan i Nguyễn Quốc Hùng LỜI CẢM ƠN Luận án tiến sĩ thực Viện Nghiên cứu Quốc tế MICA, trường Đại học Bách khoa Hà Nội hướng dẫn khoa học TS Trần Thị Thanh Hải PGS.TS Nguyễn Quang Hoan Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới thầy, cô định hướng khoa học; nhà khoa học, tác giả công trình trích dẫn; cung cấp nguồn tư liệu q báu q trình nghiên cứu hồn thành luận án Nghiên cứu sinh trân trọng cảm ơn Viện Nghiên cứu Quốc tế đa phương tiện MICA; Viện Đào tạo sau Đại học Trường Đại học Bách Khoa Hà Nội; GS.TS Phạm Thị Ngọc Yến; GS.TS Eric Castelli; đề tài KHCN tiềm mã số: KC.01.TN19/11-15, đề tài VLIR mã số: ZEIN2012RIP19; đề tài hợp tác Việt - Bỉ mã số: FWO.102.2013.08; Quỹ phát triển KH&CN quốc gia Việt Nam; Trường THCS Nguyễn Đình Chiểu Hà Nội; nhóm nghiên cứu IPI Đại học GENT Vương quốc Bỉ tạo điều kiện thuận lợi thời gian, địa điểm thực tập, trang thiết bị, hỗ trợ mặt nhân lực để NCS thực việc thu thập liệu, thực nghiệm kết nghiên cứu Nghiên cứu sinh xin bày tỏ biết ơn tới Ban giám hiệu Trường Cao đẳng Y tế Thái Nguyên; gia đình đồng nghiệp động viên khích lệ, tạo điều kiện thuận lợi để NCS yên tâm công tác học tập Hà Nội, ngày 20 tháng năm 2017 NGHIÊN CỨU SINH Nguyễn Quốc Hùng ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT vii DANH MỤC CÁC BẢNG ix DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ xv MỞ ĐẦU 1 TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP NGƯỜI KHIẾM THỊ 1.1 Đặt vấn đề 1.2 Các nghiên cứu liên quan 4 1.2.1 Các nghiên cứu giới 1.2.1.1 Siêu âm 1.2.1.2 1.2.1.3 1.2.1.4 Hồng ngoại Laser Camera 7 1.2.1.5 Đa cảm biến Các nghiên cứu nước 11 1.2.3 Thảo luận 1.3 Mục tiêu nghiên cứu phương pháp đề xuất 1.3.1 Mục tiêu phạm vi nghiên cứu 12 13 13 1.3.2 Phương pháp đề xuất 1.4 Kết luận chương 13 14 BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ 2.1 Giới thiệu chung 15 15 2.2 Những nghiên cứu liên quan 2.2.1 Hướng tiếp cận sử dụng đồ số liệu 16 16 1.2.2 2.2.2 2.2.3 2.2.4 Hướng tiếp cận sử dụng đồ topo Hướng tiếp cận lai Thảo luận iii 18 20 21 2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường 23 2.4 Phương pháp xây dựng đồ môi trường 2.4.1 Xây dựng đồ số liệu 2.4.1.1 Phương pháp đo hành trình hình ảnh sử dụng mơ 24 24 hình khơng chắn Thích nghi VO cho mơi trường nhà 25 28 2.4.1.2 2.4.2 Xây dựng đồ topo 30 2.4.2.1 Giải thuật FAB-MAP 31 2.4.2.2 Thích nghi cải thiện FAB-MAP xây dựng đồ topo 40 2.4.3 Bổ sung thông tin đối tượng vật cản tĩnh đồ 2.5 Phương pháp định vị 45 45 2.6 Kết thực nghiệm 2.6.1 Môi trường đánh giá 2.6.2 Thu thập liệu đánh giá 46 46 47 2.6.2.1 Hệ thống thu thập liệu 2.6.2.2 Thu thập liệu Kết đánh giá 47 48 49 2.6.3.1 2.6.3.2 Đánh giá phương pháp xây dựng đồ số liệu Đánh giá phương pháp định vị hình ảnh 49 54 2.7 Kết luận chương 60 PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN 3.1 Định nghĩa toán thách thức 3.2 Những nghiên cứu liên quan 61 61 62 2.6.3 3.2.1 Các phương pháp sử dụng 01 camera 3.2.1.1 Hướng nghiên cứu sử dụng stereo camera 62 63 3.2.1.2 Hướng nghiên cứu sử dụng cảm biến Kinect 3.2.1.3 Phân tích đánh giá phương pháp 3.3 Đề xuất phương pháp phát ước lượng khoảng cách 65 66 67 3.4 Phát vật cản 3.4.1 Phát vật cản cố định 68 68 3.4.1.1 3.4.1.2 3.4.1.3 Đối sánh điểm đặc trưng Phát vật cản từ kết đối sánh Xác định vùng chứa đối tượng 69 72 75 Phát vật cản động 3.4.2.1 Trích chọn đặc trưng HoG 3.4.2.2 Bộ phân loại SVM 76 76 77 3.5 Ước lượng khoảng cách vật cản 3.5.1 Nguyên lý ước lượng khoảng cách 78 78 3.4.2 iv 3.5.2 Xây dựng đồ chênh lệch 80 3.5.2.1 3.5.2.2 3.5.2.3 Thu thập liệu Hiệu chỉnh hình ảnh Đối sánh hình ảnh 81 81 85 3.5.2.4 Tính tốn độ sâu 3.6 Kết đánh giá 85 89 3.6.1 3.6.2 3.6.3 Xây dựng sở liệu vật cản Đánh giá giải thuật phát đối tượng Đánh giá giải thuật ước lượng khoảng cách vật cản 89 91 94 3.7 Kết luận chương 99 PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG 100 4.1 Hệ thống tích hợp 100 4.1.1 Tích hợp phần cứng 100 4.1.2 Kiến trúc tổng thể 102 4.2 Phát triển hệ thống dẫn đường sử dụng robot 103 4.2.1 4.2.2 Tìm đường cho robot 103 Điều khiển robot 104 4.2.2.1 Điều khiển trực tiếp dựa đường xác định 104 4.2.2.2 Điều khiển theo dự báo hiệu chỉnh vị trí lọc Kalman 106 4.2.3 Tương tác người - robot 112 4.3 Thử nghiệm đánh giá hệ thống dẫn đường 113 4.3.1 Mơi trường quy trình thử nghiệm 113 4.3.1.1 4.3.1.2 4.3.2 Môi trường thử nghiệm 113 Quy trình thử nghiệm 116 Kết thực nghiệm 117 4.3.2.1 Đánh giá khả xác định vị trí xuất phát robot 117 4.3.2.2 Đánh giá khả điều khiển robot 118 4.3.2.3 4.3.2.4 Đánh giá khả tương tác người - robot 120 Đánh giá hệ thống dẫn đường trợ giúp NKT robot 122 4.3.3 Bàn luận hệ thống robot dẫn đường 131 4.4 Kết luận chương 133 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 134 TÀI LIỆU THAM KHẢO 137 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 150 PHỤ LỤC 153 v A MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG 153 A.1 Đặc trưng Harris Corner 153 A.2 Đặc trưng SIFT 155 A.3 Đặc trưng SURF 159 A.4 Đặc trưng GIST 165 A.5 Đặc trưng HoG 167 A.6 Đặc trưng Haar 172 B ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL 175 B.1 Giới thiệu CSDL thử nghiệm 175 B.2 Khung nhận dạng đối tượng tổng quát 179 B.3 Độ đo đánh giá 184 B.4 Kết đánh giá 185 C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU 190 C.1 Xe camera thu thập liệu 190 C.2 Hiệu chỉnh camera góc rộng 193 C.3 Robot PC-Bot914 195 vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT TT 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 Viết tắt AM AP BOW CSDL ED FAB-MAP FLANN FN FP GPS HOG HSI KF KH&CN k-NN LASER LATS LIDAR MICA MUT NCS NĐC NKT PUT RANSAC RFID RGB RMSE SAD SIFT SLAM SURF SVM TP TQB VO WIFI Nghĩa đầy đủ (tiếng Việt/tiếng Anh) Appearance based Mapping Average Precision Bag of Words Cơ sở liệu Euclidean Distance Fast Appearance Based Mapping Fast Library for Approximate Nearest Neighbors False Negative False Positive Global Positioning System Histogram of Oriented Gradients Hue Saturation and Intensity Kalman Filter Khoa học Công nghệ K-Nearest Neighbors Light Amplification by Stimulated Emission of Radiation Luận án tiến sĩ Light Detection And Ranging Multimedia, Information, Communication & Applications Motion Uncertainty Tetragon Nghiên cứu sinh Nguyễn Đình Chiểu Người khiếm thị Perspective Uncertainty Tetragons RANdom SAmple Consensus Radio Frequency Identification Red Green and Blue Root Mean Square Error Sum of Absolute Differences Scale Invariant Feature Transforms Simultaneous Localization and Mapping Speeded Up Robust Features Support Vector Machine True Positive Tạ Quang Bửu Visual Odometry Wireless Fidelity vii DANH MỤC CÁC BẢNG Bảng 2.1 Bảng tổng hợp thông tin 03 môi trường thử nghiệm 47 Bảng 2.2 Tốc độ lấy mẫu (fps) camera môi trường thử nghiệm 48 Bảng 2.3 Dữ liệu thu thập E1:NĐC 48 Bảng 2.4 Dữ liệu thu thập E2:TQB 48 Bảng 2.5 Dữ liệu thu thập E3:MICA 48 Bảng 2.6 Kết đánh giá RMSE E1:NĐC 49 Bảng 2.7 Kết đánh giá độ sai số tiêu chuẩn RMSE E2:TQB 51 Bảng 2.8 Kết đánh giá độ sai số tiêu chuẩn RMSE E3:MICA 53 Bảng 2.9 So sánh khả định vị giải thuật FAB-MAP* E1:NĐC 55 Bảng 2.10 Kết đánh giá so sánh giải thuật định vị FAB-MAP* E2:TQB 57 Bảng 2.11 Kết đánh giá so sánh giải thuật định vị FAB-MAP* E3:MICA 58 Bảng 3.1 Kết thu nhận liệu khung cảnh/đường phục vụ đánh giá 89 Bảng 3.2 Thu thập liệu đánh giá phát ước lượng khoảng cách vật cản 91 Bảng 3.3 Kết phát đối tượng theo phương pháp đề xuất 92 Bảng 3.4 Kết phát đánh giá so sánh với phương pháp Haar-AdaBoost 92 Bảng 3.5 Kết dự đoán độ sai số ước lượng khoảng cách vật cản 95 Bảng 4.1 Danh sách tham gia thử nghiệm dẫn đường E1:NĐC 113 Bảng 4.2 Danh sách tham gia đánh giá hệ thống dẫn đường E2:TQB Bảng 4.3 Danh sách tham gia đánh giá hệ thống dẫn đường E3:MICA 115 Bảng 4.4 Kết đánh giá điểm xuất phát robot 118 Bảng 4.5 Kết đánh giá vai trò lọc Kalman điều khiển robot 119 Bảng 4.6 Kết sai số định vị sử dụng sai số trung vị 119 viii 114 ... GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN QUỐC HÙNG NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ Chuyên... cam đoan luận án: ? ?Nghiên cứu phát triển số kỹ thuật định vị dựa hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị? ?? cơng trình nghiên cứu riêng tơi Một phần số liệu, kết trình bày luận... giúp dẫn đường hiệu thân thiện trợ giúp NKT chủ đề đầy thách thức, động lực để NCS thực đề tài: ? ?Nghiên cứu phát triển số kỹ thuật định vị dựa hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm