Luận án nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị

MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT vii DANH MỤC CÁC BẢNG ix DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ xv MỞ ĐẦU 1 TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP NGƯỜI KHIẾM THỊ 1.1 Đặt vấn đề 1.2 Các nghiên cứu liên quan 4 1.2.1 Các nghiên cứu giới 1.2.1.1 Siêu âm 1.2.1.2 1.2.1.3 1.2.1.4 Hồng ngoại Laser Camera 7 1.2.1.5 Đa cảm biến Các nghiên cứu nước 10 1.2.3 Thảo luận 1.3 Mục tiêu nghiên cứu phương pháp đề xuất 1.3.1 Mục tiêu phạm vi nghiên cứu 11 12 12 1.3.2 Phương pháp đề xuất 1.4 Kết luận chương 12 13 BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ 2.1 Giới thiệu chung 14 14 2.2 Những nghiên cứu liên quan 2.2.1 Hướng tiếp cận sử dụng đồ số liệu 15 15 1.2.2 2.2.2 2.2.3 2.2.4 Hướng tiếp cận sử dụng đồ topo Hướng tiếp cận lai Thảo luận iii 17 19 21 2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường 22 2.4 Phương pháp xây dựng đồ môi trường 2.4.1 Xây dựng đồ số liệu 2.4.1.1 Phương pháp đo hành trình hình ảnh sử dụng mơ 23 23 hình khơng chắn Thích nghi VO cho môi trường nhà 24 27 2.4.1.2 2.4.2 Xây dựng đồ topo 29 2.4.2.1 Giải thuật FAB-MAP 30 2.4.2.2 Thích nghi cải thiện FAB-MAP xây dựng đồ topo 39 2.4.3 Bổ sung thông tin đối tượng vật cản tĩnh đồ 2.5 Phương pháp định vị 44 44 2.6 Kết thực nghiệm 2.6.1 Môi trường đánh giá 2.6.2 Thu thập liệu đánh giá 45 45 46 2.6.2.1 Hệ thống thu thập liệu 2.6.2.2 Thu thập liệu Kết đánh giá 46 47 48 2.6.3.1 2.6.3.2 Đánh giá phương pháp xây dựng đồ số liệu Đánh giá phương pháp định vị hình ảnh 48 53 2.7 Kết luận chương 59 PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN 3.1 Định nghĩa toán thách thức 3.2 Những nghiên cứu liên quan 60 60 61 2.6.3 3.2.1 Các phương pháp sử dụng 01 camera 3.2.1.1 Hướng nghiên cứu sử dụng stereo camera 61 62 3.2.1.2 Hướng nghiên cứu sử dụng cảm biến Kinect 3.2.1.3 Phân tích đánh giá phương pháp 3.3 Đề xuất phương pháp phát ước lượng khoảng cách 64 65 66 3.4 Phát vật cản 3.4.1 Phát vật cản cố định 67 67 3.4.1.1 3.4.1.2 3.4.1.3 Đối sánh điểm đặc trưng Phát vật cản từ kết đối sánh Xác định vùng chứa đối tượng 68 71 74 Phát vật cản động 3.4.2.1 Trích chọn đặc trưng HoG 3.4.2.2 Bộ phân loại SVM 75 75 76 3.5 Uớc lượng khoảng cách vật cản 3.5.1 Nguyên lý ước lượng khoảng cách 77 77 3.4.2 iv 3.5.2 Xây dựng đồ chênh lệch 79 3.5.2.1 3.5.2.2 3.5.2.3 Thu thập liệu Hiệu chỉnh hình ảnh Đối sánh hình ảnh 80 80 84 3.5.2.4 Tính tốn độ sâu 3.6 Kết đánh giá 86 88 3.6.1 3.6.2 3.6.3 Xây dựng sở liệu vật cản Đánh giá giải thuật phát đối tượng Đánh giá giải thuật ước lượng khoảng cách vật cản 88 90 93 3.7 Kết luận chương 98 PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG 4.1 Hệ thống tích hợp 4.1.1 Tích hợp phần cứng 99 99 99 4.1.2 Kiến trúc tổng thể 101 4.2 Phát triển hệ thống dẫn đường sử dụng robot 102 4.2.1 4.2.2 Tìm đường cho robot 102 Điều khiển robot 103 4.2.2.1 Điều khiển trực tiếp dựa đường xác định 103 4.2.2.2 Điều khiển theo dự báo hiệu chỉnh vị trí lọc Kalman 105 4.2.3 Tương tác người-robot 111 4.3 Thử nghiệm đánh giá hệ thống dẫn đường 112 4.3.1 Môi trường quy trình thử nghiệm 112 4.3.1.1 4.3.1.2 4.3.2 Môi trường thử nghiệm 112 Quy trình thử nghiệm 115 Kết thực nghiệm 116 4.3.2.1 Đánh giá khả xác định vị trí xuất phát robot 116 4.3.2.2 Đánh giá khả điều khiển robot 117 4.3.2.3 4.3.2.4 Đánh giá khả tương tác người-robot 119 Đánh giá hệ thống dẫn đường trợ giúp NKT robot 121 4.3.3 Bàn luận hệ thống robot dẫn đường 130 4.4 Kết luận chương 132 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 133 TÀI LIỆU THAM KHẢO 136 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 148 PHỤ LỤC 151 v A MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG 151 A.1 Đặc trưng Harris Corner 151 A.2 Đặc trưng SIFT 153 A.3 Đặc trưng SURF 157 A.4 Đặc trưng GIST 163 A.5 Đặc trưng HoG 165 A.6 Đặc trưng Haar 170 B ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL 173 B.1 Giới thiệu CSDL thử nghiệm 173 B.2 Khung nhận dạng đối tượng tổng quát 177 B.3 Độ đo đánh giá 182 B.4 Kết đánh giá 183 C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU 188 C.1 Xe camera thu thập liệu 188 C.2 Hiệu chỉnh camera góc rộng 191 C.3 Robot PC-Bot914 193 vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT TT 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 Viết tắt AM AP BOW CSDL ED FAB-MAP FLANN FN FP GPS HOG HSI KF KH&CN k-NN LASER LATS LIDAR MICA MUT NCS NĐC NKT PUT RANSAC RFID RGB RMSE SAD SIFT SLAM SURF SVM TP TQB VO WIFI Nghĩa đầy đủ (tiếng Việt/tiếng Anh) Appearance based Mapping Average Precision Bag of Words Cơ sở liệu Euclidean Distance Fast Appearance Based Mapping Fast Library for Approximate Nearest Neighbors False Negative False Positive Global Positioning System Histogram of Oriented Gradients Hue Saturation and Intensity Kalman Filter Khoa học Công nghệ K-Nearest Neighbors Light Amplification by Stimulated Emission of Radiation Luận án tiến sĩ Light Detection And Ranging Multimedia, Information, Communication & Applications Motion Uncertainty Tetragon Nghiên cứu sinh Nguyễn Đình Chiểu Người khiếm thị Perspective Uncertainty Tetragons RANdom SAmple Consensus Radio Frequency Identification Red Green and Blue Root Mean Square Error Sum of Absolute Differences Scale Invariant Feature Transforms Simultaneous Localization and Mapping Speeded Up Robust Features Support Vector Machine True Positive Tạ Quang Bửu Visual Odometry Wireless Fidelity vii DANH MỤC CÁC BẢNG Bảng 2.1 Bảng tổng hợp thông tin 03 môi trường thử nghiệm 46 Bảng 2.2 Tốc độ lấy mẫu (fps) camera môi trường thử nghiệm 47 Bảng 2.3 Dữ liệu thu thập E1:NĐC 47 Bảng 2.4 Dữ liệu thu thập E2:TQB 47 Bảng 2.5 Dữ liệu thu thập E3:MICA 47 Bảng 2.6 Kết đánh giá RMSE E1:NĐC 48 Bảng 2.7 Kết đánh giá độ sai số tiêu chuẩn RMSE E2:TQB 50 Bảng 2.8 Kết đánh giá độ sai số tiêu chuẩn RMSE E3:MICA 52 Bảng 2.9 So sánh khả định vị giải thuật FAB-MAP* E1:NĐC 54 Bảng 2.10 Kết đánh giá so sánh giải thuật định vị FAB-MAP* E2:TQB 56 Bảng 2.11 Kết đánh giá so sánh giải thuật định vị FAB-MAP* E3:MICA 57 Bảng 3.1 Kết thu nhận liệu khung cảnh/đường phục vụ đánh giá 88 Bảng 3.2 Thu thập liệu đánh giá phát ước lượng khoảng cách vật cản 90 Bảng 3.3 Kết phát đối tượng theo phương pháp đề xuất 91 Bảng 3.4 Kết phát đánh giá so sánh với phương pháp Haar-AdaBoost 91 Bảng 3.5 Kết dự đoán độ sai số ước lượng khoảng cách vật cản 93 Bảng 4.1 Danh sách tham gia thử nghiệm dẫn đường E1:NĐC 112 Bảng 4.2 Danh sách tham gia đánh giá hệ thống dẫn đường E2:TQB Bảng 4.3 Danh sách tham gia đánh giá hệ thống dẫn đường E3:MICA 114 Bảng 4.4 Kết đánh giá điểm xuất phát robot 117 Bảng 4.5 Kết đánh giá vai trò lọc Kalman điều khiển robot 118 Bảng 4.6 Kết sai số định vị sử dụng sai số trung vị 118 viii 113 Bảng 4.7 Kết sai số định vị sử dụng sai số trung bình 119 Bảng 4.8 Bảng câu hỏi vấn trước sau sử dụng hệ thống 119 Bảng 4.9 Tổng hợp kết tần số rung (Hz) phản hồi thông tin môi trường 121 Bảng 4.10 Kết đánh giá độ sai số RMSE robot chuyển động tịnh tiến 122 Bảng 4.11 Kết đánh giá hiệu robot dẫn đường chuyển động tịnh tiến122 Bảng 4.12 Kết đánh giá robot dẫn đường chuyển động tịnh tiến 123 Bảng 4.13 Kết đánh giá độ sai số RMSE với kịch robot chuyển động tịnh tiến quay E1:NĐC 123 Bảng 4.14 Kết robot dẫn đường chuyển động quay tịnh tiến E1:NĐC124 Bảng 4.15 Đánh giá lần thử nghiệm hệ thống dẫn đường E1:NĐC 125 Bảng 4.16 Kết sai số RMSE robot phát vật cản xuất bất ngờ E1:NĐC 126 Bảng 4.17 Kết đánh giá hiệu dẫn đường robot phát vật cản 126 Bảng 4.18 Kết đánh giá robot dẫn đường chuyển động quay tịnh tiến 127 Bảng 4.19 Kết đánh giá độ sai số RMSE E2:TQB 127 Bảng 4.20 Kết đánh giá hiệu dẫn đường robot E2:TQB 128 Bảng 4.21 Tổng hợp kết robot dẫn đường E2:TQB 129 Bảng 4.22 Kết đánh giá độ sai số RMSE E3:MICA 129 Bảng 4.23 Kết đánh giá hiệu dẫn đường robot E3:MICA 129 Bảng 4.24 Tổng hợp kết robot dẫn đường E3:MICA 130 Bảng 4.25 Bảng tổng hợp thông số kỹ thuật 131 Bảng B.1 Quy định thang tính điểm phần thi nhận dạng RobotVision2013 182 Bảng B.2 Kết nhận dạng tượng CSDL Naiscorp 2012 183 Bảng B.3 Kết điểm nhận dạng đối tượng CSDL Robot Vision 2013 185 ix DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ Hình 1.1 Các thành phần hệ thống đề xuất Robot trợ giúp NKT 13 Hình 2.1 Mơ hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa 22 Hình 2.2 Minh họa di chuyển robot với vận tốc v góc lái α 24 Hình 2.3 Các bước giải thuật đo hành trình thơng tin hình ảnh VO 25 Hình 2.4 Một số trường hợp lỗi tích lũy xây dựng đồ 26 Hình 2.5 Một số cấu trúc mặt thử nghiệm thuật toán VO 27 Hình 2.6 Tạo điểm đánh dấu dọc hành trình 28 Hình 2.7 Minh họa số điểm đặc trưng phát mặt sàn 28 Hình 2.8 Minh họa phương pháp thử nghiệm tạo mẫu đánh dấu 29 Hình 2.9 Các bước giải thuật FAB-MAP [29] 30 Hình 2.10 Xây dựng từ điển biểu diễn quan sát theo mơ hình túi từ 32 Hình 2.11 Một số thách thức nhận dạng vị trí mơi trường 33 Hình 2.12 Cây nhị phân Chow liu theo hướng đồ thị có hướng 34 Hình 2.13 Biểu diễn quan sát xuất thời điểm 34 Hình 2.14 Biểu diễn vị trí Li thành phần quan sát eq quan sát có nhiễu zq 35 Hình 2.15 Xác định khung cảnh phân biệt: (a) Chuỗi hình ảnh khung cảnh; (b) Khung cảnh đại diện 40 Hình 2.16 Xác định khung cảnh có cấu trúc giống 41 Hình 2.17 Minh họa bước trích chọn đặc trưng GIST 42 Hình 2.18 Minh họa kết loại bỏ khung cảnh có cấu trúc giống 42 Hình 2.19 Minh họa bước thực giải thuật FAB-MAP* 43 Hình 2.20 Minh họa bước thực cập nhật điểm mốc quan trọng 44 Hình 2.21 Mơ hình định vị sử dụng thơng tin hình ảnh sử dụng robot 45 x Hình 2.22 Hệ thống thu thập liệu 46 Hình 2.23 Biểu đồ so sánh RMSE VO VO* E1:NĐC 49 Hình 2.24 Minh họa giá trị ngưỡng θV O định số điểm đặc trưng 49 Hình 2.25 Kết xây dựng đồ sử dụng VO VO* E1:NĐC 50 Hình 2.26 Biểu đồ so sánh RMSE VO VO* E2:TQB 51 Hình 2.27 Kết xây dựng đồ sử dụng VO VO* E2:TQB 51 Hình 2.28 Biểu đồ so sánh sai số RMSE VO VO* E3:MICA 52 Hình 2.29 Kết xây dựng đồ sử dụng VO VO* E3:MICA 53 Hình 2.30 Biểu đồ so sánh giải thuật định vị FAB-MAP* E1:NĐC 55 Hình 2.31 Minh họa kết định vị FAB-MAP* E1:NĐC 55 Hình 2.32 Biểu đồ so sánh giải thuật định vị FAB-MAP* E2:TQB 56 Hình 2.33 Minh họa kết định vị FAB-MAP* E2:TQB 57 Hình 2.34 Biểu đồ so sánh hai phương pháp định vị FAB-MAP* E3:MICA 58 Hình 2.35 Minh họa kết định vị giải thuật FAB-MAP* E3:MICA 58 Hình 3.1 Định nghĩa tốn phát ước lượng khoảng cách 61 Hình 3.2 Mơ hình phát ước lượng khoảng cách vật cản 66 Hình 3.3 Sơ đồ bước thực phát vật cản cố định 68 Hình 3.4 Kết trích chọn đặc trưng SIFT 69 Hình 3.5 Minh họa giải thuật đối sánh điểm đặc trưng 70 Hình 3.6 Kết đối sánh điểm đặc trưng phát 70 Hình 3.7 Kết loại bỏ số cặp điểm đối sánh (matching) yếu 71 Hình 3.8 Lưu đồ giải thuật tính ma trận H 72 Hình 3.9 Minh họa kết xác định vùng chứa đối tượng 74 Hình 3.10 Sơ đồ bước phát người sử dụng HoG-SVM 75 Hình 3.11 Mơ hình ước lượng khoảng cách vật cản từ hai quan sát 77 Hình 3.12 Hình ảnh đối tượng (cây) quan sát từ hai góc thu nhận 78 xi Hình 3.13 Sơ đồ bước tính đồ chênh lệch ước lượng khoảng cách 80 Hình 3.14 Minh họa hai quan sát camera chuyển động 81 Hình 3.15 Kết tìm đường eplipolar mơ hình camera chuyển động 82 Hình 3.16 Minh họa hiệu chỉnh hình ảnh mặt phẳng ngang 82 Hình 3.17 Kết hiệu chỉnh hình ảnh 84 Hình 3.18 Dị tìm khối liệu hai ảnh hiệu chỉnh 85 Hình 3.19 Kết đối sánh ảnh sử dụng giải thuật SAD 85 Hình 3.20 Minh họa phương pháp tính độ chênh lệch 86 Hình 3.21 Kết phát & ước lượng khoảng cách vật cản ảnh độ sâu 87 Hình 3.22 Minh họa hình ảnh thu nhận liệu khung hình 289 88 Hình 3.23 Minh họa chuẩn bị liệu đánh giá phát đối tượng 89 Hình 3.24 Minh họa phương pháp đo khoảng cách vị trí vật cản thực địa 89 Hình 3.25 Biểu đồ đánh giá so sánh hai phương pháp phát đối tượng 92 Hình 3.26 Một số hình ảnh phát đối tượng hai phương pháp Hình chữ nhật màu xanh kết phát tay, màu đỏ kết phát tự động 92 Hình 3.27 Các vị trí phát dự đốn khoảng cách thuộc lớp Chậu hoa 94 Hình 3.28 Minh họa dự đốn khoảng cách lớp đối tượng chậu hoa 94 Hình 3.29 Các vị trí phát dự đốn khoảng cách thuộc lớp Bình cứu hỏa 95 Hình 3.30 Minh họa dự đốn khoảng cách lớp đối tượng bình cứu hỏa 95 Hình 3.31 Các vị trí phát dự đốn khoảng cách thuộc lớp thùng rác 96 Hình 3.32 Minh họa dự đoán khoảng cách lớp đối tượng thùng rác 96 Hình 3.33 Các vị trí phát dự đốn khoảng cách thuộc lớp người 97 Hình 3.34 Minh họa dự đoán khoảng cách lớp đối tượng người 97 Hình 4.1 Tích hợp thiết bị phần cứng lên robot 100 Hình 4.2 Mơ hình tổng qt hệ thống đề xuất 101 Hình 4.3 Minh họa đường từ hai điểm biết trước đồ mơi trường 103 xii sinh viên; 05 Phịng thiết bị; 06 Phòng thư ký; 07 Phòng hội thảo; 08 Thang máy; 09 Kho; 10 Nhà vệ sinh − Dữ liệu đối tượng: 01 Ghế; 02 Máy tính; 03.Bình chữa cháy; 04 Tủ lạnh; 05 Máy in; 06 Màn hình; 07 Thùng rác; 08 Bồn tiểu Tổng số 5263 ảnh cho lần thu (Visual-1 Visual-2) bao gồm ảnh màu (RGB) ảnh độ sâu (Depth- Point Cloud Data) chia làm 02 phần: 1947 ảnh (Visual-1) huấn luyện tách 2363 đối tượng, 3515 ảnh (Visual-2) phục vụ cho thử nghiệm • PascalVOC 2007 [44] [45] [43]: gồm có 20 lớp đối tượng chia làm 04 nhóm mơ tả Hình B.2: 01 Máy bay 02 Xe buýt 03 Ô tô 04 Xe đạp 05 Xe máy 06 Thuyền 07 Xe lửa 08 Chậu 09 Chai lọ 11 Bàn ăn 12 Ghế Sô-pha 13 Tivi/màn hình 14 Chim 15 Mèo 18 Ngựa 19 Cừu 20 Người 16 Bò 17 Chó 10 Ghế Hình B.2 Minh họa 20 lớp đối tượng Pascal VOC − Nhóm phương tiện giao thơng: 01 Máy bay; 02 Xe bt; 03 Ơ tơ; 04 Xe đạp; 05 Xe máy; 06 Tàu thuyền; 07 Xe lửa − Nhóm đối tượng nhà : 08 Chai lọ; 09 Ghế; 10 Bàn ăn; 11 Chậu cây; 12 Ghế sô-pha; 13 Tivi/Màn hình − Nhóm đối tượng người : 20 Người 174 − Nhóm đối tượng động vật: 14 Chim; 15 Mèo; 16 Bị; 17.Chó; 18 Ngựa; 19 Cừu Tổng số 7453 ảnh chứa 15 509 đối tượng chia làm 02 loại: 2501 ảnh huấn luyện 4952 ảnh thử nghiệm • Naiscorp 2012: xây dựng dịch vụ quảng cáo trực tuyến nằm khuôn khổ đề tài tiền Bộ Khoa học Công nghệ mã số: KC.01.TN19/11-15, bao gồm 10 lớp đối tượng, đối tượng có 500 ảnh, tổng số ảnh sở liệu 5000 ảnh, 2500 ảnh cho phần thử nghiệm, 2500 ảnh cho phần huấn luyện tổ chức theo thư mục Hình B.4 − Nhóm đối tượng nhà : 00 Hoa; 01 Điện thoại; 02 Đồng hồ; 03 Giày dép; 04 Kính; 08 Máy tính xách tay; − Nhóm đối tượng người : 05 Người; − Nhóm phương tiện giao thơng: 09 Xe máy; 06 Ơ tơ; 07 Thuyền; Nhận xét: Cả ba CSDL Naiscorp 2012, Pascal VOC 2007 Robot Vision 2013 phải đảm bảo yêu tố đặt CSDL đủ lớn, đa dạng góc chụp, kiểu dáng, phơng nền, hướng, khoảng cách, điều kiện chiếu sáng thu nhận ảnh đối tượng mơ tả Hình B.3 (a) Sự đa dạng Naicorp 2012 (b) Sự thay đổi góc nhìn Robot Vison 2013 (c) Độ chiếu sáng Pascal VOC 2007 Hình B.3 Những khó khăn thách thưc CSDL đề xuất 175 Hoa Điện thoại Đồng hồ Giầy dép Kính Người Ô tô Thuyền Máy tính xách tay Xe máy Hình B.4 Các lớp đối tượng CSDL Naicorp 2012 176 B.2 Khung nhận dạng đối tượng tổng quát Trong khuôn khổ luận án, đề xuất nghiên cứu thử nghiệm phương pháp kết hợp đặc trưng phân loại nhằm tăng hiệu nhận dạng đối tượng mơ tả Hình B.5: Đầu vào nh/Video Cơ sở liệu Trượt cửa sổ Tiền xử lý Trích chọn đặc trưng Haar, HoG, Gist Trích chọn đặc trưng Nhận dạng (Adaboost, SVM, k-NN) Huấn luyện (Adaboost, SVM, k-NN) Mô hình huấn luyện Kết Pha huấn luyện Pha nhận dạng Hình B.5 Khung làm việc tổng quát phát nhận dạng đối tượng Q trình nhận dạng bao gồm pha: • Huấn luyện: Cơ sở liệu mẫu đưa vào tiền xử lý để làm (màu sắc, ánh sáng, kích thước, dung lượng ) sau chuyển sang phần trích chọn đặc trưng Tại đây, đặc trưng đề xuất Haar, HoG, GIST trích chọn đưa vào phần huấn luyện Kết cho ta tập vector đặc trưng sử dụng cho pha nhận dạng • Nhận dạng: Ảnh/Video cần nhận dạng đưa qua trượt cửa sổ, liệu quét với nhiều kích thước khác Mỗi cửa sổ trích chọn đặc trưng đưa vào phần nhận dạng Tại mơ hình nhận dạng thực việc đánh giá so sánh với mơ hình học theo ngưỡng cho trước, ngưỡng định kết nhận dạng đối tượng Hình B.5 đưa mơ hình khung nhận dạng kết hợp phương pháp nhận dạng đối tượng, chúng tơi trình bày tóm tắt phương pháp nhận dạng đối tượng kết hợp bao gồm: − Kết hợp Haar- AdaBoost: Haar [135] loại đặc trưng thường 177 dùng cho toán nhận dạng đối tượng ảnh, xây dựng từ hình chữ nhật có kích thước nhau, để tính độ chênh lệch giá trị mức xám điểm ảnh vùng kề Đặc trưng có ưu điểm tính tốn nhanh thơng qua việc sử dụng kỹ thuật ảnh tích phân, chi tiết có PHỤ LỤC A.6 luận án Đặc trưng Haar thường sử dụng giải thuật học Boosting để lựa chọn số đặc trưng tiêu biểu để biểu diễn đối tượng Adaboost (Adaptive Boost): tiếp cận boosting [49] Freund Schapire đưa vào năm 1995 Adaboost hoạt động nguyên tắc kết hợp tuyến tính phân loại yếu để có phân loại mạnh mơ tả Hình B.6 Là cải tiến tiếp cận boosting, Adaboost sử dụng thêm khái niệm trọng số (weight) để đánh dấu mẫu khó nhận dạng H(x) = sign( T X (B.1) αt ht (x)) t=1 T số lượng phân loại yếu ht (x) thời điểm t; hệ số αt = 21 ln( 1−εj ); εj εj lỗi Trong trình huấn luyện, phân loại yếu xây dựng, thuật toán tiến hành câp nhật lại trọng số để chuẩn bị cho việc xây dựng phân loại yếu kế tiếp: tăng trọng số mẫu bị nhận dạng sai giảm trọng số mẫu nhận dạng phân loại yếu vừa xây dựng Bộ phân loại yếu h;(x) Bộ phân loại yếu Bộ phân loại yếu h= Support vectors Support vectors −b kwk −ξi kwk Hình B.8 Siêu phẳng tách với khoảng cách lề cực đại SVM Hình B.8 mơ tả khả vượt trội SVM tính hiệu quả, độ xác, khả xử lý liệu cách linh hoạt, việc sử dụng phương pháp SVM lựa chọn tối ưu việc giải toán phát nhận dạng Siêu phẳng có khoảng cách với liệu gần lớn (biên lớn nhất) gọi siêu phẳng tối ưu, minh họa Hình B.9 − Kết hợp GIST- kNN : Đặc trưng GIST [114], [106] việc trích chọn từ ảnh tập hợp đặc trưng quan trọng tính tự nhiên, mở rộng, độ nhám, độ chắn, cho phép trình bày cấu trúc không gian cảnh Chi tiết cách tính tốn đặc trưng có nội dung PHỤ LỤC A.4 luận án Bộ phân lớp k-NN (k-Nearest Neighbors)[73]: Học dựa láng giềng gần 180 Biên lớn + + + bc Lớp I + Lớp II + + + + bc + + Một siêu phẳng bc bc bc bc bc bc bc Siêu phẳng tối ưu Hình B.9 Phân tách theo siêu phẳng (w,b) không gian chiều tập mẫu giải thuật phân lớp tập đóng ví dụ không gian đặc trưng Ý tưởng phương pháp xếp vào lớp có k hàng xóm gần với nhất, minh họa Hình B.10 nh thử nghiệm Khoảng cách Nhãün lớp D1 D1 D5 D8 Lớp nh huấn luyện Hình B.10 Minh họa bước tính tốn k-NN Các hàm tính khoảng cách k-NN đóng vai trị quan trọng phương pháp học, dựa láng giềng gần thường xác định trước không thay đổi suốt q trình học phân lớp + Các hàm tính khoảng cách hình học: dành cho tốn có thuộc 181 tính đầu vào kiểu số thực (xi ∈ R) o Hàm Minkowski: d(x, z) = ( n X |xi − zi |p )1/p (B.3) i=1 o Hàm Manhattan: d(x, z) = n X |xi − zi | (B.4) i=2 v u n uX o Hàm Euclid: d(x, z) = t (xi − zi )2 (B.5) i=1 + Hàm khoảng cách Hamming: dành cho toán có thuộc tính đầu vào kiểu nhị phân (xi ∈ {0, 1}) d(x, z) = n X Dif f erence(xi , zi ) (B.6) i=1 ( 1, (x 6= z) Trong đó: Dif f erence(x, z) = B.3 0, (x = z) Độ đo đánh giá Trong 03 CSDL đề xuất thử nghiệm, sử dụng độ đo đánh giá khác cụ thể sau: • CSDL Naiscorp 2012: Sử dụng độ đo xác (Precision) tính theo cơng thức (2.26) để đánh giá hiệu hệ thống nhận dạng • CSDL Robot Vision 2013: Cung cấp bảng điểm cho việc nhận dạng 10 khung cảnh 08 đối tượng Bảng B.1, điểm cuối tổng điểm tất điểm thu Bảng B.1 Quy định thang tính điểm phần thi nhận dạng RobotVision2013 Các lớp đối tượng/Class Nhận dạng xác Nhận dạng sai Khơng nhận dạng Khung cảnh 1.0 -0.5 0.0 Đối tượng 0.125 -0.125 0.000 • CSDL PascalVOC 2007: sử dụng độ đo xác trung bình AP (Average Precision) thể giá trị tích phân đồ thị ROC (Receiver Operating Characteristic) hai giá trị độ đo triệu hồi (recall) độ đo xác (Precision) 182 B.4 Kết đánh giá Kết đánh giá 03 CSDL thực nghiệm sở để lựa chọn lớp đối tượng đạt hiệu cao nhằm xây dựng CSDL vật cản phù hợp với môi trường thực tế mà NKT thường gặp phải Cụ thể sau: - CSDL Naiscorp 2012: Trong Bảng B.2 Haar-AdaBoost phương pháp tốt cho lớp điện thoại, đồng hồ, hoa, ô tô Thuyền, điều tính Haarlike đại diện với chi tiết đối tượng Còn GIST k-NN phương pháp nhận dạng tốt cho lớp Giày dép, Kính, Máy tính xách tay, Xe máy Độ xác trung bình CSDL Naiscorp 2012 80% Bảng B.2 Kết nhận dạng tượng CSDL Naiscorp 2012 TT Lớp đối tượng Haarlike-Adaboost HoG-SVM GIST-kNN 00 Điện thoại 97% 67% 88% 01 Đồng hồ 98% 95% 81% 02 Giày dép 34% 67% 73% 03 Hoa 90% 76% 75% 04 Kính 91% 87% 98% 05 Máy tính 62% 78% 99% 06 Người 91% 90% 77% 07 Ơ tơ 100% 85% 91% 08 Thuyền 100% 78% 92% 09 Xe máy 56% 88% 96% 82% 81% 87% Trung bình Hình B.11 đối tượng ảnh khoanh vùng gán nhãn, kết nhận dạng phụ thuộc vào CSDL huấn luyện Hình B.11(a) nhận dạng đồng hồ đặc tính ảnh đưa vào nhận dạng khác nhiều so với huấn luyện Hình B.11(b) cho thấy nhận dạng nhầm từ lớp đồng hồ sang lớp máy tính xách tay số đặc trưng trích chọn ảnh đồng hồ phím bấm tương đối giống với đặc trưng trích chọn lớp máy tính xách tay, nên xảy trường hợp nhận dạng nhầm Hình B.11(c) cho thấy lớp đồng hồ nhận dạng đúng, nhiên đặc trưng trích chọn lớp đồng hồ hình trịn, phía có họa tiết giống hoa nên nhận nhầm sang lớp hoa Cuối Hình B.11(d) có tình trạng nhận dạng nhập nhằng, nhận dạng lớp máy tính máy tính chứa hình ảnh giày dép nên hiểu nhận dạng sai nhận dạng Thuật toán nhận dạng đối tượng chạy máy tính cấu hình (CHIP Intel(R) Core(TM) 183 (a) Phát (b) Phát nhầm (c) Phát đúng, thừa (d) Phát nhập nhằng Hình B.11 Một số kết nhận dạng đúng/sai CSDL Naicorp 2012 i5-2520M CPU @ 3.2 GHz x 2, RAM 8GB) Kích thước trung bình ảnh 600 × 400, tốc độ tính tốn đạt 88.12 ms/ ảnh - CSDL Robot Vision 2013: Đã có 16 kết đội thi đến từ nhóm nghiên cứu giới gửi tới thi Robot Vision, nhóm MICA gửi 03 kết dự thi, cụ thể sau Phương pháp nhận dạng đề xuất sử dụng giải thuật kết hợp GIST k-NN để nhận dạng khung cảnh trước nhận dạng đối tượng Kết nhận dạng minh họa Hình B.12 (a) Phát (b) Phát nhầm Hình B.12 Một số kết nhận dạng đúng/sai CSDL RobotVision2013 Nhóm nghiên cứu MICA đứng thứ 9/16 kết đạt số điểm 4497.875 điểm, kết xếp hạng có Bảng B.3 Kết chưa cao số nguyên nhân nhóm nghiên cứu chưa sử dụng đến hình ảnh độ sâu (Depth) cung cấp, đặc trưng trích chọn ảnh huấn luyện chưa đủ nhiều, bao hết trường hợp tập thử nghiệm Với nguyên nhân 184 Bảng B.3 Kết điểm nhận dạng đối tượng CSDL Robot Vision 2013 TT 10 11 12 13 14 15 16 Đội thi MIAR ICT MIAR ICT MIAR ICT MIAR ICT MIAR ICT NUDT SIMD* REGIM MICA REGIM MICA MICA GRAM GRAM GRAM NUDT Tổng điểm 6033.5 5924.25 5924.25 5867.5 5867 5722.5 5004.75 4638.875 4497.875 3763.75 3316.125 2680.625 -487 -497 -497 -866.25 Kết tham dự 1367338469342_result5.txt 1367337521811_result1.txt 1367338031442_result3.txt 1367338141275_result4.txt 1367337920393_result2.txt 1367330362498_Submission_zy.results 1366035468189_exampletest.results 1367938209005_results2 (1).results 1367489769671_MICA_RobotVision_2.txt 1367937984977 results1 (1).results 1367487985297_MICA_RobotVision_1.txt 1368014381988_MICA_RobotVision_3.txt 1368038785876_gram_3dspmk_l2_k400.txt 1368090179987_gram_3dspmk_l2_k800.txt 1368090208187_gram_3dspmk_l2_k1000.txt 1367376643434_Submission_yl.results chúng tơi đề xuất kết hợp 02 nguồn liệu màu sắc (RGB) ảnh độ sâu (Depth) để nhận dạng xác có khung cảnh đề xuất Thuật tốn chạy cấu hình máy tính (CHIP Intel(R) Core(TM) i5-2520M CPU @ 3.2 GHz x 2, RAM 8GB), kích thước ảnh trung bình 640 × 480, thời gian tính tốn trêm ảnh 90.3 ms/ ảnh - CSDL PascalVOC 2007: Với đồ thị AP Hình B.13 thấy đặc trưng GIST phân lớp k-NN chạy với CSDL Pascal VOC 2007 cho kết trung bình, với AP=0.164, đồ thị AP lớp đối tượng Hình B.14 thấy rõ vai trị đặc trưng GIST sử dụng nhận dạng đối tượng cho kết tốt lớp người, ô tô, xe buýt, hình ti vi khơng tốt lớp lại Lý đối tượng CSDL đa dạng, số lượng lớn đặc biệt ảnh chứa nhiều đối tượng Tuy nhiên, GIST, k-NN cần phối hợp với đặc trưng khác kết tốt Một số hình ảnh kết nhận dạng CSDL Pascal VOC 2007: Hình B.15(a) khoanh vùng đối tượng ô tô, người (ngồi ô tô), đặc biệt với kỹ thuật quét cửa sổ toàn ảnh khoanh vùng khóm bên đường, giống đối tượng chậu hoa có CSDL Tuy nhiên, phương pháp cho kết 185 Hình B.13 Đồ thị AP 20 lớp đối tượng CSDL PascalVOC 2007 Hình B.14 Đồ thị AP lớp đối tượng CSDL PascalVOC 2007 186 (a) Phát (b) Phát đúng, thừa Hình B.15 Kết nhận dạng đối tượng CSDL Pascal VOC 2007 phát thừa Hình B.15(b) Hình B.15(c) (b) Nhận nhầm sang lớp chó (a) Lớp cừu (c) Nhận nhầm sang lớp Bò Hình B.16 Kết nhận dạng đối tượng CSDL Pascal VOC 2007 Thuật toán nhận dạng đối tượng sở liệu PascalVOC 2007 chạy máy tính cấu hình (CHIP Intel(R) Core(TM) i5-2520M CPU @ 3.2 GHz x 2, RAM 8GB) Kích thước trung bình ảnh (380 × 470) điểm ảnh, tốc độ tính tốn đạt 150 ms/ảnh 187 PHỤ LỤC C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU C.1 Xe camera thu thập liệu - Ý tưởng thử nghiệm: sử dụng 02 camera bố trí vng góc, thu liệu đồng thời: camera thứ chiếu xuống đất thu hình ảnh mặt đường, camera thứ hai hướng phía trước thu thập liệu khung cảnh, camera gắn gậy; cầm tay; gắn ghế; gắn xe đẩy hàng; gắn xe đạp mơ tả Hình C.1 (a) Gắn ghế (b) Gắn xe đẩy hàng (c) Gắn xe đạp (e) Cầm tay người (d) Gắn gậy người Hình C.1 Một số giải pháp thu thập liệu từ camera Với thiết kế đề xuất Hình C.1, chúng tơi tiến hành đánh giá 02 kịch nhà trời sau: + Kịch (trong nhà): khu thực nghiệm - Đại học Gent - Vương quốc Bỉ, định nghĩa 06 địa điểm (A, B, C, D, E, G) xuất phát từ A thành vòng tròn khép kín qua điểm quay trở lại A, chiều dài hành trình d = 89.4m Hình C.2(a) Phương pháp thu thập liệu sử dụng ghế xe đẩy hàng mô 188 ... giúp dẫn đường hiệu thân thiện trợ giúp NKT chủ đề đầy thách thức, động lực để NCS thực đề tài: ? ?Nghiên cứu phát triển số kỹ thuật định vị dựa hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm. .. biểu diễn môi trường Xuất phát từ mục tiêu luận án nghiên cứu phương pháp định vị sử dụng hình ảnh hỗ trợ cho toán trợ giúp dẫn đường cho NKT, chúng tơi đề xuất mơ hình biểu diễn mơi trường theo... toán dẫn đường phát vật cản Hơn nữa, cảm biến hình ảnh ngày có giá thành rẻ thông dụng với người dùng Mục tiêu muốn hướng đến là: − Nghiên cứu phát triển số kỹ thuật định vị sử dụng thông tin hình