Nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN QUỐC HÙNG NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội − 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN QUỐC HÙNG NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ Chuyên ngành: Khoa học Máy tính Mã số chuyên ngành: 62480101 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Trần Thị Thanh Hải PGS.TS Nguyễn Quang Hoan Hà Nội −2017 LỜI CAM ĐOAN Tôi xin cam đoan luận án: “Nghiên cứu phát triển số kỹ thuật định vị dựa hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị” cơng trình nghiên cứu riêng Một phần số liệu, kết trình bày luận án trung thực, cơng bố tạp chí khoa học chun ngành Kỷ yếu Hội nghị khoa học nước quốc tế Phần lại luận án chưa cơng bố cơng trình nghiên cứu Hà Nội, ngày 20 tháng năm 2017 TẬP THỂ HƯỚNG DẪN KHOA HỌC TS Trần Thị Thanh Hải NGHIÊN CỨU SINH PGS.TS Nguyễn Quang Hoan i Nguyễn Quốc Hùng LỜI CẢM ƠN Luận án tiến sĩ thực Viện Nghiên cứu Quốc tế MICA, trường Đại học Bách khoa Hà Nội hướng dẫn khoa học TS Trần Thị Thanh Hải PGS.TS Nguyễn Quang Hoan Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới thầy, cô định hướng khoa học; nhà khoa học, tác giả cơng trình trích dẫn; cung cấp nguồn tư liệu quý báu q trình nghiên cứu hồn thành luận án Nghiên cứu sinh trân trọng cảm ơn Viện Nghiên cứu Quốc tế đa phương tiện MICA; Viện Đào tạo sau Đại học Trường Đại học Bách Khoa Hà Nội; GS.TS Phạm Thị Ngọc Yến; GS.TS Eric Castelli; đề tài KHCN tiềm mã số: KC.01.TN19/11-15, đề tài VLIR mã số: ZEIN2012RIP19; đề tài hợp tác Việt - Bỉ mã số: FWO.102.2013.08; Quỹ phát triển KH&CN quốc gia Việt Nam; Trường THCS Nguyễn Đình Chiểu Hà Nội; nhóm nghiên cứu IPI Đại học GENT Vương quốc Bỉ tạo điều kiện thuận lợi thời gian, địa điểm thực tập, trang thiết bị, hỗ trợ mặt nhân lực để NCS thực việc thu thập liệu, thực nghiệm kết nghiên cứu Nghiên cứu sinh xin bày tỏ biết ơn tới Ban giám hiệu Trường Cao đẳng Y tế Thái Nguyên; gia đình đồng nghiệp động viên khích lệ, tạo điều kiện thuận lợi để NCS yên tâm công tác học tập Hà Nội, ngày 20 tháng năm 2017 NGHIÊN CỨU SINH Nguyễn Quốc Hùng ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT vii DANH MỤC CÁC BẢNG ix DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ xv MỞ ĐẦU 1 TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP NGƯỜI KHIẾM THỊ 1.1 Đặt vấn đề 1.2 Các nghiên cứu liên quan 4 1.2.1 Các nghiên cứu giới 1.2.1.1 Siêu âm 1.2.1.2 1.2.1.3 1.2.1.4 Hồng ngoại Laser Camera 7 1.2.1.5 Đa cảm biến Các nghiên cứu nước 11 1.2.3 Thảo luận 1.3 Mục tiêu nghiên cứu phương pháp đề xuất 1.3.1 Mục tiêu phạm vi nghiên cứu 12 13 13 1.3.2 Phương pháp đề xuất 1.4 Kết luận chương 13 14 BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ 2.1 Giới thiệu chung 15 15 2.2 Những nghiên cứu liên quan 2.2.1 Hướng tiếp cận sử dụng đồ số liệu 16 16 1.2.2 2.2.2 2.2.3 2.2.4 Hướng tiếp cận sử dụng đồ topo Hướng tiếp cận lai Thảo luận iii 18 20 21 2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường 23 2.4 Phương pháp xây dựng đồ môi trường 2.4.1 Xây dựng đồ số liệu 2.4.1.1 Phương pháp đo hành trình hình ảnh sử dụng mơ 24 24 hình khơng chắn Thích nghi VO cho mơi trường nhà 25 28 2.4.1.2 2.4.2 Xây dựng đồ topo 30 2.4.2.1 Giải thuật FAB-MAP 31 2.4.2.2 Thích nghi cải thiện FAB-MAP xây dựng đồ topo 40 2.4.3 Bổ sung thông tin đối tượng vật cản tĩnh đồ 2.5 Phương pháp định vị 45 45 2.6 Kết thực nghiệm 2.6.1 Môi trường đánh giá 2.6.2 Thu thập liệu đánh giá 46 46 47 2.6.2.1 Hệ thống thu thập liệu 2.6.2.2 Thu thập liệu Kết đánh giá 47 48 49 2.6.3.1 2.6.3.2 Đánh giá phương pháp xây dựng đồ số liệu Đánh giá phương pháp định vị hình ảnh 49 54 2.7 Kết luận chương 60 PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN 3.1 Định nghĩa toán thách thức 3.2 Những nghiên cứu liên quan 61 61 62 2.6.3 3.2.1 Các phương pháp sử dụng 01 camera 3.2.1.1 Hướng nghiên cứu sử dụng stereo camera 62 63 3.2.1.2 Hướng nghiên cứu sử dụng cảm biến Kinect 3.2.1.3 Phân tích đánh giá phương pháp 3.3 Đề xuất phương pháp phát ước lượng khoảng cách 65 66 67 3.4 Phát vật cản 3.4.1 Phát vật cản cố định 68 68 3.4.1.1 3.4.1.2 3.4.1.3 Đối sánh điểm đặc trưng Phát vật cản từ kết đối sánh Xác định vùng chứa đối tượng 69 72 75 Phát vật cản động 3.4.2.1 Trích chọn đặc trưng HoG 3.4.2.2 Bộ phân loại SVM 76 76 77 3.5 Ước lượng khoảng cách vật cản 3.5.1 Nguyên lý ước lượng khoảng cách 78 78 3.4.2 iv 3.5.2 Xây dựng đồ chênh lệch 80 3.5.2.1 3.5.2.2 3.5.2.3 Thu thập liệu Hiệu chỉnh hình ảnh Đối sánh hình ảnh 81 81 85 3.5.2.4 Tính tốn độ sâu 3.6 Kết đánh giá 85 89 3.6.1 3.6.2 3.6.3 Xây dựng sở liệu vật cản Đánh giá giải thuật phát đối tượng Đánh giá giải thuật ước lượng khoảng cách vật cản 89 91 94 3.7 Kết luận chương 99 PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG 100 4.1 Hệ thống tích hợp 100 4.1.1 Tích hợp phần cứng 100 4.1.2 Kiến trúc tổng thể 102 4.2 Phát triển hệ thống dẫn đường sử dụng robot 103 4.2.1 4.2.2 Tìm đường cho robot 103 Điều khiển robot 104 4.2.2.1 Điều khiển trực tiếp dựa đường xác định 104 4.2.2.2 Điều khiển theo dự báo hiệu chỉnh vị trí lọc Kalman 106 4.2.3 Tương tác người - robot 112 4.3 Thử nghiệm đánh giá hệ thống dẫn đường 113 4.3.1 Mơi trường quy trình thử nghiệm 113 4.3.1.1 4.3.1.2 4.3.2 Môi trường thử nghiệm 113 Quy trình thử nghiệm 116 Kết thực nghiệm 117 4.3.2.1 Đánh giá khả xác định vị trí xuất phát robot 117 4.3.2.2 Đánh giá khả điều khiển robot 118 4.3.2.3 4.3.2.4 Đánh giá khả tương tác người - robot 120 Đánh giá hệ thống dẫn đường trợ giúp NKT robot 122 4.3.3 Bàn luận hệ thống robot dẫn đường 131 4.4 Kết luận chương 133 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 134 TÀI LIỆU THAM KHẢO 137 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 150 PHỤ LỤC 153 v A MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG 153 A.1 Đặc trưng Harris Corner 153 A.2 Đặc trưng SIFT 155 A.3 Đặc trưng SURF 159 A.4 Đặc trưng GIST 165 A.5 Đặc trưng HoG 167 A.6 Đặc trưng Haar 172 B ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL 175 B.1 Giới thiệu CSDL thử nghiệm 175 B.2 Khung nhận dạng đối tượng tổng quát 179 B.3 Độ đo đánh giá 184 B.4 Kết đánh giá 185 C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU 190 C.1 Xe camera thu thập liệu 190 C.2 Hiệu chỉnh camera góc rộng 193 C.3 Robot PC-Bot914 195 vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT TT 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 Viết tắt AM AP BOW CSDL ED FAB-MAP FLANN FN FP GPS HOG HSI KF KH&CN k-NN LASER LATS LIDAR MICA MUT NCS NĐC NKT PUT RANSAC RFID RGB RMSE SAD SIFT SLAM SURF SVM TP TQB VO WIFI Nghĩa đầy đủ (tiếng Việt/tiếng Anh) Appearance based Mapping Average Precision Bag of Words Cơ sở liệu Euclidean Distance Fast Appearance Based Mapping Fast Library for Approximate Nearest Neighbors False Negative False Positive Global Positioning System Histogram of Oriented Gradients Hue Saturation and Intensity Kalman Filter Khoa học Công nghệ K-Nearest Neighbors Light Amplification by Stimulated Emission of Radiation Luận án tiến sĩ Light Detection And Ranging Multimedia, Information, Communication & Applications Motion Uncertainty Tetragon Nghiên cứu sinh Nguyễn Đình Chiểu Người khiếm thị Perspective Uncertainty Tetragons RANdom SAmple Consensus Radio Frequency Identification Red Green and Blue Root Mean Square Error Sum of Absolute Differences Scale Invariant Feature Transforms Simultaneous Localization and Mapping Speeded Up Robust Features Support Vector Machine True Positive Tạ Quang Bửu Visual Odometry Wireless Fidelity vii DANH MỤC CÁC BẢNG Bảng 2.1 Bảng tổng hợp thông tin 03 môi trường thử nghiệm 47 Bảng 2.2 Tốc độ lấy mẫu (fps) camera môi trường thử nghiệm 48 Bảng 2.3 Dữ liệu thu thập E1:NĐC 48 Bảng 2.4 Dữ liệu thu thập E2:TQB 48 Bảng 2.5 Dữ liệu thu thập E3:MICA 48 Bảng 2.6 Kết đánh giá RMSE E1:NĐC 49 Bảng 2.7 Kết đánh giá độ sai số tiêu chuẩn RMSE E2:TQB 51 Bảng 2.8 Kết đánh giá độ sai số tiêu chuẩn RMSE E3:MICA 53 Bảng 2.9 So sánh khả định vị giải thuật FAB-MAP* E1:NĐC 55 Bảng 2.10 Kết đánh giá so sánh giải thuật định vị FAB-MAP* E2:TQB 57 Bảng 2.11 Kết đánh giá so sánh giải thuật định vị FAB-MAP* E3:MICA 58 Bảng 3.1 Kết thu nhận liệu khung cảnh/đường phục vụ đánh giá 89 Bảng 3.2 Thu thập liệu đánh giá phát ước lượng khoảng cách vật cản 91 Bảng 3.3 Kết phát đối tượng theo phương pháp đề xuất 92 Bảng 3.4 Kết phát đánh giá so sánh với phương pháp Haar-AdaBoost 92 Bảng 3.5 Kết dự đoán độ sai số ước lượng khoảng cách vật cản 95 Bảng 4.1 Danh sách tham gia thử nghiệm dẫn đường E1:NĐC 113 Bảng 4.2 Danh sách tham gia đánh giá hệ thống dẫn đường E2:TQB Bảng 4.3 Danh sách tham gia đánh giá hệ thống dẫn đường E3:MICA 115 Bảng 4.4 Kết đánh giá điểm xuất phát robot 118 Bảng 4.5 Kết đánh giá vai trò lọc Kalman điều khiển robot 119 Bảng 4.6 Kết sai số định vị sử dụng sai số trung vị 119 viii 114 Biên lớn + + + + Lớp I + + + + Lớp II + + Một siêu phẳng Siêu phẳng tối ưu Hình B.9 Phân tách theo siêu phẳng (w,b) không gian chiều tập mẫu giải thuật phân lớp tập đóng ví dụ khơng gian đặc trưng Ý tưởng phương pháp xếp vào lớp có k hàng xóm gần với nhất, minh họa Hình B.10 nh thử nghiệm Khoảng cách Nhãün lớp D1 D1 D5 D8 Lớp nh huấn luyện Hình B.10 Minh họa bước tính tốn k-NN Các hàm tính khoảng cách k-NN đóng vai trò quan trọng phương pháp học, dựa láng giềng gần thường xác định trước khơng thay đổi suốt q trình học phân lớp + Các hàm tính khoảng cách hình học: dành cho tốn có thuộc 183 tính đầu vào kiểu số thực (xi ∈ R) o Hàm Minkowski: d(x, z) = ( n |xi − zi |p )1/p (B.3) i=1 n o Hàm Manhattan: d(x, z) = |xi − zi | (B.4) i=2 o Hàm Euclid: d(x, z) = n (xi − zi )2 (B.5) i=1 + Hàm khoảng cách Hamming: dành cho tốn có thuộc tính đầu vào kiểu nhị phân (xi ∈ {0, 1}) n d(x, z) = Dif f erence(xi , zi ) (B.6) i=1 1, (x = z) Trong đó: Dif f erence(x, z) = B.3 0, (x = z) Độ đo đánh giá Trong 03 CSDL đề xuất thử nghiệm, sử dụng độ đo đánh giá khác cụ thể sau: • CSDL Naiscorp 2012: Sử dụng độ đo xác (Precision) tính theo cơng thức (2.26) để đánh giá hiệu hệ thống nhận dạng • CSDL Robot Vision 2013: Cung cấp bảng điểm cho việc nhận dạng 10 khung cảnh 08 đối tượng Bảng B.1, điểm cuối tổng điểm tất điểm thu Bảng B.1 Quy định thang tính điểm phần thi nhận dạng RobotVision2013 Các lớp đối tượng/Class Nhận dạng xác Nhận dạng sai Không nhận dạng Khung cảnh 1.0 -0.5 0.0 Đối tượng 0.125 -0.125 0.000 • CSDL PascalVOC 2007: sử dụng độ đo xác trung bình AP (Average Precision) thể giá trị tích phân đồ thị ROC (Receiver Operating Characteristic) hai giá trị độ đo triệu hồi (recall) độ đo xác (Precision) 184 B.4 Kết đánh giá Kết đánh giá 03 CSDL thực nghiệm sở để lựa chọn lớp đối tượng đạt hiệu cao nhằm xây dựng CSDL vật cản phù hợp với môi trường thực tế mà NKT thường gặp phải Cụ thể sau: - CSDL Naiscorp 2012: Trong Bảng B.2 Haar-AdaBoost phương pháp tốt cho lớp điện thoại, đồng hồ, hoa, ô tô Thuyền, điều tính Haarlike đại diện với chi tiết đối tượng Còn GIST k-NN phương pháp nhận dạng tốt cho lớp Giày dép, Kính, Máy tính xách tay, Xe máy Độ xác trung bình CSDL Naiscorp 2012 80% Bảng B.2 Kết nhận dạng tượng CSDL Naiscorp 2012 TT Lớp đối tượng Haarlike-Adaboost HoG-SVM GIST-kNN 00 Điện thoại 97% 67% 88% 01 Đồng hồ 98% 95% 81% 02 Giày dép 34% 67% 73% 03 Hoa 90% 76% 75% 04 Kính 91% 87% 98% 05 Máy tính 62% 78% 99% 06 Người 91% 90% 77% 07 Ơ tơ 100% 85% 91% 08 Thuyền 100% 78% 92% 09 Xe máy 56% 88% 96% 82% 81% 87% Trung bình Hình B.11 đối tượng ảnh khoanh vùng gán nhãn, kết nhận dạng phụ thuộc vào CSDL huấn luyện Hình B.11(a) nhận dạng đồng hồ đặc tính ảnh đưa vào nhận dạng khác nhiều so với huấn luyện Hình B.11(b) cho thấy nhận dạng nhầm từ lớp đồng hồ sang lớp máy tính xách tay số đặc trưng trích chọn ảnh đồng hồ phím bấm tương đối giống với đặc trưng trích chọn lớp máy tính xách tay, nên xảy trường hợp nhận dạng nhầm Hình B.11(c) cho thấy lớp đồng hồ nhận dạng đúng, nhiên đặc trưng trích chọn lớp đồng hồ hình tròn, phía có họa tiết giống bơng hoa nên nhận nhầm sang lớp hoa Cuối Hình B.11(d) có tình trạng nhận dạng nhập nhằng, nhận dạng lớp máy tính máy tính chứa hình ảnh giày dép nên hiểu nhận dạng sai nhận dạng Thuật toán nhận dạng đối tượng chạy máy tính cấu hình (CHIP Intel(R) Core(TM) 185 (a) Phát (b) Phát nhầm (c) Phát đúng, thừa (d) Phát nhập nhằng Hình B.11 Một số kết nhận dạng đúng/sai CSDL Naicorp 2012 i5-2520M CPU @ 3.2 GHz x 2, RAM 8GB) Kích thước trung bình ảnh 600 × 400, tốc độ tính tốn đạt 88.12 ms/ ảnh - CSDL Robot Vision 2013: Đã có 16 kết đội thi đến từ nhóm nghiên cứu giới gửi tới thi Robot Vision, nhóm MICA gửi 03 kết dự thi, cụ thể sau Phương pháp nhận dạng đề xuất sử dụng giải thuật kết hợp GIST k-NN để nhận dạng khung cảnh trước nhận dạng đối tượng Kết nhận dạng minh họa Hình B.12 (a) Phát (b) Phát nhầm Hình B.12 Một số kết nhận dạng đúng/sai CSDL RobotVision2013 Nhóm nghiên cứu MICA đứng thứ 9/16 kết đạt số điểm 4497.875 điểm, kết xếp hạng có Bảng B.3 Kết chưa cao số nguyên nhân nhóm nghiên cứu chưa sử dụng đến hình ảnh độ sâu (Depth) cung cấp, đặc trưng trích chọn ảnh huấn luyện chưa đủ nhiều, bao hết trường hợp tập thử nghiệm Với nguyên nhân 186 Bảng B.3 Kết điểm nhận dạng đối tượng CSDL Robot Vision 2013 TT 10 11 12 13 14 15 16 Đội thi MIAR ICT MIAR ICT MIAR ICT MIAR ICT MIAR ICT NUDT SIMD* REGIM MICA REGIM MICA MICA GRAM GRAM GRAM NUDT Tổng điểm 6033.5 5924.25 5924.25 5867.5 5867 5722.5 5004.75 4638.875 4497.875 3763.75 3316.125 2680.625 -487 -497 -497 -866.25 Kết tham dự 1367338469342_result5.txt 1367337521811_result1.txt 1367338031442_result3.txt 1367338141275_result4.txt 1367337920393_result2.txt 1367330362498_Submission_zy.results 1366035468189_exampletest.results 1367938209005_results2 (1).results 1367489769671_MICA_RobotVision_2.txt 1367937984977 results1 (1).results 1367487985297_MICA_RobotVision_1.txt 1368014381988_MICA_RobotVision_3.txt 1368038785876_gram_3dspmk_l2_k400.txt 1368090179987_gram_3dspmk_l2_k800.txt 1368090208187_gram_3dspmk_l2_k1000.txt 1367376643434_Submission_yl.results chúng tơi đề xuất kết hợp 02 nguồn liệu màu sắc (RGB) ảnh độ sâu (Depth) để nhận dạng xác có khung cảnh đề xuất Thuật tốn chạy cấu hình máy tính (CHIP Intel(R) Core(TM) i5-2520M CPU @ 3.2 GHz x 2, RAM 8GB), kích thước ảnh trung bình 640 × 480, thời gian tính tốn trêm ảnh 90.3 ms/ ảnh - CSDL PascalVOC 2007: Với đồ thị AP Hình B.13 thấy đặc trưng GIST phân lớp k-NN chạy với CSDL Pascal VOC 2007 cho kết trung bình, với AP=0.164, đồ thị AP lớp đối tượng Hình B.14 thấy rõ vai trò đặc trưng GIST sử dụng nhận dạng đối tượng cho kết tốt lớp người, tơ, xe bt, hình ti vi khơng tốt lớp lại Lý đối tượng CSDL đa dạng, số lượng lớn đặc biệt ảnh chứa nhiều đối tượng Tuy nhiên, GIST, k-NN cần phối hợp với đặc trưng khác kết tốt Một số hình ảnh kết nhận dạng CSDL Pascal VOC 2007: Hình B.15(a) khoanh vùng đối tượng ô tô, người (ngồi ô tô), đặc biệt với kỹ thuật quét cửa sổ toàn ảnh khoanh vùng khóm bên đường, giống đối tượng chậu hoa có CSDL Tuy nhiên, phương pháp cho kết 187 Hình B.13 Đồ thị AP 20 lớp đối tượng CSDL PascalVOC 2007 Hình B.14 Đồ thị AP lớp đối tượng CSDL PascalVOC 2007 188 (a) Phát (b) Phát đúng, thừa Hình B.15 Kết nhận dạng đối tượng CSDL Pascal VOC 2007 phát thừa Hình B.15(b) Hình B.15(c) (b) Nhận nhầm sang lớp chó (a) Lớp cừu (c) Nhận nhầm sang lớp Bò Hình B.16 Kết nhận dạng đối tượng CSDL Pascal VOC 2007 Thuật toán nhận dạng đối tượng sở liệu PascalVOC 2007 chạy máy tính cấu hình (CHIP Intel(R) Core(TM) i5-2520M CPU @ 3.2 GHz x 2, RAM 8GB) Kích thước trung bình ảnh (380 × 470) điểm ảnh, tốc độ tính tốn đạt 150 ms/ảnh 189 PHỤ LỤC C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU C.1 Xe camera thu thập liệu - Ý tưởng thử nghiệm: sử dụng 02 camera bố trí vng góc, thu liệu đồng thời: camera thứ chiếu xuống đất thu hình ảnh mặt đường, camera thứ hai hướng phía trước thu thập liệu khung cảnh, camera gắn gậy; cầm tay; gắn ghế; gắn xe đẩy hàng; gắn xe đạp mô tả Hình C.1 (a) Gắn ghế (b) Gắn xe đẩy hàng (c) Gắn xe đạp (e) Cầm tay người (d) Gắn gậy người Hình C.1 Một số giải pháp thu thập liệu từ camera Với thiết kế đề xuất Hình C.1, chúng tơi tiến hành đánh giá 02 kịch nhà trời sau: + Kịch (trong nhà): khu thực nghiệm - Đại học Gent - Vương quốc Bỉ, định nghĩa 06 địa điểm (A, B, C, D, E, G) xuất phát từ A thành vòng tròn khép kín qua điểm quay trở lại A, chiều dài hành trình d = 89.4m Hình C.2(a) Phương pháp thu thập liệu sử dụng ghế xe đẩy hàng mơ 190 tả Hình C.1(a-b) Kết lệch so với thực địa mơi tả Hình C.2(b) Kết thúc C B G Xuất phát C B A D A Xuất phát Kết thúc E D G Thực đòa Đúng E Sai (a) Kòch thử nghiệm (b) Kết vẽ đồ Hình C.2 Một số lỗi xây dựng đồ môi trường nhà cấu trúc mặt sàn không đồng nhất, số lượng đặc trưng khơng đồng gây lỗi tích lũy + Kịch (ngồi trời): khn viên Đại học Gent - Vương quốc Bỉ, định nghĩa 06 địa điểm (A, B, C, D, E, G) xuất phát từ A qua điểm quay lại A, chiều dài d = 320m Hình C.3(a) Phương pháp thu thập liệu sử dụng gậy, xe đạp người mơ tả Hình C.1(c-d-e) Xuất A phát D Xuất phát D Kết thúc A C E B E C B Thực đòa Kết thúc Đúng Sai G G (b) Kết vẽ đồ (a) Kòch thử nghiệm Hình C.3 Một số lỗi xây dựng đồ mơi trường ngồi trời Kết lệch với thực địa Hình C.3(b) điểm có mật độ đặc trưng dẫn tới việc sai số tích lũy làm thay đổi hành trình - Nhận xét đánh giá: Kết không đạt tiêu chí đặt hình ảnh bị rung, nghiêng Đặc biệt số lượng camera lớn 2, việc lắp đặt trở lên 191 khó khăn hay khó để xác định khoảng cách cụ thể để cố định camera theo hướng yêu cầu - Mục đích thiết kế xe camera: Hệ thống định vị xây dựng đồ môi trường luận án dựa giải thuật VO* FAB-MAP*, đó: + Giải thuật xây dựng đồ mơi trường VO*: sử dụng 01 camera gắn xe với góc nhìn trúc xuống mặt đường Ngun lý VO xem xét đến điểm đặc trưng trích chọn mặt phẳng để đơn giản phép tính homography phép ánh xạ ngược 2D-3D + Giải thuật định vị hình ảnh FAB-MAP*: sử dụng camera góc rộng (camera IP) thu thập hình ảnh khung cảnh phía trước, nguyên lý FAP-MAP* sử dụng xác suất có điều kiện Bayes quan sát thời với loạt quan sát trước để định vị trí định nghĩa đồ mơi trường Do cần có nguồn liệu thu thập, đồng thời phục vụ cho pha huấn luyện hai giải thuật có chất lượng hình ảnh tốt Chúng tơi đề xuất thiết kế chế tạo xe camera không phụ thuộc nhiều vào nguồn điện truyền thơng, mơ tả Hình C.4 (a) Bản vẽ thiết kế (b) Xe hoàn chỉnh Hình C.4 Thiết kế xe camera thu thập liệu Hình C.4(a) mơ tả chi tiết thiết kế xe camera kích thước: dài 1.3 m, rộng 0.6m, cao 1m (độ cao thay đổi 1.2m nhờ khóa định vị); cấu bánh bánh (02 bánh giảm sóc, 02 bánh nhựa chuyên động quay); mặt sàn khoan lỗ (cách 20 cm, đường kính lỗ Φ = 0.5mm) giúp cố định nhiều thiết bị thu thập; chữ L (chiều dài 50cm) cố định camera theo hướng; bảng bàn cờ (độ cao cách sàn 60 cm) di chuyển ngang giúp việc hiệu chỉnh tham số camera; 192 vật liệu sử dụng innox chống gỉ sét Hình C.4(b) thiết kế xe hoàn chỉnh gắn camera thu liệu C.2 Hiệu chỉnh camera góc rộng - Mục đích q trình hiệu chỉnh: Thu thập hình ảnh có chất lượng tốt, ổn định phục vụ cho cho loạt toán định vị, xây dựng đồ, tìm đường, phát vật cản Do bước tiền xử lý hiệu chỉnh camera quan trọng giúp cho thuật toán chạy nhanh hơn, loại bỏ lỗi ngoại lai khó phát Quá trình hiệu chỉnh việc xác định ma trận: ma trận nội (Intrinsic Matrix) ma trận biến dạng (Distortion Matrix) Trong [16] camera thông dụng hoạt động theo nguyên lý thu ảnh đối xứng Hình C.5 Do vậy, q điểm thu từ Camera Q điểm thực tế, ta có: Mặt phẳng ảnh Điểm thu nhận ảnh Trục quang học Hình C.5 Mơ hình thu nhận ảnh camera       X fx 0 x       q = MQ , q =  y  , M =  fy 0 Q =  Y  W 0 ω (C.1) Trong đó: fx fy chiều dài tiêu cựu camera, (Z, Y, Z) tọa độ điểm Q Tuy nhiên, tọa độ camera lúc thẳng mà bị lệch Để khắc phục điều người ta cần thêm vào hệ số cx cy để đưa góc thu nhận ảnh vị trí trung tâm Do cơng thức (C.1) trở thành:       X fx cx x       q = MQ , q =  y  , M =  fy cy  Q =  Y  W 0 ω (C.2) Ma trận M công thức (C.2) gọi ma trận nội Trong thực tế không 193 có camera hồn hoản nên làm việc với camera phải giải vấn đề biến dạng hình ảnh [16] đưa loại: biến dạng bán kính (Radial Distortion), ảnh thu nhận từ ống kính thường bị biến dạng chỗ gần cạnh biến dạng tiếp tuyến (Tangential Distortion) xảy không song song với ống kính Hình C.6 Ống kính Chíp cảm biến Ảnh méo Điểm bán dính Đối tượng hình vuông Mặt phẳng ảnh -2 -4 -6 -8 Ống kính -10 -10 -8 -6 -4 -2 10 Camera thông dụng (a) Biến dạng bán kính (b) Biến dạng tiếp tuyến Hình C.6 Các loại biến dạng thu nhận ảnh Qua thực nghiệm, biến dạng thường khơng lớn chuẩn hóa cách sử dụng vài hệ số triển khai Taylor xung quanh bán kính r = Để hiệu chỉnh loại biến dạng người ta thường thêm 02 hệ số k1 k2 méo thơng thường, trường hợp méo lớn sử dụng thêm hệ số k3 Do vậy, biến dạng bán kính điểm hiệu chỉnh cặp phương trình sau: xcorrected = x(1 + k1 r + k2 r + k3 r ) ycorrected = y(1 + k1 r + k2 r + k3 r ) (C.3) Trong (x, y) tọa độ điểm thu nhận camera, (xcorrected, ycorrected) tọa độ sau khử biến dạng Bằng cách làm tương tự biến dạng tiếp tuyến hai hệ số p1 p2 bổ sung vào hệ tọa độ (x, y) camera điều chỉnh cặp phương trình sau: xcorrected = x + [2p1 y + p2 (r + 2x2 )] ycorrected = y + [p1 (r + 2y 2) + 2p2 x] (C.4) Năm hệ số công thức (C.3) công thức (C.4) gom lại thành ma trận (5 × 1) gọi ma trận biến dạng công thức (C.5) Distortioncoef f icients = (k1 k2 p1 p2 k3 ) (C.5) Trong khuôn khổ luận án, sử dụng phương pháp ô bàn cờ (chess194 board) [16] bao gồm ô hình vuông đen trắng giao nhau, trình hiệu chỉnh thực biết vị trí giao đen trắng để tính tham số méo ảnh Sau kết hợp với tọa độ ảnh thu thập tìm tọa độ khơng gian theo cơng thức (C.4), (xcorrected, ycorrected) tọa độ không gian, (x, y) tọa hộ ảnh thu thập, (r, p1 , p2 ) tham số lấy từ q trình hiệu chỉnh camera Cơng thức chuyển tọa độ ảnh sang hệ tọa độ không gian:      X fx cx x       y  =  fy cy   Y  Z 0 ω (C.6) Trong (fx , fy ) tiêu cựu ống kính, (cx , cy ) điểm tâm quang, (ω = Z) hệ quy chiếu giới thực Quá trình hiệu chỉnh Camera phục vụ việc sửa méo hình ảnh thực mơ tả Hình C.7 (a) Hình ảnh chưa hiệu chỉnh (b) Hiệu chỉnh chessboard (c) Hình ảnh hiệu chỉnh Hình C.7 Q trình hiệu chỉnh méo hình ảnh từ camera góc nhìn rộng Hình C.7 minh họa kết hiệu chỉnh camera môi trường thử nghiệm luận án Đây bước tiền xử lý quan trọng, phục vụ cho toán liên quan đến hình ảnh như: định vị, phát ước lượng khoảng cách vật cản C.3 Robot PC-Bot914 PC-Bot 914 robot nghiên cứu chế tạo WhiteBox robotic Đây robot dịch vụ đa chức với tảng xử lý mạnh bao gồm thành phần: - Khối xử lý trung tâm: Được sử dụng máy tính chủ (host computer), có cấu hình iGoLogic i3899 Mini-ITX motherboard, xử lý intel Core DUO GHz, Gbyte, PC3200 DDR 400MHz DIMM (có thể nâng cấp lên 2x1 GB DDR 667MHz), ổ cứng 80 GB SATA Cung cấp sức mạnh xử lý lưu trữ liệu đa phương tiện cho phép nâng cấp dễ dàng ROBOT dùng hệ điều hành Windows Trên hệ điều 195 C0189168#06 C0189168#07 C0189168#10 C0189168#08 Hình C.8 Các phiên robot PC-Bot 914 hành có cung cấp mơi trường phát triển Trên windows với nhiều phần mềm BRAIN, Microsoft Robotic Studio Visual Studio 914 PC-Bot hỗ trợ dot Net Ngoài số diễn đàn có chương trình phát triển với java hay C++ Đối với phiên cài Linux (Ubuntu) có công cụ Players - Khối điều khiển trung tâm (M3): Hạt nhân khối vi điều khiển CM3410 hãng Power machine device Bên cạnh mạch điều khiển động mạch giao tiếp Nhiệm vụ khối M3 nhận tín hiệu thiết lập từ Host Computer (qua cổng USB), tín hiệu từ cảm biến hồng ngoại (qua mạch giao tiếp) thực tất công việc liên quan đến việc chuyển động điều khiển động bước Phần giao tiếp M3 gồm cổng vào tương tự (Analog_In1 Analog_In8) để nhận tín hiệu từ cảm biến hồng ngoại, cảm biến cho bit liệu sau tín hiệu qua ADC Ngồi nhiều cổng chưa sử dụng, như: cổng vào số; cổng số; cổng USB; cổng IDC; 10 chân dùng để kết nối với bo mạch chủ Ngồi 30 pin Samtec Conn dùng để kết nối với mạch khối điều khiển M3 Trong hệ có mạch I/O board Interface cần mạch đủ đáp ứng nhu cầu khác Tuy nhiên ta chọn tùy thuộc vào nhu cầu cụ thể - Khối thu thập liệu: cảm biến hồng ngoại phục vụ cho toán liên quan đến robot di động như: phát tránh vật cản bố trí thành phần: cảm biến nằm phần thân robot, khoang 8×5.25 (ở độ cao khoảng 370 mm) Góc nhìn cúi xuống cho phép 914 PC-BOT có nhìn tồn cảnh với cảm biến nằm phần chân đế với góc nhìn nằm ngang, mơ tả Hình C.9 - Khối chấp hành: Bao gồm động chiều điều khiển bánh xe bánh xe robot đó, bánh lớn dẫn hướng, bánh phụ giảm sóc cho robot Hình C.10 196 (IR1) 90❃ (IR2) 25❃ (IR3) 0❃ (IR 6, IR7, IR8) (IR4) -25❃ -90❃ (IR 2, IR3, IR4) (IR & IR5) (IR5) (a) 05 cảm biến hồng ngoại phát vật cản phía (b) Vò trí lắp cảm biến hồng ngoại Hình C.9 Vị trí lắp cảm biển hồng ngoại IR Hình C.10 Cơ cấu bánh xe điều khiển robot PC-Bot 914 197 ... GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN QUỐC HÙNG NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ Chuyên... cam đoan luận án: Nghiên cứu phát triển số kỹ thuật định vị dựa hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị cơng trình nghiên cứu riêng tơi Một phần số liệu, kết trình bày luận... giúp dẫn đường hiệu thân thiện trợ giúp NKT chủ đề đầy thách thức, động lực để NCS thực đề tài: Nghiên cứu phát triển số kỹ thuật định vị dựa hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm