(Đề tài NCKH) bộ GIÁO dục và đào TẠOTRƯỜNG đại học sư PHẠM kỹ THUẬTTHÀNH PHỐ hồ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG XÂY DỰNG MÔI TRƯỜNG 3D VÀ TỰ ĐỊNH VỊ CHO ROBOT MÃ SỐ: T2014-07TĐ SKC004809 Tp Hồ Chí Minh, 2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI KH&CN CẤP TRƯỜNG TRỌNG ĐIỂM XÂY DƯṆG MÔI TRƯỜNG 3D VÀ TỰ ĐỊNH VỊ CHO ROBOT Mã số: T2014-07TĐ Chủ nhiệm đề tài: TS Lê Mỹ Hà TP HCM, 04/2015 DANH SÁCH NHỮNG THÀNH VIÊN THAM GIA NGHIÊN CỨU ĐỀ TÀI Stt Họ tên TS Lê Mỹ Hà TS Ngô Văn Thuyên MỤC LỤC MỤC LỤC I DANH SÁCH CÁC HÌNH III DANH SÁCH CÁC CHỮ VIẾT TẮT V Chương 1: TỔNG QUAN 1.1.Tổng quan chung lĩnh vực nghiên cứu, kết nghiên cứu nước công bố 1.1.1.Tổng quan chung định vị robot 1.1.2.Kết nghiên cứu nước 1.2.Mục tiêu, khách thể đối tượng nghiên cứu 1.2.1.Mục tiêu nghiên cứu 1.2.2.Khách thể nghiên cứu 1.2.3.Đối tượng nghiên cứu 1.3.Nhiệm vụ đề tài phạm vi nghiên cứu 1.3.1.Nhiệm vụ đề tài 1.3.2.Phạm vi nhiên cứu 1.4.Phương pháp nghiên cứu Chương 2: XÂY DỰNG ĐÁM MÂY ĐIỂM TRONG KHÔNG GIAN 3D VÀ ĐỊNH VỊ ROBOT 2.1.Tìm cặp điểm đặc trưng tương đồng 2.1.1.Các loại đặc trưng 2.1.2.Đặc trưng SIFT I 2.2.Thông số nội camera 13 2.3.Thuật toán RANSAC 17 2.4.Định vị camera dựa điểm tương đồng .20 2.4.1.Hình học Epipolar ma trận 20 2.4.2.Ma trận thiết yếu thông số ngoại camera 21 2.5.Giải thuật điểm kết hợp RANSAC 21 2.6.Thuật tốn tối ưu xây dựng khơng gian đám mây điểm vị trí robot 22 Chương 3: THỰC NGHIỆM GIẢI THUẬT 24 3.1.Cân chỉnh camera tìm thông số nội camera 24 3.2.Trích rút đặc trưng SIFT 30 3.3.Mô tả cặp đặc trưng tương đồng 33 3.4.Ước lượng ma trận F ma trận thiết yếu E .33 Chương 4: KẾT LUẬN 39 PHỤ LỤC A 40 TÀI LIỆU THAM KHẢO 40 II DANH SÁCH CÁC HÌNH Hình 1.1: Dùng xe ô tô trang bị thiết bị định vị GPS để lập đồ Hình 2.1: Phương pháp tính DoG Hình 2.2: Tìm điểm đặc trưng từ giá trị DoG 10 Hình 2.3 Mơ tả điểm đặc trưng 13 Hình 2.4: Mơ hình Pinhold camera 14 Hình 2.5: Hệ tọa độ tương đương mơ hình Pinhold 14 Hình 2.6: Quan hệ tọa độ camera tọa độ khơng gian 16 Hình 2.7: Quan hệ tọa độ camera tọa độ khơng gian 17 Hình 2.8: Tập liệu đường thẳng 19 Hình 2.9: Tìm đường thẳng dùng thuật tốn RANSAC 19 Hình 2.10: Mơ tả hình học Epipolar 20 Hình 2.11: Mơ tả hình học frame liên tục với đặc trưng tương đồng 23 Hình 3.1: Lưu đồ thực tìm vị trí 24 Hình 3.2: Tập ảnh bàn cờ dùng cân chỉnh camera 29 Hình 3.3: Ảnh qua lọc Gaussian 30 Hình 3.4: Ảnh thể sau tinh DoG 30 Hình 3.5: Điểm đặc trưng ảnh 31 Hình 3.6: Hình thể đặc trưng SIFT 32 Hình 3.7: Cặp điểm đặc trưng tương đồng 33 Hình 3.8 Trích điểm đặc trưng SIFT đối sánh 35 III Hình 3.9 Tọa độ vị trí camera hai khung ảnh 36 Hình 3.10 Kết mơ vị trí robot dùng 372 ảnh 37 Hình 3.11 Kết thực nghiệm đám mây điểm 3D vị trí robot 38 IV DANH SÁCH CÁC CHỮ VIẾT TẮT SFM: Structure from motion SLAM: Simutaneous Localization and Mapping BA: Bundle Adjustment RANSAC: Random sample consensus SIFT: Scale invariant feature transform IR: Infrared radiation GPS: Global Positioning System V Chương TỔNG QUAN 1.1 Tổng quan chung lĩnh vực nghiên cứu, kết nghiên cứu ngồi nước cơng bố 1.1.1 Tổng quan chung định vị robot Định vịcho robot di động nhằm xác định xác vị trí robot đồ nghiên cứu từ lâu vàđã đạt nhiều thành công lớn Phương pháp định vị cổ điển dựa vào loại cảm biến để tính tốn khoảng cách, hướng, gia tốc để tính tốn, định quỹ đạo di chuyển robot Bên cạnh thành tựu đó, nhược điểm khách quan sai số từ cảm biến đưa cho robot khơng thể loại bỏ, mục tiêu chưa giải triệt để.Việc điều khiển robot dựa vào cảm biến robot chưa đủ để giải vấn đề Dần dần, nhà nghiên cứu nhận thấy cần phải phối hợp, tương tác với môi trường xung quanh, giúp robot thêm nhiều thơng tin để robot trả lời câu hỏi “tôi đâu?” Định vị robot sử dụng GPS, robot gắn thêm thiết bị định vị toàn cầu GPS Thiết bị giúp robot xác định khoảng cách từ tới vệ tinh xác định trước vũ trụ, để từ tính tốn vị trí robot.Tuy nhiên kết phù hợp với khu vực có quy mơ lớn Độ xác định vị dùng GPS khơng cao, sai số lên vàimet Định vị robot sử dụng thiết bị Kinect, nhờ thiết bị Kinect có camera RGB camera IR Thiết bị Kinect vừa thu thập hình ảnh, vừa thu thập độ sâu ảnh nhờ camera IR, giúp cho robot tính tốn khoảng cách từ robot đến vật cản mơi trường xung quanh, từ xác định vị trí robot mơi trường Trang Bài tốn lập đồ định vị cho robot chia làm loại: định vị cho robot nhà định vị cho robot trời Lập đồ định vị cho robot ngồi trời gặp nhiều khó khăn robot nhà địa hình gồ ghề hơn, mơi trường phức tạp quy mô rộng lớn Robot ngày trang bị cảm biến người, thị giác robot camera gắn robot nhằm thu thập hình ảnh xử lý Robot tự hành đơn giản trang bị camera mà không cần cảm biến tự định hành vi di chuyển robot hoạt động môi trường mà chưa biết đồ 1.1.2 Kết nghiên cứu nước Lập đồ có nhiều cách thức khác dùng thiết bị định vị toàn cầu GPS gắn ô tô nhưHình 1.1 Khi ô tô di chuyển, tọa độ ô tô cập nhật gửi máy chủ Từ máy chủ tính tốn vẽ đồ 2D mơi trường mà tơ di chuyển Tuy nhiên, độ xác thiết bị GPS không tốt, sai số từ vài mét vài chục mét Do đó, phương pháp định vị dùng GPS thích hợp với việc lập đồ quy mơ lớn Trang  Tìm giá trị sai số nhở dùng Levenberg-Marquardt Bước Tính méo xuyên tâm D i  u ux 2 y 2 i i i  vi v0xi2 yi2 ui u 0xi2 yi2 (3.19) d i  Gắn D d  Giải phương trình Dk = d , k biến  Tìm giá trị sai số nhở dùng Levenberg-Marquardt Kết thực hiện: Tập ảnh vào 30 ảnh chụp từ camera Canon A4000 IS Hình 3.2 Hình 3.2: Tập ảnh bàn cờ dùng cân chỉnh camera Trang 29  vi v0xi2 yi2  Kết tính ma trận thơng số camera A  530.451     3.2 Trích rút đặc trưng SIFT Theo mục 3.3 tài liệu [7] trước tìm cực trị khơng gian tỉ lệ ta cần tăng kích thước ảnh lên lần thực lọc Gaussian Hình 3.3: Ảnh qua lọc Gaussian Hình 3.4 thể tính DOG ảnh với cấp đầu tiên, ảnh L1, L2, L3, L4 tính từ công thức (2.1) (2.2) với = 2và ảnh DOG (D1, D2, D3)được tính từ cơng thức (2.3) Hình 3.4: Ảnh thể sau tinh DoG Từ giá trị D1, D2, D3 vận dụng tìm giá trị cực đại, cực tiểu lân cận 3x3x3 (26 pixel xung quanh) cho kết 982 điểm đặc trưng tìm thấy Sau vận dụng loại bỏ điểm đặc trưng có tính tương phản thấp cơng thức (2.6) Trang 30 cho kết 498 điểm đặc trưng tìm thấy Và cuối loại bỏ điểm đặc trưng dư thừa biên theo công thức (2.8) cho kết điểm đặc trưng tìm thấy Hình 3.5: Điểm đặc trưng ảnh Trong bước gán hướng cho điểm đặc trưng từ công thức (2.9) (2.10) ta đặt: Fx Lx 1, y Lx1, y(3.22) Fy Lx, y 1 Lx, y1(3.13) Thế (3.22) (3.23) vào (2.9) (2.10) ta được: mx, y x , y tan , tính theo lọc , : Fx Hx * Lx, y (3.26) Fy Hy * Lx, y Trang 31  Với: Hx  01  0  Tính giá trị Histogram hướng, sau tìm hai giá trị lớn Nếu giá trị thứ hai lớn 80% giá trị thứ hai chọn làm hướng chủ đạo Nếu khơng, chọn giá trị thứ làm hướng chủ đạo Khi hướng điểm đặc trưng lựa chọn, mô tả đặc trưng tính dựa vào tập Histogram hướng 4x4 Các Histogram hướng có giá trị tương tối so với giá trị hướng điểm đặc trưng, tập liệu hướng tính từ tập liệu ảnh Gaussian hệ số tỉ lệ điểm đặc trưng Để làm điều ta cần thực bước nhỏ sau: Bước 1: Tính Gradient tập giá Histogram hướng ma trận 4x4, bước có sử dụng lại tham số liên quan: ngưỡng, hệ số tỉ lệ octave hướng điểm đặc trưng Bước 2: Lượng tử giá trị hướng, mẫu thêm vào độ lớn sổ Gaussian Bước 3: Tạo vector đặc trưng SIFT có chiều dài 128x1 Bước 4: Chuẩn hóa mơ tả để khơng biến đổi cường độ thay đổi Hình 3.6: Hình thể đặc trưng SIFT Trang 32 3.3 Mô tả cặp đặc trưng tương đồng Trong trình di chuyển robot chụp hình ảnh liên tục nhau.Sau trích rút đặc trưng ảnh từ hình,ta cần tìm cặp điểm tương đồng hai đặc trưng từ hai ảnh.Giải thuật tìm cặp điểm tương đồng sau: Gọi n, m số điểm đặc trưng ảnh ảnh Ai, Bj giá trị đặc trưng SIFT ảnh ảnh (i=1:n, j=1:m) k = 1; Cho i chạy từ đến n: = L2(Ai,B1); cho j chạy từ đến m: Tính temp = L2(Ai,Bj); Nếu temp < thì: = temp; lưu vị trí điểm đặc trưng Ai Bj vào Ck; k = k+1; kết thúc Cặp đặc trưng tương đồng tìm thấy hai ảnh thể Hình 3.7 50 100 150 200 250 300 350 400 450 200 400 600 800 1000 1200 Hình 3.7: Cặp điểm đặc trưng tương đồng 3.4 Ước lượng ma trận F ma trận thiết yếu E Trong mục kết ước lượng ma trận F E dự liệu thực tế thu thập từ máy ảnh quay cảnh đường di chuyển, sau trích thành ảnh riêng biệt Tập liệu ảnh liên tiếp đường di chuyển Trang 33 robot Phần cứng cửa hệ thống thu thập liệu thí nghiệm trình bày phần Phụ lục A Bao gồm hệ thống camera lắp thiết bị di chuyển xe khuôn viên trường đại học sư phạm kỹ thuật Một thực nghiêm khác dựa sở liệu nhóm tác giả khác cơng bố internet Các bước tiến hành sau: lấy hai ảnh để tìm đặc trưng ảnh Sau tìm cặp điểm đặc trưng tương đồng hai ảnh a) b) Trang 34 c) Hình 3.8 Trích điểm đặc trưng SIFT đối sánh a) Điểm đặc trưng SIFT, b) Đối sánh trước thực giải thuật lọc RANSAC, c) Đối sánh sau thực giải thuật lọc RANSAC Tìm ma trận từ cặp điểm đặc trưng tương đồng, ta ma trận F: F   6.2448e 002  Tìm ma trận thiết yếu E, kết sau: E1.9928e 002 Từ kết ma trận E ta tìm ma trận thơng số ngoại camera, thơng số thể vị trí góc quay camera; gọi P1, P2 hai thông số camera chụp ảnh ảnh 2.Chọn camera làm góc tọa độ có: Trang 35 Tìm ma trận thơng số camera 2, ta kết quả: P2    0.00012  Hình 3.9 Tọa độ vị trí camera hai khung ảnh Trong đồ 2D ta chọn giá trị P(1,4) thể vị trí tọa độ x, P(3,4) thể vị trí tọa độ z Vẽ đường thẳng thể dịch chuyển camera không gian thể Hình 3.9 Trang 36 Hình 3.10 Kết mơ vị trí robot dùng 372 ảnh Lặp lại tương tự, ta tìm vị trí camera Hình 3.10 thể kết từ 372 hình Trong lần thực nghiệm thứ thứ với sở liệu thu khuôn viên trường đại học sư phạm kỹ thuật TP.HCM Số frame dùng lần thực nghiệm 621 kích thước frame 1280x720 Để kiểm tra tính xác phương pháp này, thiết bị thí nghiệm cho di chuyển qua vịng khép kín (closed loop) Kết thực nghiêm cho thấy vị trí góc quay xe ước lượng xác, quỹ đạo di chuyển thiết bị khơi phục lại khép kín quỹ đạo di chuyển Rõ ràng với số lượng điểm đặc trưng khoảng 5000 frame sơ tương đồng cặp frame khoảng 70% Trang 37 đến 93% Đồng thờiđám mây điểm 3D không gian làm việc xây dựng dày đặc, thu 144453 điểm không gian 3D Ở việc xây dựng mật độ điểm 3D dày đặc bị hạn chế tốc độ xử lý máy tính khơng đủ mạnh để thực Kết thực nghiệm thể hình 3.11 Hình 3.11 Kết thực nghiệm đám mây điểm 3D vị trí robot Trang 38 Chương KẾT LUẬN Trong nghiên cứu tác giả thực bước xây dựng không gian 3D cho môi trường làm việc robot dạng đám mây điểm ảnh, từ sở xây dựng nên mơ hình chiều khơng gian dạng mật độ dày đặc Vị trí robot hướng di chuyển tính tốn xác Nhìn chung nghiên cứu có mặt ưu điểm sau: Thứ cách tiếp cận hình học đa góc nhìn phương pháp tăng dần theo frame ảnh tránh xử dụng phương pháp tối ưu toàn cục kiểu truyền thống cân chỉnh vị trí camera để tìm vị trí camera đám mây ảnh gọi “Bundle ajustment” tốn nhiều thời gian xử lý đồng thời phải thu thập đầy đủ liệu ảnh để thực hiện, không phù hợp việc phát triển hệ thống định vị online Thứ hai, phương pháp xử dụng thị giác máy tính để định vị cho robot khắc phục nhược điểm hệ thống định vĩ dùng GPS thiết bị hoạt động nhà mơi trường khơng có tin hiệu GPS tín hiệu GPS bị sai lệch Điều thường xảy đối tượng cần định vị làm việc môi trường đường hầm, nước, thành thị mật độ cơng trình xây dựng dày đặc Phương pháp đề xuất cịn làm việc bền vững mơi trường ánh sang phức tạp ngồi trời, thời gian tính tốn nhanh độ xác cao Trong nghiên cứu tới giải thuật nghiên cứu phát triển thành hệ thống định vị cho robot tự hành nhà trời kết hợp giải thuật nhận dạng đối tượng, nhận thức môi trường xung quanh Đồng thời đám mây điểm chiều không gian lưu lại làm sở liệu cho việc định vị tức thời xem biết trước môi trường làm việc Trang 39 PHỤ LỤC A Hình ảnh thiết bị thu thực thực nghiệm khuôn viên trường đại học sư phạm kỹ thuật TPHCM TÀI LIỆU THAM KHẢO Trang 40 Nguyễn Minh Thức, Định vị cho mobile robot sử dụng GPS, ĐH SPKT 1] 2012 Lê Minh, Vẽ Map 3D 2D dùng stereo camera, ĐH SPKT TPHCM, 2012 2] Motilal Agrawal, Real-time Localization in Outdoor Environments using 3] sion and Inexpensive GPS, ICPR, 2006 Renato F Salas-Moreno and Andrew J Davison, SLAM++: Simultaneous 4] ion and Mapping at the Level of Objects, CVPR, 2013 Harris C and Stephens, A combined corner and edge detector, Proceedings 5] vey Vision Conference, 1988 D Lowe, Object recognition from local scale-invariant features, Proc of the 6] nal Conference on Computer Vision, 1999 David G Lowe, Distinctive Image Features from Scale-Invariant Keypoints, 7] ational Journal of Computer Vision, 2004 My-Ha Le, A comparison of SIFT and Harris conner features for 8] dence points matching, National IT Industry Promotion Agency, 2010 Konstantinos G Derpanis, Overview of the RANSAC Algorithm, 2010 9] Richard Hartley and Andrew Zisserman, Multiple View Geometry in 10] r Vision, the United States of America by Cambridge University Press, 2004 Zhang, A flexible new technique for camera calibration, IEEE, 2000 11] Trang 41 KRYSTIAN MIKOLAJCZYK, Scale & Affine Invariant Interest Point 12] , INRIA Rhne-Alpes GRAVIR-CNRS, 2004 Krystian Mikolajczyk, Indexing based on scale invariant interest points, the 13] oject RNRT AGIR, 2004 Trang 42 ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI KH&CN CẤP TRƯỜNG TRỌNG ĐIỂM XÂY DƯṆG MÔI TRƯỜNG 3D VÀ TỰ ĐỊNH VỊ CHO... vụ đề tài phạm vi nghiên cứu 1.3.1.Nhiệm vụ đề tài 1.3.2 .Phạm vi nhiên cứu 1.4.Phương pháp nghiên cứu Chương 2: XÂY DỰNG ĐÁM MÂY ĐIỂM TRONG KHÔNG GIAN 3D VÀ ĐỊNH... bày phần Phụ lục A Bao gồm hệ thống camera lắp thiết bị di chuyển xe khuôn viên trường đại học sư phạm kỹ thuật Một thực nghiêm khác dựa sở liệu nhóm tác giả khác cơng bố internet Các bước tiến