(Đề tài NCKH) định vị robot di động ngoài trời bằng camera đa hướng kết hợp global positioning system (GPS)

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG ĐỊNH VỊ ROBOT DI ĐỘNG NGOÀI TRỜI BẰNG CAMERA ĐA HƯỚNG KẾT HỢP GLOBAL POSITIONING SYSTEM (GPS) MÃ SỐ: 2015-39TĐ SKC005330 Tp Hồ Chí Minh, tháng 03/2016 MỤC LỤC MỤC LỤC I DANH SÁCH CÁC HÌNH III DANH SÁCH CÁC CHỮ VIẾT TẮT V Chương 1: TỔNG QUAN 1.1 Tổng quan chung lĩnh vực nghiên cứu, kết nghiên cứu nước công bố 1.1.1 Tổng quan chung định vị robot 1.1.2 Kết nghiên cứu nước 1.2 Mục tiêu đối tượng nghiên cứu 1.2.1 Mục tiêu nghiên cứu 1.2.3 Đối tượng nghiên cứu 1.3 Nhiệm vụ đề tài phạm vi nghiên cứu 1.3.1 Nhiệm vụ đề tài 1.3.2 Phạm vi nhiên cứu 1.4 Phương pháp nghiên cứu Chương 2: Những cơng trình liên quan đề xuất phương pháp định vị dùng omni-directional camera kết hợp GPS Error! Bookmark not defined 2.1 Tìm cặp điểm đặc trưng tương đồng I 2.1.1 Các loại đặc trưng 2.1.2 Đặc trưng SIFT 12 2.2 Thông số nội camera Error! Bookmark not defined 2.3 Thuật toán RANSAC 17 2.4 Định vị camera dựa điểm tương đồngError! Bookmark not defined 2.4.1 Hình học Epipolar ma trận .Error! Bookmark not defined 2.4.2 Ma trận thiết yếu thông số ngoại camera Error! Bookmark not defined 2.5 Giải thuật điểm kết hợp RANSAC Error! Bookmark not defined 2.6 Thuật tốn tối ưu xây dựng khơng gian đám mây điểm vị trí robot Error! Bookmark not defined Chương 3: THỰC NGHIỆM GIẢI THUẬT 32 3.1 Cân chỉnh camera tìm thơng số nội cameraError! Bookmark not defined 3.2 Trích rút đặc trưng SIFT Error! Bookmark not defined 3.3 Mô tả cặp đặc trưng tương đồng .Error! Bookmark not defined 3.4 Ước lượng ma trận F ma trận thiết yếu E Error! Bookmark not defined Chương 4: KẾT LUẬN 36 PHỤ LỤC A 37 TÀI LIỆU THAM KHẢO 38 II III DANH SÁCH CÁC HÌNH Hình 1.1: Dùng xe ô tô trang bị thiết bị định vị GPS để lập đồ Error! Bookmark not defined Hình 2.1: Phương pháp tính DoG 13 Hình 2.2: Tìm điểm đặc trưng từ giá trị DoG 13 Hình 2.3 Mơ tả điểm đặc trưng 16 Hình 2.4: Mơ hình Pinhold camera Error! Bookmark not defined Hình 2.5: Hệ tọa độ tương đương mơ hình PinholdError! Bookmark not defined Hình 2.6: Quan hệ tọa độ camera tọa độ không gianError! Bookmark not defined Hình 2.7: Quan hệ tọa độ camera tọa độ khơng gianError! Bookmark not defined Hình 2.8: Tập liệu đường thẳng 18 Hình 2.9: Tìm đường thẳng dùng thuật tốn RANSAC 18 Hình 2.10: Mơ tả hình học Epipolar Error! Bookmark not defined Hình 2.11: Mơ tả hình học frame liên tục với đặc trưng tương đồng Error! Bookmark not defined Hình 3.1: Lưu đồ thực tìm vị trí Error! Bookmark not defined Hình 3.2: Tập ảnh bàn cờ dùng cân chỉnh camera Error! Bookmark not defined Hình 3.3: Ảnh qua lọc Gaussian Error! Bookmark not defined Hình 3.4: Ảnh thể sau tinh DoG Error! Bookmark not defined Hình 3.5: Điểm đặc trưng ảnh Error! Bookmark not defined IV Hình 3.6: Hình thể đặc trưng SIFT Error! Bookmark not defined Hình 3.7: Cặp điểm đặc trưng tương đồng Error! Bookmark not defined Hình 3.8 Trích điểm đặc trưng SIFT đối sánh Error! Bookmark not defined Hình 3.9 Tọa độ vị trí camera hai khung ảnh đầu tiênError! Bookmark not defined Hình 3.10 Kết mơ vị trí robot dùng 372 ảnh.Error! Bookmark not defined Hình 3.11 Kết thực nghiệm đám mây điểm 3D vị trí robot Error! Bookmark not defined V DANH SÁCH CÁC CHỮ VIẾT TẮT SFM: Structure from motion DOF: degrees of freedom IMU: inner measurement unit SLAM: Simutaneous Localization and Mapping BA: Bundle Adjustment RANSAC: Random sample consensus SIFT: Scale invariant feature transform IR: Infrared radiation GPS: Global Positioning System VI Chương TỔNG QUAN 1.1 Tổng quan chung lĩnh vực nghiên cứu, kết nghiên cứu ngồi nước cơng bố 1.1.1 Tổng quan chung định vị robot Đề tài đề xuất phương pháp định vị cho thiết bị di chuyển ngồi trời dùng thuật tốn điểm kết hợp với vùng tương đồng đường biên hệ thống thị giác đơn môi trường đô thị rộng lớn Việc định vị bậc tự (five degrees of freedom-5 DOF) ước lượng camera đơn-đa hướng cải thiện giả định di chuyển mặt phẳng hầu hết nghiên cứu trước Trong năm gần mơ hình di chuyển tựa xe với giả định chuyển động mặt phẳng thường nghiên cứu để giảm bớt yêu cầu điểm tương đồng điểm Tuy nhiên, ứng dụng thực tế việc di chuyển xa trời, di chuyển không thỏa mãn điều kiện Điều dẫn đến khơng xác việc định vị Trong phương pháp đề xuất này, mơ hình tựa xe tận dụng cho việc định vị bậc tự do, nhiên yêu cầu điểm đặc trưng tương đồng giảm xuống điểm kết hợp với vùng đối sánh, phương pháp đơn giản nhiều so với phương pháp –điểm RANSAC Những sai số tích lũy hệ thống đo lường hình ảnh loại bỏ cách kết hợp với hệ thống định vị GPS dạng ước lượng cực đại hàm xác suất phương pháp lọc Kalman mở rộng Những ứng dụng thực tế vùng đồi núi cho thấy độ xác việc định vị theo phương pháp Việc điều hướng cho thiết bị tự hành hay rô bốt hướng nghiên cứu quan trọng áp dụng nhiều lĩnh vực khác định vị, hoạch Trang định đường đối sánh với đồ Mặc dù vài thành đạt lĩnh vực chưa có phương pháp thỏa mãn yêu cầu độ xác cao tính bền vững khoảng cách di chuyển xa điều kiện địa hình hay mơi trường khác Trong năm gần đây, nhiều phương pháp phát triển cho việc điều hướng thiết bị di chuyển tạm chia số phương pháp sau: Phương pháp sử dụng thiết bị điện từ (ví dụ hệ thống định vị tồn cầu GPS, đơn vị đo lường bên (IMU), dụng cụ đo vòng quay bánh xe, cảm biến laze), phương pháp dựa quan sát (camera đơn, sterio camera, camera đa hướng phản xạ qua gương) phương pháp kết hợp thiết bị điện từ hệ thống quan sát hình ảnh Trong nhóm đầu tiên, thiết bị GPS gắn thiết bị di chuyển nhận tín hiệu từ vệ tinh sau cho tín hiệu tuyệt đối vị trí đồ Độ xác phương pháp thường thấp, tín hiệu từ vệ tinh thường bị dịch so với giá trị thực, tòa nhà vùng đô thị thường gây nên tượng làm hay nhảy tín hiệu từ vệ tinh thiết bị di chuyển bị thơng tin Để cải thiện phương pháp số cảm biến khác sử dụng bổ sung, hệ thống trở thành hệ thống đa cảm biến Ví dụ việc bổ sung thêm thiết bị đo lường vòng bánh xe cải thiện độ xác dich chuyển gây sai số bánh xe bị trượt hay di chuyển đường gồ ghề Loại thiết bị khác xem xét đến IMU Thiết bị dùng cho việc đo lường gia tốc hướng Tuy nhiên, giá thành loại thiết bị đắt tiền Cảm biến laser lựa chọn tốt trường hợp , nhiên tín hiệu bị yếu đối tượng xuất khoảng cách xa khơng có phản xạ Nhìn chung, tín hiệu GPS xác hình dạng việc di chuyển rộng, tồn cục khơng xác vị trí cục Đặc tính quan trọng tận dụng cho việc định vị Trong nhóm thứ hai, hệ thống thị giác gắn thiết bị di chuyển thu thập hình ảnh/ Video từ cảnh vật xung quanh cho bước xử lý sau Trang Thơng thường ràng buộc góc quay tịnh tiến khung hình liên tục phân tích trước tiên Một số đặc trưng bền vững xem điểm mốc ví dụ điểm, đường thẳng, mặt phẳng Sau hệ thống tìm tương đồng đặc trưng này, dịch chuyển đối tượng tính tốn Ở khơng rõ ràng tính tỷ lệ quan trọng Với thiết bị hình ảnh cân chỉnh, tỷ lệ mơ hình cảnh vật thật biết cách rõ ràng Tuy nhiên, tỷ lệ ban đầu phải ước lượng dùng thiết bị bổ trợ ví dụ cảm biến laser kết hợp với camera đơn Nhìn chung, loại hệ thống tạo kết xác khoảng di chuyển ngắn hay mơi trường khơng có tín hiệu GPS Vấn đề lớn sai số tích lũy thiết bị di chuyển làm việc mơi trường rộng lớn sai số tích lũy lớn dần, Vì vậy, quy đạo cuối bị phân kỳ so sánh với giá trị thực Tuy nhiên ưu điểm rõ ràng phương pháp sai số cục khoảng di chuyển nhỏ nhỏ Đặc trưng tân dụng đề tài nghiên cứu Trong nhóm thứ ba, kết hợp thiết bị điện từ phương pháp dựa thị giác đề xuất Những phương pháp loại tận dụng ưu điểm loại cảm biến Tín hiệu tồn cục từ GPS dùng làm thơng tin tham khảo vị trí cảm biến thị giác Hơn nữa, dịch chuyển hệ thống thị giác ước lượng cách dễ dàng mơi trường ngồi trời giàu thơng tin (ví dụ nhiều vật mốc tự nhiên nhân tạo) Hệ thống thị giác dùng thơng tin tồn cục từ GPS để điều chỉnh lại vị trí Bên cạnh cảm biến bù trừ lẫn trường hợp hai tín hiệu Ví dụ thiết bị di chuyển đường hầm hay thành phố có mật độ tịa nhà dày đặc, tín hiệu GPS bị dao động, hệ thống thị giác hoạt động độc lập Mặc khác hệ thống thị giác chỉnh định lại tính hiệu GPS bị sai Cơng trình nghiên cứu tiến hành dựa nhận định Trang trục Z thường chứa sai số lớn Do tính tốn hiệu chỉnh sai số mặt phẳng XY Khoảng cách đo từ GPS là: P (t) gps Y Vo θo Y GPS position GPS O’ Yo X O O N gps Hình 11: kết hợp hệ thống đo lường hình ảnh GPS T Ở ( xgps (t) , ygps (t) ) tọa độ vị trí GPS, hàm nhiễu tín việc đo lường GPS bị ảnh hưởng lớn hiệu Như đề cập trên, sai số vị trí GPS mơ tả sau : loại nhiễu tín hiệu,  đây x,gps ,  y,gps r hệ số toàn phần ( r1 ) Giá trị x,gps , y,gps  lấy từ NMEA Ở  thông số định hướng trục sai số elip hướng bắc Và r tính tốn dựa trên sau: Trang 30   tg(2)( y2 x2 )  Nếu độ lệch chuẩn x y thấp so với ngưỡng đưa trước thiết bị GPS đạt độ xác cao dẫn đến thiết bị đo hình ảnh xác Nếu không dùng kết từ việc đo hình ảnh để xác định vị trí phương tiện di chuyển 2.4.2 Chuẩn hóa sai số đo từ GPS: EFK sử dụng rộng rãi việc xác định vị trí từ hệ thống đo lường kết hợp nhiều cảm biến [19] Ở vị trí phương tiện ước tinh hệ thống đo hình ảnh sử dụng phương trình dạng ước lượng cực đại hàm xác suất phương pháp lọc Kalman mở rộng sai số nhỏ (thấp ngưỡng cho phép) ˆ Pf (t) P(t) f (t)gps (Pgps (t) P(t)) ˆ Với Pf (t) và f (t) sai số ma trận sau kết hợp ˆ  (t) Pf (t) f ˆ Pf (t) Trang 31 Chương THỰC NGHIỆM GIẢI THUẬT Trong ngày thực nghiệm tiến hành để đánh giá tính hiệu phương pháp đề xuất Thực tiến hành khoảng di chuyển dài vùng thị rộng lớn có diện tích 0.7x0.7 km Đoạn video GPS thu nhận từ camera cầu có dạng hyperbol thiết bị thu nhận GPS gắn bên thiết bị hình 12 Trong thực nghiệm đoạn đường đồ xem quỹ đạo thực đánh dấu đường màu vàng đứt nét hình 14 Hai thực nghiệm tiến hành nghiên cứu , thí nghiệm thứ so sánh quỹ đạo 3D với chuyển động giả định 2D Thí nghiệm thứ hai so sánh hệ thống thị giác so với hệ thống thị giác kết hợp với GPS (a) (b) Hình 12: Xe gắn với nhiều cảm biến: (a) cảm biến xe (b) Xe điện Trang 32 Trong thí nghiệm thứ nhất, khoảng cách di chuyển đối tượng 1.62 km 5716 khung hình xử lý Những hình ảnh từ camera cầu trải dạng panorama hướng đối tượng xác định trước khung hình để tìm góc β, vùng ảnh có kích cỡ 50x240 khung hình trượt lên khung hình thứ hai Ngược lại với phương pháp đối sánh dùng Normalize Cross Correlation (NCC) Sum of Squared Differences (SSD) thường u cầu khối lượng tính tốn nhiều, phương pháp đối sánh chamfer thực vùng biên vùng ảnh mẫu ảnh panorama khung hình thứ hai tạo phương pháp phát biên kanny để giảm sai số, giá trị góc β phải nhỏ β max= 15 Điều luôn thực tế Thậm chí góc đường 90 hay nhỏ hơn, góc thay đổi hình dạng cung trịn cấu trúc khí mơ hình động học đối tượng Với hạn chế sai số lớn hướng gây vật mốc gần loại bỏ Hình 13 trình bày thay đổi góc theo khung hình liên tục Đồng thời bước xử lý song song với nó, đặc trưng SIFT trích từ khung hình liên tục Những tính tốn góc alpha từ ma trận thiết hiệu kết hợp với thuật toán RANSAC để loại bỏ đặc trưng sai Trong thí nghiệm tốc độ di chuyển đổi tượng số 10 km/h Vector dịch chuyển tịnh tiến tính tốn theo thời gian cách nhân với tốc độ Cuối sai số việc so sánh quỹ đạo 3D giả định chuyển động mặt phẳng 2D trình bày bảng Bảng 2: So sánh chuyển động quỹ đạo 3D 2D Trang 33 0.2 0.15 0.1 (radian) 0.05 Beta angle -0.05 -0.1 -0.15 -0.20 Hình 13: Giá trị β so với số khung ảnh Trong thí nghiệm thứ hai so sánh hệ thống thị giác hoạt động độc lập hệ thống thị giác kết hợp với GPS Như giải thích phần trên, quỹ đạo hệ thống thị giác thường phải gánh chịu sai số tích lũy, quỹ đạo bị phân kỳ so với quỹ đạo thật khoảng cách di chuyển xa trình bày hình 14 Vị trí xác GPS chọn lựa từ cách đo độ lệch Nếu xich ma