Hcmute định vị robot di động ngoài trời bằng camera đa hướng kết hợp global positioning system (gps)

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG ĐỊNH VỊ ROBOT DI ĐỘNG NGOÀI TRỜI BẰNG CAMERA ĐA HƯỚNG KẾT HỢP GLOBAL POSITIONING SYSTEM (GPS) S K C 0 9 MÃ SỐ: 2015-39TĐ S KC 0 3 Tp Hồ Chí Minh, tháng 03/2016 Luan van MỤC LỤC MỤC LỤC I DANH SÁCH CÁC HÌNH III DANH SÁCH CÁC CHỮ VIẾT TẮT V Chương 1: TỔNG QUAN 1.1 Tổng quan chung lĩnh vực nghiên cứu, kết nghiên cứu ngồi nước cơng bố 1.1.1 Tổng quan chung định vị robot 1.1.2 Kết nghiên cứu nước 1.2 Mục tiêu đối tượng nghiên cứu 1.2.1 Mục tiêu nghiên cứu 1.2.3 Đối tượng nghiên cứu 1.3 Nhiệm vụ đề tài phạm vi nghiên cứu 1.3.1 Nhiệm vụ đề tài 1.3.2 Phạm vi nhiên cứu 1.4 Phương pháp nghiên cứu Chương 2: Những cơng trình liên quan đề xuất phương pháp định vị dùng omni-directional camera kết hợp GPS Error! Bookmark not defined 2.1 Tìm cặp điểm đặc trưng tương đồng I Luan van 2.1.1 Các loại đặc trưng 2.1.2 Đặc trưng SIFT 12 2.2 Thông số nội camera Error! Bookmark not defined 2.3 Thuật toán RANSAC 17 2.4 Định vị camera dựa điểm tương đồngError! Bookmark not defined 2.4.1 Hình học Epipolar ma trận Error! Bookmark not defined 2.4.2 Ma trận thiết yếu thông số ngoại camera Error! Bookmark not defined 2.5 Giải thuật điểm kết hợp RANSAC Error! Bookmark not defined 2.6 Thuật tốn tối ưu xây dựng khơng gian đám mây điểm vị trí robot Error! Bookmark not defined Chương 3: THỰC NGHIỆM GIẢI THUẬT 32 3.1 Cân chỉnh camera tìm thơng số nội cameraError! Bookmark not defined 3.2 Trích rút đặc trưng SIFT Error! Bookmark not defined 3.3 Mô tả cặp đặc trưng tương đồng Error! Bookmark not defined 3.4 Ước lượng ma trận F ma trận thiết yếu E Error! Bookmark not defined Chương 4: KẾT LUẬN 36 PHỤ LỤC A 37 TÀI LIỆU THAM KHẢO 38 II Luan van III Luan van DANH SÁCH CÁC HÌNH Hình 1.1: Dùng xe ô tô trang bị thiết bị định vị GPS để lập đồ Error! Bookmark not defined Hình 2.1: Phương pháp tính DoG 13 Hình 2.2: Tìm điểm đặc trưng từ giá trị DoG 13 Hình 2.3 Mơ tả điểm đặc trưng 16 Hình 2.4: Mơ hình Pinhold camera Error! Bookmark not defined Hình 2.5: Hệ tọa độ tương đương mơ hình PinholdError! Bookmark not defined Hình 2.6: Quan hệ tọa độ camera tọa độ khơng gianError! Bookmark not defined Hình 2.7: Quan hệ tọa độ camera tọa độ không gianError! Bookmark not defined Hình 2.8: Tập liệu đường thẳng 18 Hình 2.9: Tìm đường thẳng dùng thuật tốn RANSAC 18 Hình 2.10: Mơ tả hình học Epipolar Error! Bookmark not defined Hình 2.11: Mơ tả hình học frame liên tục với đặc trưng tương đồng Error! Bookmark not defined Hình 3.1: Lưu đồ thực tìm vị trí Error! Bookmark not defined Hình 3.2: Tập ảnh bàn cờ dùng cân chỉnh camera Error! Bookmark not defined Hình 3.3: Ảnh qua lọc Gaussian Error! Bookmark not defined Hình 3.4: Ảnh thể sau tinh DoG Error! Bookmark not defined Hình 3.5: Điểm đặc trưng ảnh Error! Bookmark not defined IV Luan van Hình 3.6: Hình thể đặc trưng SIFT Error! Bookmark not defined Hình 3.7: Cặp điểm đặc trưng tương đồng Error! Bookmark not defined Hình 3.8 Trích điểm đặc trưng SIFT đối sánh Error! Bookmark not defined Hình 3.9 Tọa độ vị trí camera hai khung ảnh đầu tiênError! Bookmark not defined Hình 3.10 Kết mơ vị trí robot dùng 372 ảnh.Error! Bookmark not defined Hình 3.11 Kết thực nghiệm đám mây điểm 3D vị trí robot Error! Bookmark not defined V Luan van DANH SÁCH CÁC CHỮ VIẾT TẮT SFM: Structure from motion DOF: degrees of freedom IMU: inner measurement unit SLAM: Simutaneous Localization and Mapping BA: Bundle Adjustment RANSAC: Random sample consensus SIFT: Scale invariant feature transform IR: Infrared radiation GPS: Global Positioning System VI Luan van Chương TỔNG QUAN 1.1 Tổng quan chung lĩnh vực nghiên cứu, kết nghiên cứu ngồi nước cơng bố 1.1.1 Tổng quan chung định vị robot Đề tài đề xuất phương pháp định vị cho thiết bị di chuyển ngồi trời dùng thuật tốn điểm kết hợp với vùng tương đồng đường biên hệ thống thị giác đơn môi trường đô thị rộng lớn Việc định vị bậc tự (five degrees of freedom-5 DOF) ước lượng camera đơn-đa hướng cải thiện giả định di chuyển mặt phẳng hầu hết nghiên cứu trước Trong năm gần mơ hình di chuyển tựa xe với giả định chuyển động mặt phẳng thường nghiên cứu để giảm bớt yêu cầu điểm tương đồng điểm Tuy nhiên, ứng dụng thực tế việc di chuyển xa trời, di chuyển không thỏa mãn điều kiện Điều dẫn đến khơng xác việc định vị Trong phương pháp đề xuất này, mơ hình tựa xe tận dụng cho việc định vị bậc tự do, nhiên yêu cầu điểm đặc trưng tương đồng giảm xuống điểm kết hợp với vùng đối sánh, phương pháp đơn giản nhiều so với phương pháp –điểm RANSAC Những sai số tích lũy hệ thống đo lường hình ảnh loại bỏ cách kết hợp với hệ thống định vị GPS dạng ước lượng cực đại hàm xác suất phương pháp lọc Kalman mở rộng Những ứng dụng thực tế vùng đồi núi cho thấy độ xác việc định vị theo phương pháp Việc điều hướng cho thiết bị tự hành hay rô bốt hướng nghiên cứu quan trọng áp dụng nhiều lĩnh vực khác định vị, hoạch Trang Luan van định đường đối sánh với đồ Mặc dù vài thành đạt lĩnh vực chưa có phương pháp thỏa mãn yêu cầu độ xác cao tính bền vững khoảng cách di chuyển xa điều kiện địa hình hay mơi trường khác Trong năm gần đây, nhiều phương pháp phát triển cho việc điều hướng thiết bị di chuyển tạm chia số phương pháp sau: Phương pháp sử dụng thiết bị điện từ (ví dụ hệ thống định vị toàn cầu GPS, đơn vị đo lường bên (IMU), dụng cụ đo vòng quay bánh xe, cảm biến laze), phương pháp dựa quan sát (camera đơn, sterio camera, camera đa hướng phản xạ qua gương) phương pháp kết hợp thiết bị điện từ hệ thống quan sát hình ảnh Trong nhóm đầu tiên, thiết bị GPS gắn thiết bị di chuyển nhận tín hiệu từ vệ tinh sau cho tín hiệu tuyệt đối vị trí đồ Độ xác phương pháp thường thấp, tín hiệu từ vệ tinh thường bị dịch so với giá trị thực, tịa nhà vùng thị thường gây nên tượng làm hay nhảy tín hiệu từ vệ tinh thiết bị di chuyển bị thông tin Để cải thiện phương pháp số cảm biến khác sử dụng bổ sung, hệ thống trở thành hệ thống đa cảm biến Ví dụ việc bổ sung thêm thiết bị đo lường vịng bánh xe cải thiện độ xác dich chuyển gây sai số bánh xe bị trượt hay di chuyển đường gồ ghề Loại thiết bị khác xem xét đến IMU Thiết bị dùng cho việc đo lường gia tốc hướng Tuy nhiên, giá thành loại thiết bị đắt tiền Cảm biến laser lựa chọn tốt trường hợp , nhiên tín hiệu bị yếu đối tượng xuất khoảng cách xa khơng có phản xạ Nhìn chung, tín hiệu GPS xác hình dạng việc di chuyển rộng, tồn cục khơng xác vị trí cục Đặc tính quan trọng tận dụng cho việc định vị Trong nhóm thứ hai, hệ thống thị giác gắn thiết bị di chuyển thu thập hình ảnh/ Video từ cảnh vật xung quanh cho bước xử lý sau Trang Luan van Thơng thường ràng buộc góc quay tịnh tiến khung hình liên tục phân tích trước tiên Một số đặc trưng bền vững xem điểm mốc ví dụ điểm, đường thẳng, mặt phẳng Sau hệ thống tìm tương đồng đặc trưng này, dịch chuyển đối tượng tính tốn Ở khơng rõ ràng tính tỷ lệ quan trọng Với thiết bị hình ảnh cân chỉnh, tỷ lệ mơ hình cảnh vật thật biết cách rõ ràng Tuy nhiên, tỷ lệ ban đầu phải ước lượng dùng thiết bị bổ trợ ví dụ cảm biến laser kết hợp với camera đơn Nhìn chung, loại hệ thống tạo kết xác khoảng di chuyển ngắn hay mơi trường khơng có tín hiệu GPS Vấn đề lớn sai số tích lũy thiết bị di chuyển làm việc môi trường rộng lớn sai số tích lũy lớn dần, Vì vậy, quy đạo cuối bị phân kỳ so sánh với giá trị thực Tuy nhiên ưu điểm rõ ràng phương pháp sai số cục khoảng di chuyển nhỏ nhỏ Đặc trưng tân dụng đề tài nghiên cứu Trong nhóm thứ ba, kết hợp thiết bị điện từ phương pháp dựa thị giác đề xuất Những phương pháp loại tận dụng ưu điểm loại cảm biến Tín hiệu tồn cục từ GPS dùng làm thơng tin tham khảo vị trí cảm biến thị giác Hơn nữa, dịch chuyển hệ thống thị giác ước lượng cách dễ dàng mơi trường ngồi trời giàu thơng tin (ví dụ nhiều vật mốc tự nhiên nhân tạo) Hệ thống thị giác dùng thơng tin tồn cục từ GPS để điều chỉnh lại vị trí Bên cạnh cảm biến bù trừ lẫn trường hợp hai tín hiệu Ví dụ thiết bị di chuyển đường hầm hay thành phố có mật độ tịa nhà dày đặc, tín hiệu GPS bị dao động, hệ thống thị giác hoạt động độc lập Mặc khác hệ thống thị giác chỉnh định lại tính hiệu GPS bị sai Cơng trình nghiên cứu tiến hành dựa nhận định Trang Luan van Hình 9: Sự kết hợp dựa đặc tính SIFT Bước tham chiếu điểm ảnh tọa độ cầu: Ps  P  ( x s , y s , z s )T P (2.26) Bước thứ hai chuyển trục tọa độ cầu tọa độ tham chiếu với tâm C = (0,0,-  ) : P  ( xs , ys , z s   )T (2.27) Khoảng cách ξ thay đổi từ đến phụ thuộc vào loại kính Khoảng cách bề mặt kính phẳng parabon tương ứng Với loại kính khác, giá trị tính khoảng cách d tiêu điểm đường chuẩn l HÌnh 10: Mơ hình camera đa hướng hình cầu Trang 27 Luan van Giá trị ξ mô tả bảng sau: Loại kính ξ η Parabol -2l Hyperbol d 2l d  4l d  4l Elip d 2l d  4l Tương ứng d  4l 2 -1 Bước thứ ba tham chiều từ C lên mặt phẳng ảnh thông thường  x ys m  ( xm , ym ,1)   s ,  zs   zs   T T  ,1  g 1 ( Ps )  (2.28) Bước thứ tư tham chiểu từ mặt phẳng ảnh thông thường lên hình ảnh camera thơng qua ma trận K : p  Km (2.29) Ở đây, f K    f fr u0  v0   (2.30) Với f tiêu cự , (u0, v0) điểm bản, α thông số skew r hệ số biến dạng Cuối ma trận biến đổi g từ điểm m đến điểm tương ứng mặt cầu mô tả sau: Trang 28 Luan van     (1   )( x  y )   x  2   x  y 1      (1   )( x  y )   g ( m)   y  x2  y2        (1   )( x  y )    2 x  y 1   (2.31) Để tìm đối sánh điểm tương ứng phương pháp 1-points RANSAC áp dụng [5] 2.4 SỰ HIỆU CHỈNH SAI SỐ ĐO VỊ TRÍ CỦA HỆ THỐNG DẪN ĐƯỜNG QUA VỆ TINH GPS Có nhiều phương pháp cho việc kết hợp nhiều cảm biến đo Ở việc hiệu chỉnh từ thiết bị GPS mơ tả trục XY, Bởi sai số trục Z xủa hệ thống đo lường hình ảnh nhỏ sai số thiết bị GPS lớn Việc khắc phục sai số dựa phương trình dạng ước lượng cực đại hàm xác suất phương pháp lọc Kalman mở rộng 2.4.1 Đánh giá giá trị đo từ GPS Trong tất hệ thống định vị vị trí khoảng rộng, GPS xem thiết bị đo có định hướng Tuy nhiên để có độ xác thiết bị địi hỏi phải tốn Với đầu thu chuẩn, tín hiệu thu từ GPS khơng chắn độ tin cậy Do việc đánh giá liệu ban đầu thể hình 11 Đặc biệt thiết bị di chuyển vùng nhiều mật độ di chuyển khu thị tín hiệu bị phản xạ , phân tán chí bị lạc hướng Điều dẫn đến sai số việc xác định vị trí dùng GPS Vì lý mà vị trí đo từ GPS với sai số nhỏ dùng để hiệu chỉnh thiết bị đo hình ảnh Còn sai số lớn bị loại bỏ Hơn việc ước lượng độ cao phương tiện di chuyển Trang 29 Luan van trục Z thường chứa sai số lớn Do tính tốn hiệu chỉnh sai số mặt phẳng XY Khoảng cách đo từ GPS là:  x gps (t )    N gps Pgps (t )    y ( t )  gps  Y Vo YGPS (2.32) θo GPS position O’ Yo X XGPS Xo OO Hình 11: kết hợp hệ thống đo lường hình ảnh GPS Ở ( xgps (t ) , y gps (t ) )T tọa độ vị trí GPS, N gps hàm nhiễu tín hiệu Như đề cập trên, việc đo lường GPS bị ảnh hưởng lớn loại nhiễu tín hiệu, sai số vị trí GPS mô tả sau :   x2, gps  gps (t )   r x , gps y , gps  x, gps ,  y, gps r hệ số toàn phần ( r r x , gps y , gps    y2, gps  (2.33) độ lệch chuẩn sai số x y hệ tọa độ XY, 1) Giá trị  x, gps ,  y, gps  lấy từ NMEA Ở  thông số định hướng trục sai số elip hướng bắc Và r tính tốn dựa  sau: Trang 30 Luan van  tg (2 )( x2   y2 )   ,0    2 x x  r 2  tg (2 )( y   x ) ,      2 x x  (2.34) Nếu độ lệch chuẩn x y thấp so với ngưỡng đưa trước thiết bị GPS đạt độ xác cao dẫn đến thiết bị đo hình ảnh xác Nếu khơng dùng kết từ việc đo hình ảnh để xác định vị trí phương tiện di chuyển 2.4.2 Chuẩn hóa sai số đo từ GPS: EFK sử dụng rộng rãi việc xác định vị trí từ hệ thống đo lường kết hợp nhiều cảm biến [19] Ở vị trí phương tiện ước tinh hệ thống đo hình ảnh sử dụng phương trình dạng ước lượng cực đại hàm xác suất phương pháp lọc Kalman mở rộng sai số nhỏ (thấp ngưỡng cho phép) Pˆ f (t )  P(t )   f (t ) gps ( Pgps (t )  P(t )) 1  f (t )  ( p (t ) 1   gps ) (2.35) (2.36) Với Pˆ f (t )  f (t ) tương ứng với vị trí xác phương tiện sai số ma trận sau kết hợp Pˆ f (t )  f (t ) thay Pˆ f (t )  f (t ) Trang 31 Luan van Chương THỰC NGHIỆM GIẢI THUẬT Trong ngày thực nghiệm tiến hành để đánh giá tính hiệu phương pháp đề xuất Thực tiến hành khoảng di chuyển dài vùng thị rộng lớn có diện tích 0.7x0.7 km Đoạn video GPS thu nhận từ camera cầu có dạng hyperbol thiết bị thu nhận GPS gắn bên thiết bị hình 12 Trong thực nghiệm đoạn đường đồ xem quỹ đạo thực đánh dấu đường màu vàng đứt nét hình 14 Hai thực nghiệm tiến hành nghiên cứu , thí nghiệm thứ so sánh quỹ đạo 3D với chuyển động giả định 2D Thí nghiệm thứ hai so sánh hệ thống thị giác so với hệ thống thị giác kết hợp với GPS (a) (b) Hình 12: Xe gắn với nhiều cảm biến: (a) cảm biến xe (b) Xe điện Trang 32 Luan van Trong thí nghiệm thứ nhất, khoảng cách di chuyển đối tượng 1.62 km 5716 khung hình xử lý Những hình ảnh từ camera cầu trải dạng panorama hướng đối tượng xác định trước khung hình để tìm góc β, vùng ảnh có kích cỡ 50x240 khung hình trượt lên khung hình thứ hai Ngược lại với phương pháp đối sánh dùng Normalize Cross Correlation (NCC) Sum of Squared Differences (SSD) thường yêu cầu khối lượng tính toán nhiều, phương pháp đối sánh chamfer thực vùng biên vùng ảnh mẫu ảnh panorama khung hình thứ hai tạo phương pháp phát biên kanny để giảm sai số, giá trị góc β phải nhỏ βmax= 150 Điều luôn thực tế Thậm chí góc đường 900 hay nhỏ hơn, góc thay đổi hình dạng cung trịn cấu trúc khí mơ hình động học đối tượng Với hạn chế sai số lớn hướng gây vật mốc gần loại bỏ Hình 13 trình bày thay đổi góc theo khung hình liên tục Đồng thời bước xử lý song song với nó, đặc trưng SIFT trích từ khung hình liên tục Những tính tốn góc alpha từ ma trận thiết hiệu kết hợp với thuật toán RANSAC để loại bỏ đặc trưng sai Trong thí nghiệm tốc độ di chuyển đổi tượng số 10 km/h Vector dịch chuyển tịnh tiến tính tốn theo thời gian cách nhân với tốc độ Cuối sai số việc so sánh quỹ đạo 3D giả định chuyển động mặt phẳng 2D trình bày bảng Bảng 2: So sánh chuyển động quỹ đạo 3D 2D Phương pháp Giả thuyết 2D Quỹ đạo 3D Khoảng cách 1758 1557 Sai số 10.85% 3.89% Trang 33 Luan van 0.2 0.15 0.1 Beta angle (radian) 0.05 -0.05 -0.1 -0.15 -0.2 500 1000 1500 Frames 2000 2500 3000 Hình 13: Giá trị β so với số khung ảnh Trong thí nghiệm thứ hai so sánh hệ thống thị giác hoạt động độc lập hệ thống thị giác kết hợp với GPS Như giải thích phần trên, quỹ đạo hệ thống thị giác thường phải gánh chịu sai số tích lũy, quỹ đạo bị phân kỳ so với quỹ đạo thật khoảng cách di chuyển xa trình bày hình 14 Vị trí xác GPS chọn lựa từ cách đo độ lệch Nếu xich ma