(Đồ án hcmute) định vị cho robot di động ngoài trời dùng giải thuật xử lý ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO KHĨA LUẬN TỐT NGHIỆP NGÀNH CƠNG NGHỆ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA ĐỊNH VỊ CHO ROBOT DI ĐỘNG NGOÀI TRỜI DÙNG GIẢI THUẬT XỬ LÝ ẢNH GVHD: TS LÊ MỸ HÀ SVTH: TRƯƠNG CHÁNH TRỰC MSSV: 11151210 SVTH: NGUYỄN TRẦN HOÀNG VŨ MSSV: 11151189 SKL 0 Tp Hồ Chí Minh, tháng 7/2015 an BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HỒ CHÍ MINH KHOA: ĐÀO TẠO CHẤT LƯỢNG CAO BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG  ĐỒ ÁN TỐT NGHIỆP Đề tài: ĐỊNH VỊ CHO ROBOT DI ĐỘNG NGOÀI TRỜI DÙNG GIẢI THUẬT XỬ LÝ ẢNH GVHD: TS LÊ MỸ HÀ SVTH: TRƯƠNG CHÁNH TRỰC 11151210 NGUYỄN TRẦN HOÀNG VŨ 11151189 NGÀNH: CNKT ĐIỀU KHIỂN – TỰ ĐỘNG HĨA KHĨA: 2011 - 2015 TP.HỒ CHÍ MINH – 7/2015 an CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* BẢNG NHẬN XÉT CỦA GIÁO VIÊN HƢỚNG DẪN Họ tên Sinh viên 1: MSSV: Họ tên Sinh viên 2: MSSV: Ngành: Tên đề tài: Họ tên Giáo viên hƣớng dẫn: NHẬN XÉT Về nội dung đề tài & khối lƣợng thực hiện: Ƣu điểm: Khuyết điểm: an Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng Giáo viên hƣớng dẫn an năm 20 CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* BẢNG NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên 1: MSSV: Họ tên Sinh viên 2: MSSV: Ngành: Tên đề tài: Họ tên Giáo viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lƣợng thực hiện: Ƣu điểm: Khuyết điểm: an Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày 01 tháng 08 năm 2015 Giáo viên phản biện an LỜI CẢM ƠN Lời đầu tiên, chúng em xin gửi đến thầy, TS Lê Mỹ Hà lời cảm ơn chân thành sâu sắc Nhờ có hƣớng dẫn giúp đỡ tận tình thầy suốt thời gian qua, chúng em thực hoàn thành Luận văn tốt nghiệp Những lời nhận xét, góp ý hƣớng dẫn tận tình Thầy nhƣ kim nam, giúp chúng em có định hƣớng đắng suốt trình thực đề tài Đồng thời, chúng em xin trân trọng cảm ơn Thầy Cô trƣờng Đại Học Sƣ Phạm Kỹ Thuật nói chung thầy thuộc Khoa Chất Lƣợng Cao nói riêng dạy dỗ chúng em suốt quãng đƣờng ngồi ghế giảng đƣờng Đại học Những kiến thức mà Thầy Cô truyền đạt trở thành tảng giúp chúng em hoàn thành đề tài Bên cạnh đó, chúng tơi xin cảm ơn quan tâm giúp đỡ nhiệt tình bạn bè thời gian học tập trƣờng thời gian hoàn thành Luận văn Cuối cùng, chúng xin chân thành cảm ơn động viên , hỗ trợ chăm sóc anh chị em cha mẹ suốt bốn năm giảng đƣờng trƣờng Đại học Sƣ Phạm Kỹ Thuật Thành phố Hồ Chí Minh Sự quan tâm, lo lắng, hi sinh cha mẹ , ngƣời sinh ni dƣỡng chúng nguồn động lực lớn giúp chúng học tập nên ngƣời Gửi đến cha mẹ lời cám ơn sâu sắc Mặc dù nhóm chúng em cố gắng nhiều suốt thời gian thực đề tài này, nhƣng khơng thể tránh khỏi thiếu sót Chúng em mong nhận đƣợc góp ý Thầy cơ, gia đình, bạn bè để đồ án tốt nghiệp đƣợc hoàn thiện Chúng em xin chân thành cảm ơn! Tp Hồ Chí Minh, ngày 01 tháng 08 năm 2015 i an TÓM TẮT Mục tiêu đề tài định vị robot thiết bị di chuyển Robot thiết bị di chuyển dùng camera chụp ảnh 2D trính di chuyển để ƣớc lƣợng vị trí camera đƣợc gắn nó, sau tính tốn vị trí hƣớng khơng gianđang tƣơng tác Đề tài nhóm làm việc dựa liệu vào tập ảnh 2D, nhóm xây dựng hệ thống camera để thu thập liệu đầu vào trình di chuyển đƣờng robot hệ thống di chuyển cần xác định vị trí tƣơng ứng mơi trƣờng làm việc Đểhồn thành đề tài này,nhóm nghiên cứu vấn đề sau:  Tìm hiểu lý thuyết lập đồ định vị robot  Tìm hiểu xử lý ảnh: phép tốn xử lý ảnh, trích đặt trƣng từ ảnh, loại bỏ đặt trƣng yếu sai  Thuật tốn trích đặt trƣng SIFT từ hình ảnh  Thuật tốn RANSAC loại bỏ đặt trƣng yếu hình ảnh  Thuật tốn tối ƣu tái cấu trúc 3D xây dựng đồ 3D, xác định vị trí góc quay camera để tìm vị trí hƣớng robot Cách tiếp cận nghiên cƣ́u kh ảo sát sở lý thuyế t nh ững phƣơng pháp có, phân tích ƣu nhƣợc điểm Tiến hành đề xuất phƣơng pháp cải tiến Thực mô giải thuật phần mềm Khi thu đƣợc sai số cho phép tiến hành thƣ̣c nghiêm phầ n cƣ́ng môi trƣ ờng thƣ̣c t ế Tóm lại, phƣơng pháp nghiên cứu đề tài trƣớc tiên tiên hành nghiên cứu lý thuyết, sau kiểm chứng thực tế rút kết luận Nhóm xây dựng đƣợc hệ thống camera đơn stereo camera  Kết định vị thiết bị di chuyển từ hệ thống camera đơn xác, định vị đƣợc đƣờng thiết bị  Hệ thống stereo camera kết chƣa xác, khó khăn việc cân chỉnh hệ thống camera ii an MỤC LỤC MỤC LỤC iii DANH SÁCH CÁC HÌNH v DANH SÁCH CÁC CHỮ VIẾT TẮT vii CHƢƠNG 1: TỔNG QUAN 1.1 Tổng quan chung 1.1.1 Tổng quan chung định vị robot 1.1.2 Kết nghiên cứu nƣớc 1.2 Mục tiêu, khách thể đối tƣợng nghiên cứu 1.2.1 Mục tiêu nghiên cứu 1.2.2 Khách thể nghiên cứu 1.2.3 Đối tƣợng nghiên cứu 1.3 Nhiệm vụ đề tài phạm vi nghiên cứu 1.3.1 Nhiệm vụ đề tài 1.3.2 Phạm vi nhiên cứu 1.4 Phƣơng pháp nghiên cứu CHƢƠNG 2: XÂY DỰNG ĐÁM MÂY ĐIỂM TRONG KHÔNG GIAN 3D VÀ ĐỊNH VỊ ROBOT 2.1 Tìm cặp điểm đặc trƣng tƣơng đồng 2.1.1 Các loại đặc trƣng 2.1.2 Đặc trƣng SIFT 2.2 Thông số nội camera 10 2.3 Thuật toán RANSAC 13 2.4 Định vị camera dựa điểm tƣơng đồng 15 2.4.1 Hình học Epipolar ma trận 15 2.4.2 Ma trận thiết yếu thông số ngoại camera 16 2.5 Giải thuật điểm kết hợp RANSAC 16 2.6 Thuật toán tối ƣu xây dựng không gian đám mây điểm vị trí robot 17 2.7 Stereo camera 18 CHƢƠNG 3: THỰC NGHIỆM ĐỊNH VỊ TRÍ THIẾT BỊ DI CHUYỂN 21 3.1 Cân chỉnh camera tìm thơng số nội camera 21 3.2 Trích rút đặc trƣng SIFT 30 3.3 Mô tả cặp đặc trƣng tƣơng đồng 33 3.4 Ƣớc lƣợng ma trận F ma trận thiết yếu E 34 CHƢƠNG 4: KẾT LUẬN 40 PHỤ LỤC A 41 TÀI LIỆU THAM KHẢO 42 iii an DANH SÁCH CÁC HÌNH Hình 2.1: Phƣơng pháp tính DoG Hình 2.2: Tìm điểm đặc trƣng từ giá trị DoG Hình 2.3 Mơ tả điểm đặc trƣng Hình 2.4: Mơ hình Pinhold camera 10 Hình 2.5: Hệ tọa độ tƣơng đƣơng mơ hình Pinhold 11 Hình 2.6: Quan hệ tọa độ camera tọa độ không gian 12 Hình 2.7: Quan hệ tọa độ camera tọa độ không gian 13 Hình 2.8: Tập liệu đƣờng thẳng 14 Hình 2.9: Tìm đƣờng thẳng dùng thuật tốn RANSAC 15 Hình 2.10: Mơ tả hình học Epipolar 15 Hình 2.11: Mơ tả hình học frame liên tục với đặc trƣng tƣơng đồng 18 Hình 2.12 : Các mạng lọc 5x5 18 Hình 2.13: Mơ tả tính độ sâu ảnh 20 Hình 3.1: Lƣu đồ thực tìm vị trí 21 Hình 3.2: Lƣu đồ cân chỉnh camera 26 Hình 3.3: Chọn đƣờng dẫn đến thƣ mục hình 27 Hình 3.4: Kích cỡ cạnh Chessboard 27 Hình 3.5: Bảng xuất sau chèn đƣờng dẫn hình 27 iv an Hình 3.8: Reprojection error Ứng dụng hiển thị đơn vị pixel, reprojection errors biểu diễn dƣới dạng biểu đồ cột Ta nhận dạng loại bỏ cặp hình gây ảnh hƣởng xấu tới kết từ danh sách cặp hình Data Browser Cải thiện phép cân chỉnh Để cải thiện phép cân chỉnh, ta loại bỏ cặp hình sai lệch lớn, thêm cặp hình, thay đổi thông số cài đặt ứng dụng Thêm vào bớt cặp hình: Cân nhắc thêm cặp hình nếu: Các cặp hình có 10 cặp Vật mẫu không bao phủ đủ frame ảnh Vật mẫu không đủ hƣơng Cân nhắc lƣợc bỏ bớt cặp hình nếu: Có giá trị trung bình reprojection error cao Các hình mờ Có bàn cờ mẫu đặt góc lớn 45𝑜 so với mặt phẳng camera Có điểm nhận dạng sai Sau cân chỉnh ảnh, ta lƣu lại đƣợc file có tên: calibrationSession 29 an Hình 3.9: CalibrationSession Trong có ma trận nội cần tìm Kết đạt đƣợc: Stereo camera 1240.51488661257 A= 860.641374415025 1188.12532758652 405.255263716000 0 (3.1) 1085.90292400211 396.887222441076 0 (3.2) Camera đơn 1085.20951706851 A= 630.323663988985 3.2 Trích rút đặc trƣng SIFT Theo mục 3.3 tài liệu [7] trƣớc tìm cực trị khơng gian tỉ lệ ta cần tăng kích thƣớc ảnh lên lần thực lọc Gaussian 30 an Hình 0.10 : Ảnh qua lọc Gaussian Hình 3.4 thể tính DOG ảnh với cấp đầu tiên, ảnh L1, L2, L3, L4 tính từ cơng thức (2.1) (2.2) với 𝛿 = 2và ảnh DOG (D1, D2, D3) đƣợc tính từ cơng thức (2.3) Hình 0.11 : Ảnh thể sau tinh DoG Từ giá trị D1, D2, D3 vận dụng tìm giá trị cực đại, cực tiểu lân cận 3x3x3 (26 pixel xung quanh) cho kết 982 điểm đặc trƣng đƣợc tìm thấy Sau vận dụng loại bỏ điểm đặc trƣng có tính tƣơng phản thấp công thức (2.6) cho kết 498 điểm đặc trƣng đƣợc tìm thấy Và cuối loại bỏ điểm đặc trƣng dƣ thừa biên theo công thức (2.8) cho kết điểm đặc trƣng đƣợc tìm thấy 31 an Hình 0.12 : Điểm đặc trƣng ảnh Trong bƣớc gán hƣớng cho điểm đặc trƣng từ công thức (2.9) (2.10) ta đặt: Fx  L  x  1, y   L  x  1, y  (0.3) Fy  L  x, y  1  L  x, y  1 (0.4) m  x, y   Fx  Fy (0.5) Thế (3.3) (3.4`) vào (2.9) (2.10) ta đƣợc:  Fy    Fx  (0.6)   x, y   tan 1  𝐹𝑥, 𝐹𝑦 đƣợc tính theo lọc 𝐻𝑥, 𝐻𝑦: Fx  Hx * L  x, y  Fy  Hy * L  x, y  (0.7) (3.8) 0 1   0 0   Với: Hx  0 0  Hy   1  (3.9) 0   0  Tính giá trị Histogram hƣớng, sau tìm hai giá trị lớn Nếu giá trị thứ hai lớn 80% giá trị thứ hai đƣợc chọn làm hƣớng chủ đạo Nếu khơng, chọn giá trị thứ làm hƣớng chủ đạo Khi hƣớng điểm đặc trƣng đƣợc lựa chọn, mơ tả đặc trƣng đƣợc tính dựa vào tập Histogram hƣớng 4x4 Các Histogram hƣớng có 32 an giá trị tƣơng tối so với giá trị hƣớng điểm đặc trƣng, tập liệu hƣớng tính từ tập liệu ảnh Gaussian hệ số tỉ lệ điểm đặc trƣng Để làm điều ta cần thực bƣớc nhỏ sau: Bƣớc 1: Tính Gradient tập giá Histogram hƣớng ma trận 4x4, bƣớc có sử dụng lại tham số liên quan: ngƣỡng, hệ số tỉ lệ octave hƣớng điểm đặc trƣng Bƣớc 2: Lƣợng tử giá trị hƣớng, mẫu đƣợc thêm vào độ lớn sổ Gaussian Bƣớc 3: Tạo vector đặc trƣng SIFT có chiều dài 128x1 Bƣớc 4: Chuẩn hóa mơ tả để khơng biến đổi cƣờng độ thay đổi Hình 0.13 : Hình thể đặc trƣng SIFT 3.3 Mô tả cặp đặc trƣng tƣơng đồng Trong trình di chuyển robot chụp hình ảnh liên tục Sau trích rút đƣợc đặc trƣng ảnh từ hình, ta cần tìm cặp điểm tƣơng đồng hai đặc trƣng từ hai ảnh Giải thuật tìm cặp điểm tƣơng đồng nhƣ sau: Gọi n, m số điểm đặc trưng ảnh ảnh Ai, Bj giá trị đặc trưng SIFT ảnh ảnh (i=1:n, j=1:m) k = 1; Cho i chạy từ đến n: = L2(Ai,B1); cho j chạy từ đến m: Tính temp = L2(Ai,Bj); Nếu temp < thì: = temp; lưu vị trí điểm đặc trưng Ai Bj vào Ck; 33 an k = k+1; kết thúc Cặp đặc trƣng tƣơng đồng đƣợc tìm thấy hai ảnh thể Hình 3.14 50 100 150 200 250 300 350 400 450 200 3.4 400 600 800 1000 Hình 0.14: Cặp điểm đặc trƣng tƣơng đồng 1200 Ƣớc lƣợng ma trận F ma trận thiết yếu E Trong mục kết ƣớc lƣợng ma trận F E dự liệu thực tế thu thập đƣợc từ máy ảnh quay cảnh đƣờng di chuyển, sau trích thành ảnh riêng biệt Tập liệu ảnh liên tiếp đƣờng di chuyển robot Phần cứng cửa hệ thống thu thập liệu thí nghiệm đƣợc trình bày nhƣ phần Phụ lục A Bao gồm hệ thống camera đƣợc lắp thiết bị di chuyển xe máy khuôn viên trƣờng đại học sƣ phạm kỹ thuật Một thực nghiêm khác dựa sở liệu nhóm tác giả khác đƣợc công bố internet Các bƣớc tiến hành nhƣ sau: lấy hai ảnh để tìm đặc trƣng ảnh Sau tìm cặp điểm đặc trƣng tƣơng đồng hai ảnh 34 an a) b) c) Hình 3.15 Trích điểm đặc trƣng SIFT đối sánh a) Điểm đặc trƣng SIFT, b) Đối sánh trƣớc thực giải thuật lọc RANSAC, c) Đối sánh sau thực giải thuật lọc RANSAC 35 an Tìm ma trận từ cặp điểm đặc trƣng tƣơng đồng, ta đƣợc ma trận F:  1.5962e  006 4.7908e  004 5.9811e  002  F   4.7873e  004 6.5853e  006 3.0742e  001 (3.10)  6.2448e  002 3.0877e  001  Tìm ma trận thiết yếu E, đƣợc kết sau:  6.6448e  001 1.9943e  002 2.0751e  001  E  1.9928e  002 2.7413e  000 2.7600e  000  (3.11)  2.0316e  001 1.8371e  000 6.1219e  002  Từ kết ma trận E ta tìm ma trận thơng số ngoại camera, thơng số thể vị trí góc quay camera; gọi P1, P2 hai thông số camera chụp ảnh ảnh Chọn camera làm góc tọa độ có: 1 0  P1  0 0  (3.12) 0  Tìm ma trận thơng số camera 2, ta đƣợc kết quả:  0.9999 P   0.0019  0.00012 0.0019 0.9999 0.00013 0.06264  0.0011  0.15385 (3.13) 0.00117 0.9999 1.50584  Hình 3.16: Tọa độ vị trí camera hai khung ảnh 36 an Trong đồ 2D ta chọn giá trị P(1,4) thể vị trí tọa độ x, P(3,4) thể vị trí tọa độ z Vẽ đƣờng thẳng thể dịch chuyển camera không gian thể Hình 3.16 Hình 3.17: Kết mơ vị trí robot dùng 372 ảnh Lặp lại tƣơng tự, ta tìm vị trí camera Hình 3.17 thể kết từ 372 hình Trong lần thực nghiệm thứ thứ với sở liệu thu đƣợc khuôn viên trƣờng đại học sƣ phạm kỹ thuật TP.HCM Số frame dùng lần thực nghiệm 1051 kích thƣớc frame 1280x720 Để kiểm tra tính xác phƣơng pháp này, thiết bị thí nghiệm đƣợc cho di chuyển qua vịng khép kín 37 an Hình 3.18: Kết thực nghiệm đám mây điểm 3D vị trí robot Kết thực nghiêm với camera đơn cho thấy vị trí góc quay xe đƣợc ƣớc lƣợng xác, quỹ đạo di chuyển thiết bị đƣợc khơi phục lại hầu nhƣ khép kín nhƣ quỹ đạo di chuyển Rõ ràng với số lƣợng điểm đặc trƣng khoảng 7000 frame sơ tƣơng đồng cặp frame khoảng 70% đến 93% Đồng thời đám mây điểm 3D không gian làm việc đƣợc xây dựng dày đặc Ở việc xây dựng mật độ điểm 3D dày đặc bị hạn chế tốc độ xử lý máy tính khơng đủ mạnh để thực Kết thực nghiệm thể hình 3.18 Hình 3.19: Kết thực nghiệm với hệ thống stereo camera 38 an Kết thực nghiêm với stereo camera cho thấy vị trí góc quay xe đƣợc ƣớc lƣợng với độ xác tƣơng đối thấp, quỹ đạo di chuyển thiết bị đƣợc khơi phục lại chƣa đƣợc khép kín nhƣ quỹ đạo di chuyển Rõ ràng với số lƣợng điểm đặc trƣng khoảng vỏn vẹn vài chục, tƣơng đồng thấp từ 15% đến 20% u cầu xác khó Kết thực nghiệm thể hình 3.19 39 an CHƢƠNG 4: KẾT LUẬN Trong đề tài nhóm thực đƣợc bƣớc xây dựng khơng gian 3D cho môi trƣờng làm việc robot dƣới dạng đám mây điểm ảnh, từ sở xây dựng nên mơ hình chiều khơng gian dƣới dạng mật độ dày đặc Vị trí robot hƣớng di chuyển đƣợc tính tốn tƣơng đối xác Nhìn chung đề tài cứu có mặt ƣu điểm nhƣ sau:  Thứ cách tiếp cận hình học đa góc nhìn phƣơng pháp tăng dần theo frame ảnh tránh xử dụng phƣơng pháp tối ƣu toàn cục kiểu truyền thống cân chỉnh vị trí camera để tìm vị trí camera đám mây ảnh gọi “Bundle ajustment” tốn nhiều thời gian xử lý đồng thời phải thu thập đầy đủ liệu ảnh để thực hiện, nhƣ không phù hợp việc phát triển hệ thống định vị  Phƣơng pháp đề xuất cịn làm việc bền vững môi trƣờng ánh sáng phức tạp ngồi trời, thời gian tính tốn nhanh độ xác cao Phƣơng hƣớng phát triển tƣơng lai giải thuật đƣợc nghiên cứu phát triển thành hệ thống định vị cho robot tự hành nhà trời kết hợp giải thuật nhận dạng đối tƣợng, nhận thức môi trƣờng xung quanh Đồng thời đám mây điểm chiều không gian lƣu lại làm sở liệu cho việc định vị tức thời xem nhƣ biết trƣớc môi trƣờng làm việc 40 an PHỤ LỤC A Hình ảnh thiết bị thực nghiệm 41 an TÀI LIỆU THAM KHẢO [1] Nguyễn Minh Thức, Định vị cho mobile robot sử dụng GPS, ĐH SPKT TPHCM, 2012 [2] Lê Minh, Vẽ Map 3D 2D dùng stereo camera, ĐH SPKT TPHCM, 2012 [3] Motilal Agrawal, Real-time Localization in Outdoor Environments using Stereo Vision and Inexpensive GPS, ICPR, 2006 [4] Renato F Salas-Moreno and Andrew J Davison, SLAM++: Simultaneous Localisation and Mapping at the Level of Objects, CVPR, 2013 [5] Harris C and Stephens, A combined corner and edge detector, Proceedings of the Alvey Vision Conference, 1988 [6] D Lowe, Object recognition from local scale-invariant features, Proc of the International Conference on Computer Vision, 1999 [7] David G Lowe, Distinctive Image Features from Scale-Invariant Keypoints, the International Journal of Computer Vision, 2004 [8] My-Ha Le, A comparison of SIFT and Harris conner features for correspondence points matching, National IT Industry Promotion Agency, 2010 [9] Konstantinos G Derpanis, Overview of the RANSAC Algorithm, 2010 [10] Richard Hartley and Andrew Zisserman, Multiple View Geometry in Computer Vision, the United States of America by Cambridge University Press, 2004 [11] Zhang, A flexible new technique for camera calibration, IEEE, 2000 [12] KRYSTIAN MIKOLAJCZYK, Scale & Affine Invariant Interest Point Detectors, INRIA Rhne-Alpes GRAVIR-CNRS, 2004 [13] Krystian Mikolajczyk, Indexing based on scale invariant interest points, the French project RNRT AGIR, 2004 42 an S an K L 0