Phát hiện vật cản chuyển động cho robot làm việc trong môi trường đô thị

BỘ GIÁO DỤC VÀ ĐÀO TẠOTRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH HUÂN PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO ROBOT LÀM VIỆC TRONG MÔI TRƯỜNG ĐÔ THỊ N

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH HUÂN

PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO ROBOT

LÀM VIỆC TRONG MÔI TRƯỜNG ĐÔ THỊ

NGÀNH: KỸ THUẬT ĐIỆN – 60520202

Tp Hồ Chí Minh, tháng 10/2015

S K C0 0 4 6 2 0

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO ROBOT LÀM VIỆC TRONG MÔI TRƯỜNG ĐÔ THỊ

I

LÝ LỊCH KHOA HỌC

I LÝ LỊCH SƠ LƯỢC

Họ & tên: NGUYỄN ĐÌNH HUÂN Giới tính: Nam

Ngày, tháng, năm sinh: 17/11/1990 Nơi sinh: Kon Tum

Quê quán: Phù Cát – Bình Định Dân tộc: Kinh

Chỗ ở riêng: Số 36, Đường số 1, P.Bình An, Quận 2, TP.HCM

2 Đại học

Hệ đào tạo: Liên thông Thời gian đào tạo: từ 09/2011 đến 05/2013 Nơi học (trường, thành phố): Trường Đại học Công nghiệp TP Hồ Chí Minh Ngành học: Kỹ thuật Điện

Tên đồ án tốt nghiệp: Đồ án thiết kế tủ chuyển mạch tự động ATS

Ngày & nơi bảo vệ đồ án tốt nghiệp: Tháng 2/2013 tại Trường Đại học Công

nghiệp TP.HCM

Người hướng dẫn: Giảng viên Phạm Toàn Sinh

III QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC

Thời gian Nơi công tác Công việc 2013-2015 Trường ĐH Sư phạm kỹ thuật

TP Hồ Chí Minh Học viên

II

LỜI CAM ĐOAN

Tôi cam đoan đây là công trình nghiên cứu của tôi

Một số nội dung có nghiên cứu tham khảo từ các nhóm nghiên cứu khác trên thế giới Các số liệu, kết quả nêu trong luận văn là trung thực và được kiểm nghiệm bằng dữ liệu lấy từ thực tế Nội dung của luận án cũng có tham khảo và sử dụng một số thông tin, tài liệu từ các nguồn sách, tạp chí được liệt kê trong danh mục các tài liệu tham khảo

Tp Hồ Chí Minh, ngày 25 tháng 10 năm 2015

(Ký tên và ghi rõ họ tên)

và hướng dẫn tận tình của thầy đã giúp em có một định hướng đúng đắn trong suốt quá trình thực hiện đề tài, giúp em nhìn ra được những ưu khuyết điểm của đề tài và từng bước hoàn thiện hơn

Đồng thời, em xin trân trọng cảm ơn các thầy cô của trường Đại học Sư phạm

kỹ thuật TP Hồ Chí Minh nói chung và của khoa Điện -Điện tử nói riêng đã dạy dỗ chúng em suốt quãng thời gian ngồi trên ghế giảng đường N hững lời giảng của thầy cô trên bục giảng đã trang bị cho chúng em những kiến thức và giúp chúng em tích lũy thêm những kinh nghiệm Em cũng xin gửi lời cảm ơn tới c ác anh chị học viên khóa trước đã tận tình hướng dẫn em, định hướng đúng trong những ngày bắt đầu nhận đề tài luận văn

Bên cạnh đó, em xin cảm ơn sự hỗ trợ và giúp đỡ của bạn bè trong thời gian học tập tại trường Sư phạm kỹ thuật TP.Hồ Chí Minh và trong quá trình hoàn trình hoàn thành luận văn này

Cuối cùng, con cũng chân thành cảm ơn sự động viên và sự hỗ trợ của gia đình

và cha mẹ trong suốt thời gian học tập Đặc biệt, con xin gửi lời cảm ơn trân trọng nhất đến cha mẹ, người đã sinh ra và nuôi dưỡng con nên người Sự quan tâm, lo lắng và hy sinh lớn lao của cha mẹ luôn là động lực cho con cố gắng phấn đấu trên con đường học tập của mình Một lần nữa, con xin gửi đến cha mẹ sự biết ơn sâu sắc nhất

TP Hồ Chí Minh, ngày 25 tháng 10 năm 2015

NGUYỄN ĐÌNH HUÂN

Nguyễn Đình Huân - KDD2013B IV

TÓM TẮT PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO ROBOT LÀM VIỆC

TRONG MÔI TRƯỜNG ĐÔ THỊ

Các quá trình xử lý tránh vật cản cho robot cũng như hệ thống hỗ trợ lái xe trong môi trường đô thị thì cần rất nhiều thông tin về môi trường đang làm việc Trích xuất thông tin từ các hình ảnh của một hệ thống camera là một nhiệm vụ phức tạp

và có nhiều khó khăn cho các cảnh trong môi trường đô thị Luận văn sẽ trình bày một phương pháp để phát hiện đối tượng chuyển động bằng cách sử dụng dòng cảnh thưa Đối với các hình ảnh stereo liên tục lấy được từ một chiếc xe đang di chuyển, điểm đặc trưng tương ứng được trích xuất Khi đó, với mỗi điểm đặc trưng, các giá trị chênh lệch điểm ảnh và dòng quang được biết đến, và do đó thì dòng cảnh sẽ được tính toán Các điểm đặc trưng liền kề nhau cùng mô tả một dòng cảnh tương tự giống nhau thì được coi là cùng thuộc về một đối tượng duy nhất Phương pháp được đề xuất cho phép phát hiện mạnh mẽ các đối tượng chuyển động trong môi trường đô thị Các đối tượng quan trọng được phát hiện liên tục trong nhiều khung hình Các đối tượng đang đến gần robot thì được phát hiện trong vòng năm khung hình sau khi chúng xuất hiện ở trong cảnh

Nguyễn Đình Huân - KDD2013B V

ABSTRACT DETECTION OF MOVING OBSTACLES FOR ROBOT WORKING

IN THE URBAN ENVIRONMENT

The process of obstacle avoidance of robot as well as driver assistance systems need reliable information on the current environment Extracting such information from camera-based systems is a complex and challenging task for inner city scenarios This thesis presents an approach for object detection utilizing sparse scene flow For consecutive stereo images taken from a moving vehicle, corresponding feature points are extracted Thus, for every feature point, disparity and optical flow values are known and consequently, scene flow can be calculated Adjacent feature points describing a similar scene flow are considered to belong to one rigid object The proposed method allows a robust detection of dynamic objects

in traffic scenes Leading objects are continuously detected for several frames Oncoming objects are detected within five frames after their appearance

Nguyễn Đình Huân - KDD2013B VI

MỤC LỤC

LÝ LỊCH KHOA HỌC I LỜI CAM ĐOAN II LỜI CẢM ƠN III TÓM TẮT IV

AB STRACT V MỤC LỤC VI DANH MỤC CÁC HÌNH IX DANH MỤC CÁC CHỮ VIẾT TẮT XI

Chương 1: TỔNG QUAN 1

1.1 Tổng quan chung về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngoài nước đã công bố 1

1.1.1 Tổng quan chung về phát hiện vật cản chuyển động cho robot 1 1.1.2 Kết quả nghiên cứu trong và ngoài nước 3

1.2 Mục tiêu và đối tượng nghiên cứu 6

1.2.1 Mục tiêu nghiên cứu 6

1.2.2 Đối tượng nghiên cứu 6

1.3 Nhiệm vụ của đề tài và phạm vi nghiên cứu 6

1.3.1 Nhiệm vụ của đề tài 6

1.3.2 Phạm vi nghiên cứu 7

1.4 Phương pháp nghiên cứu 7

Chương 2: CƠ SỞ LÝ THUYẾT 8

2.1 Phát hiện vùng ảnh stereo 8

2.2 Tìm cặp điểm đặc trưng tương đồng 9

2.2.1 Định nghĩa đặc trưng 9

2.2.2 Các bộ dò tìm đặc trưng 10

2.3 Thông số nội của camera 19

2.4 Thuật toán RANSAC 24

2.5 Định vị camera dựa trên điểm tương đồng (Egomotion) 26

Nguyễn Đình Huân - KDD2013B VII

2.5.1 Hình học Epipolar và ma trận cơ bản 26

2.5.2 Ma trận thiết yếu và thông số ngoại camera 26

2.6 Giải thuật 8 điểm kết hợp RANSAC 27

2.7 Thuật toán tối ưu xác định vị trí robot 28

2.8 Ma trận hiệp phương sai 29

2.9 Tam giác Delaunay 31

2.10 Khoảng cách Mahalanobis 32

2.11 Giải thuật tìm kiếm theo chiều sâu 34

2.12 Phương pháp láng giềng gần nhất toàn cục GNN .39

2.12.1 Các cơ sở của MHT 41

2.12.2 Thuật toán REID 41

2.12.3 Đánh giá giả thuyết 42

Chương 3: PHƯƠNG PHÁP PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG.45 3.1 Giới thiệu một số phương pháp pháp hiện vật cản 45

3.1.1 Các phương pháp phát hiện vật không sử dụng camera 45

3.1.2 Các phương pháp phát hiện vật sử dụng camera 47

3.2 Giới thiệu hệ thống Stereo camera 52

3.3 Phương pháp phát hiện đối tượng chuyển động .55

3.3.1 Tổng quan về phương pháp 55

3.3.2 Phát hiện đặc trưng .56

3.3.3 Đối sánh đặc trưng .57

3.3.4 Khôi phục 3D 59

3.3.5 Ước lượng Egomotion 60

3.3.6 Tính toán dòng cảnh 62

3.3.7 Phân nhóm dòng cảnh 63

3.3.8 Liên kết đối tượng .66

Chương 4: THỰC NGHIỆM 68

4.1 Thu thập dữ liệu 68

4.2 Kết quả thực nghiệm 69

Nguyễn Đình Huân - KDD2013B VIII

4.2.1 Cân chỉnh camera 69

4.2.2 Đối sánh đặc trưng .70

4.2.3 Phát hiện đối tượng 72

Chương 5: KẾT LUẬN 74 PHỤ LỤC A A PHỤ LỤC B F PHỤ LỤC C G TÀI LIỆU THAM KHẢO H

Nguyễn Đình Huân - KDD2013B IX

DANH MỤC CÁC HÌNH

Hình 2.1: Phương pháp tính DoG 15

Hình 2.2: Tìm điểm đặc trưng từ các giá trị DoG 16

Hình 2.3: Mô tả điểm đặc trưng 19

Hình 2.4: Mô hình Pinhold camera 20

Hình 2.5: Hệ tọa độ tương đương mô hình Phinhold 20

Hình 2.6: Quan hệ giữa tọa độ camera và tọa độ không gian 22

Hình 2.7: Quan hệ giữa tọa độ điểm ảnh và tọa độ thực .23

Hình 2.8: Tập điểm dữ liệu đường thẳng 25

Hình 2.9: Tìm đường thẳng dùng thuật toán RANSAC 25

Hình 2.10: Mô tả hình học Epipolar 26

Hình 2.11: Mô tả hình học 3 frame liên tục với đặc trưng tương đồng .29

Hình 2.12: Đồ thị các điểm 34

Hình 2.13: Xác định đỉnh kề trong tìm kiếm theo chiều sâu 37

Hình 2.14: Ví dụ về tình huống xung đột liên kết dữ liệu điển hình 39

Hình 2.15: Tổng quan vể giải thuật MHT 41

Hình 3.1: Một robot gắn các công tắc hành trình 45

Hình 3.2: Phương pháp dùng cảm biến siêu âm 46

Hình 3 3: Phương pháp phát hiện cạnh 48

Hình 3.4: Phương pháp dò nền 49

Hình 3.5: Phương pháp laser 50

Hình 3.6: Bản đồ chiều sâu thu được của hệ thống Stereo vision 51

Hình 3.7: Cấu trúc của hệ thống Stereo 52

Hình 3.8: Độ sâu của điểm ảnh 53

Hình 3.9: Tổng quan về phương pháp nghiên cứu 55

Hình 3.10: Bộ dò đốm, góc và mô tả đặc trưng .57

Hình 3.11: Đối sánh vòng tròn 57

Hình 3.12: Gán bin lưới cho đặc trưng 58

Nguyễn Đình Huân - KDD2013B X

Hình 3.13: Nhiễu kết quả của khôi phục 3D 60

Hình 3.14: Xây dựng và phân nhóm đồ thị .64

Hình 3.15: Phát hiện đối tượng .65

Hình 3.16: Thuật toán láng giềng gần nhất toàn cục GNN 67

Hình 4.1: Mô hình phần cứng 68

Hình 4.2: Giao diệncủa sổ cửa toolbox cân chỉnh trong Matlab 69

Hình 4 3: Tập ảnh bàn cờ dùng cân chỉnh camera 69

Hình 4.4: Đối sánh đặc trưng 70

Hình 4.6: Phát hiện đối tượng ở môi trường ít đối tượng .72

Hình 4.7: Phát hiện đối tượng trong tập dữ liệu phức tạp 73 Hình B.1: Cửa sổ hiệu chỉnh của một camera F Hình B.2: Cửa sổ hiệu chỉnh của hệ thống stereo camera F Hình B.3: Kết quả hiệu chỉnh bằng toolbox Matlab F

4 DoG Difference of Gaussians

5 GNN Global Nearest Neighbor

6 GPS Global Positioning System

7 HOG Histogram Of Oriented Gradients

8 LIDAR Light Detection And Ranging

9 LLR Log-Likelihood Ratio

10 MHT Multiple Target Tracking

11 NMS Non-Maximum-Suppression

12 RANSAC Random Sample Consensus

13 SFM Structure From Motion

14 SIFT Scale-Invariant Feature Transform

15 SLAM Simutaneous Localization and Mapping

16 SURF Speeded Up Robust Features

17 TOF Time of Flight

Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị

Nguyễn Đình Huân - KDD2013B 1

Chương 1

TỔNG QUAN 1.1 Tổng quan chung về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngoài nước đã công bố

1.1.1 Tổng quan chung về phát hiện vật cản chuyển động cho robot

Theo dự đoán trong tương lai, robot sẽ là tâm điểm của một cuộc cách mạng lớn sau Internet Con người sẽ có nhu cầu sở hữu một robot cá nhân như một máy tính PC bây giờ Với xu hướng này, cùng các ứng dụng truyền thống khác của robot trong công nghiệp, y tế, giáo dục đào tạo, giải trí và đặc biệt là trong an ninh quốc phòng thì thị trường robot sẽ vô cùng to lớn

Một trong các yêu cầu cơ bản của robot tự động thực thụ là khả năng định hướng tốt trong phạm vi môi trường chưa xác định và hình dung ra một bản đồ định hướng, sau đó là né tránh vật cản Bằng cách sử dụng các quan sát thích hợp từ môi trường, kết hợp cùng lúc với bản đồ để định hướng và né tránh vật cản cho robot đang là một yêu cầu cần nghiên cứu cho robot di động.Việc đồng thời định vị, vẽ bản đồ và né tránh vật cản cùng lúc là một phương pháp chung có liên quan đến việc triển khai một hệ thống di động trong môi trường chưa xác định Đối với một robot di động tự động, định hướng là một công việc để di chuyển một cách an toàn

từ nơi này đến nơi khác

Việc định hướng gặp nhiều khó khăn do nhiều vấn đề khá phức tạp Vấn đề gây trở ngại chính là những hạn chế của việc ước tính chuyển động, những khó khăn trong việc phát hiện và nhận biết đối tượng, những khó khăn trong việc tránh xung đột với các đối tượng khác nhau, và những khó khăn liên quan tới việc sử dụng thông tin cung cấp từ môi trường

Nhận biết cảnh mạnh mẽ trong môi trường đô thị là một lĩnh vực nghiên cứu hiện nay và được nghiên cứu bằng cách áp dụng các phương pháp khác nhau Hệ thống LIDAR cung cấp một mô hình hình học có độ chính xác cao cho rất nhiều điểm 3D có thể được sử dụng để phát hiện nhiều đối tượng dưới mặt phẳng giả định

Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị

Nguyễn Đình Huân - KDD2013B 2

hoặc bằng cách sử dụng một bộ dò đối tượng dựa trên mô hình Chương trình nghiên cứu gần đây, ước tính chuyển động từ những hình ảnh biên cũng cho kết quả đầy hứa hẹn là tốt

Trong khi phương pháp phát hiện dựa trên ánh sáng LIDAR có thể trực tiếp cung cấp thông tin hình ảnh 3D quan trọng, dữ liệu cần thiết lại xuất hiện thiếu phong phú Một số phương pháp khác nhận dạng đối tượng trong phạm vi hình ảnh hiện tại để phát hiện các lớp đối tượng đơn hay nhiều lớp đối tượng Tuy nhiên, nhiệm vụ này thậm chí còn khó khăn hơn, nếu các camera quan sát chuyển động thì ảnh hưởng việc thu nhận hình ảnh do bị mờ hoặc thay đổi điều kiện ánh sáng Những phương pháp này thường sử dụng một sự tìm kiếm không biết trước trên toàn bộ hình ảnh và loại bỏ thêm nhiều thông tin hơ n về cấu trúc hình học khung cảnh Ngoài ra, nhận biết môi trường cho robot không chỉ yêu cầu đối tượng được phát hiện thuộc phạm vi hình ảnh mà còn yêu cầu mô tả hình ảnh 3D của cảnh giao thông được quan sát để tiến hành né tránh va chạm Cấu trúc hình học khung cảnh 3D có thể được ước tính chỉ sử dụng một khung duy nhất là tốt, nhưng có một vài hạn chế và thiếu sự phong phú của các đối tượng

Ngày nay, các máy quét laser vẫn được sử dụng rộng rãi trong robot và xe tự lái, chủ yếu là do chúng trực tiếp cung cấp các phép đo 3D trong thời gian thực Tuy nhiên, so với các hệ thống camera truyền thống, máy quét laser 3D thường đắt tiền hơn và khó khăn hơn để tích hợp hoàn toàn vào các thiết kế phần cứng hiện hành (ví

dụ, xe hơi hoặc xe lửa) Hơn nữa, chúng cũng dựa vào nguyên tắc cảm biến nên chúng dễ dàng gây nhiễu với các cảm biến khác cùng loại như chúng Thay vào đó

là một hệ thống stereo camera cho phép khôi phục cấu trúc hình học của khung cảnh trong hệ tọa độ nhiều hình ảnh 3D

Môi trường đô thị rất phức tạp và đòi hỏi nhận biết cho các hệ thống hỗ trợ lái

xe hiện đại DAS hay robot Các ứng dụng khác nhau như tránh va chạm, giữ làn đường hoặc hỗ trợ ở giao lộ cần thông tin đáng tin cậy về tình hình giao thông hiện tại Nhận thức và hiểu biết về những cảnh giao thông động ở mức độ cao là rất quan trọng cho các hệ thống như vậy Môi trường đô thị phức tạp hơn môi trường trong