Phát hiện vật cản chuyển động cho robot làm việc trong môi trường đô thị

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH HUÂN PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO ROBOT LÀM VIỆC TRONG MÔI TRƯỜNG ĐÔ THỊ NGÀNH: KỸ THUẬT ĐIỆN – 60520202 S K C0 Tp Hồ Chí Minh, tháng 10/2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH HUÂN PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO ROBOT LÀM VIỆC TRONG MÔI TRƯỜNG ĐÔ THỊ NGÀNH: KỸ THUẬT ĐIỆN - 60520202 Hướng dẫn khoa học: TS LÊ MỸ HÀ Tp Hồ Chí Minh, tháng 10 năm 2015 LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƯỢC Họ & tên: NGUYỄN ĐÌNH HUÂN Ngày, tháng, năm sinh: 17/11/1990 Quê quán: Phù Cát – Bình Định Chỗ riêng: Số 36, Đường số 1, P.Bình An, Quận Điện thoại: 0978747855 Giới tính: Nam Nơi sinh: Kon Tum Dân tộc: Kinh 2, TP.HCM II QUÁ TRÌNH ĐÀO TẠO Cao đẳng Hệ đào tạo: Chính quy Thời gian đào tạo: từ 09/2008 đến 09/2011 Nơi học (trường, thành phố): Trường Đại học Công nghiệp TP Hồ Chí Minh Ngành học: Kỹ thuật Điện Đại học Hệ đào tạo: Liên thông Thời gian đào tạo: từ 09/2011 đến 05/2013 Nơi học (trường, thành phố): Trường Đại học Công nghiệp TP Hồ Chí Minh Ngành học: Kỹ thuật Điện Tên đồ án tốt nghiệp: Đồ án thiết kế tủ chuyển mạch tự động ATS Ngày & nơi bảo vệ đồ án tốt nghiệp: Tháng 2/2013 Trường Đại học Công nghiệp TP.HCM Người hướng dẫn: Giảng viên Phạm Toàn Sinh III QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC Thời gian 2013-2015 Nơi công tác Trường ĐH Sư phạm kỹ thuật TP Hồ Chí Minh I Công việc Học viên LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu Một số nội dung có nghiên cứu tham khảo từ nhóm nghiên cứu khác giới Các số liệu, kết nêu luận văn trung thực kiểm nghiệm liệu lấy từ thực tế Nội dung luận án có tham khảo sử dụng số thông tin, tài liệu từ nguồn sách, tạp chí liệt kê danh mục tài liệu tham khảo Tp Hồ Chí Minh, ngày 25 tháng 10 năm 2015 (Ký tên ghi rõ họ tên) II LỜI CẢM ƠN Lời đầu tiên, em xin gửi đến thầy TS Lê Mỹ Hà lời cảm ơn chân thành sâu sắc Nhờ có hướng dẫn giúp đỡ tận tình thầy suốt thời gian qua, em thực hoàn thành luận văn Những lời nhận xét, góp ý hướng dẫn tận tình thầy giúp em có định hướng đắn suốt trình thực đề tài, giúp em nhìn ưu khuyết điểm đề tài bước hoàn thiện Đồng thời, em xin trân trọng cảm ơn thầy cô trường Đại học Sư phạm kỹ thuật TP Hồ Chí Minh nói chung khoa Điện -Điện tử nói riêng dạy dỗ chúng em suốt quãng thời gian ngồi ghế giảng đường N hững lời giảng thầy cô bục giảng trang bị cho chúng em kiến thức giúp chúng em tích lũy thêm kinh nghiệm Em xin gửi lời cảm ơn tới c ác anh chị học viên khóa trư ớc tận tình hướng dẫn em, định hướng ngày bắt đầu nhận đề tài luận văn Bên cạnh đó, em xin cảm ơn hỗ trợ giúp đỡ bạn bè thời gian học tập trường Sư phạm kỹ thuật TP.Hồ Chí Minh trình hoàn trình hoàn thành luận văn Cuối cùng, chân thành cảm ơn động viên hỗ trợ gia đình cha mẹ suốt thời gian học tập Đặc biệt, xin gửi lời cảm ơn trân trọng đến cha mẹ, người sinh nuôi dưỡng nên người Sự quan tâm, lo lắng hy sinh lớn lao cha mẹ động lực cho cố gắng phấn đấu đường học tập Một lần nữa, xin gửi đến cha mẹ biết ơn sâu sắc TP Hồ Chí Minh, ngày 25 tháng 10 năm 2015 NGUYỄN ĐÌNH HUÂN III TÓM TẮT PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO ROBOT LÀM VIỆC TRONG MÔI TRƯỜNG ĐÔ THỊ Các trình xử lý tránh vật cản cho robot hệ thống hỗ trợ lái xe môi trường đô thị cần nhiều thông tin môi trường làm việc Trích xuất thông tin từ hình ảnh hệ thống camera nhiệm vụ phức tạp có nhiều khó khăn cho cảnh môi trường đô thị Luận văn trình bày phương pháp để phát đối tượng chuyển động cách sử dụng dòng cảnh thưa Đối với hình ảnh stereo liên tục lấy từ xe di chuyển, điểm đặc trưng tương ứng trích xuất Khi đó, với điểm đặc trưng, giá trị chênh lệch điểm ảnh dòng quang biết đến, dòng cảnh tính toán Các điểm đặc trưng liền kề mô tả dòng cảnh tương tự giống coi thuộc đối tượng Phương pháp đề xuất cho phép phát mạnh mẽ đối tượng chuyển động môi trường đô thị Các đối tượng quan trọng phát liên tục nhiều khung hình Các đối tượng đến gần robot phát vòng năm khung hình sau chúng xuất cảnh Nguyễn Đình Huân - KDD2013B IV ABSTRACT DETECTION OF MOVING OBSTACLES FOR ROBOT WORKING IN THE URBAN ENVIRONMENT The process of obstacle avoidance of robot as well as driver assistance systems need reliable information on the current environment Extracting such information from camera-based systems is a complex and challenging task for inner city scenarios This thesis presents an approach for object detection utilizing sparse scene flow For consecutive stereo images taken from a moving vehicle, corresponding feature points are extracted Thus, for every feature point, disparity and optical flow values are known and consequently, scene flow can be calculated Adjacent feature points describing a similar scene flow are considered to belong to one rigid object The proposed method allows a robust detection of dynamic objects in traffic scenes Leading objects are continuously detected for several frames Oncoming objects are detected within five frames after their appearance Nguyễn Đình Huân - KDD2013B V MỤC LỤC LÝ LỊCH KHOA HỌC I LỜI CAM ĐOAN II LỜI CẢM ƠN III TÓM TẮT IV ABSTRACT V MỤC LỤC VI DANH MỤC CÁC HÌNH IX DANH MỤC CÁC CHỮ VIẾT TẮT XI Chương 1: TỔNG QUAN 1.1 Tổng quan chung lĩnh vực nghiên cứu, kết nghiên cứu nước công bố 1.1.1 Tổng quan chung phát vật cản chuyển động cho robot 1.1.2 Kết nghiên cứu nước 1.2 Mục tiêu đối tượng nghiên cứu 1.2.1 Mục tiêu nghiên cứu 1.2.2 Đối tượng nghiên cứu 1.3 Nhiệm vụ đề tài phạm vi nghiên cứu 1.3.1 Nhiệm vụ đề tài 1.3.2 Phạm vi nghiên cứu 1.4 Phương pháp nghiên cứu Chương 2: CƠ SỞ LÝ THUYẾT 2.1 Phát vùng ảnh stereo 2.2 Tìm cặp điểm đặc trưng tương đồng 2.2.1 Định nghĩa đặc trưng 2.2.2 Các dò tìm đặc trưng 10 2.3 Thông số nội camera 19 2.4 Thuật toán RANSAC 24 2.5 Định vị camera dựa điểm tương đồng (Egomotion) 26 Nguyễn Đình Huân - KDD2013B VI 2.5.1 Hình học Epipolar ma trận 26 2.5.2 Ma trận thiết yếu thông số ngoại camera 26 2.6 Giải thuật điểm kết hợp RANSAC .27 2.7 Thuật toán tối ưu xác định vị trí robot 28 2.8 Ma trận hiệp phương sai 29 2.9 Tam giác Delaunay 31 2.10 Khoảng cách Mahalanobis 32 2.11 Giải thuật tìm kiếm theo chiều sâu 34 2.12 Phương pháp láng giềng gần toàn cục GNN 39 2.12.1 Các sở MHT 41 2.12.2 Thuật toán REID .41 2.12.3 Đánh giá giả thuyết 42 Chương 3: PHƯƠNG PHÁP PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG.45 3.1 Giới thiệu số phương pháp pháp vật cản 45 3.1.1 Các phương pháp phát vật không sử dụng camera 45 3.1.2 Các phương pháp phát vật sử dụng camera .47 3.2 Giới thiệu hệ thống Stereo camera 52 3.3 Phương pháp phát đối tượng chuyển động 55 3.3.1 Tổng quan phương pháp .55 3.3.2 Phát đặc trưng 56 3.3.3 Đối sánh đặc trưng .57 3.3.4 Khôi phục 3D .59 3.3.5 Ước lượng Egomotion .60 3.3.6 Tính toán dòng cảnh 62 3.3.7 Phân nhóm dòng cảnh .63 3.3.8 Liên kết đối tượng 66 Chương 4: THỰC NGHIỆM 68 4.1 Thu thập liệu 68 4.2 Kết thực nghiệm .69 Nguyễn Đình Huân - KDD2013B VII 4.2.1 Cân chỉnh camera 69 4.2.2 Đối sánh đặc trưng .70 4.2.3 Phát đối tượng 72 Chương 5: KẾT LUẬN 74 PHỤ LỤC A A PHỤ LỤC B F PHỤ LỤC C .G TÀI LIỆU THAM KHẢO H Nguyễn Đình Huân - KDD2013B VIII DANH MỤC CÁC HÌNH Hình 2.1: Phương pháp tính DoG 15 Hình 2.2: Tìm điểm đặc trưng từ giá trị DoG 16 Hình 2.3: Mô tả điểm đặc trưng 19 Hình 2.4: Mô hình Pinhold camera .20 Hình 2.5: Hệ tọa độ tương đương mô hình Phinhold 20 Hình 2.6: Quan hệ tọa độ camera tọa độ không gian .22 Hình 2.7: Quan hệ tọa độ điểm ảnh tọa độ thực 23 Hình 2.8: Tập điểm liệu đường thẳng 25 Hình 2.9: Tìm đường thẳng dùng thuật toán RANSAC 25 Hình 2.10: Mô tả hình học Epipolar 26 Hình 2.11: Mô tả hình học frame liên tục với đặc trưng tương đồng .29 Hình 2.12: Đồ thị điểm 34 Hình 2.13: Xác định đỉnh kề tìm kiếm theo chiều sâu 37 Hình 2.14: Ví dụ tình xung đột liên kết liệu điển hình .39 Hình 2.15: Tổng quan vể giải thuật MHT 41 Hình 3.1: Một robot gắn công tắc hành trình 45 Hình 3.2: Phương pháp dùng cảm biến siêu âm .46 Hình 3: Phương pháp phát cạnh 48 Hình 3.4: Phương pháp dò 49 Hình 3.5: Phương pháp laser 50 Hình 3.6: Bản đồ chiều sâu thu hệ thống Stereo vision 51 Hình 3.7: Cấu trúc hệ thống Stereo .52 Hình 3.8: Độ sâu điểm ảnh 53 Hình 3.9: Tổng quan phương pháp nghiên cứu 55 Hình 3.10: Bộ dò đốm, góc mô tả đặc trưng 57 Hình 3.11: Đối sánh vòng tròn 57 Hình 3.12: Gán bin lưới cho đặc trưng .58 Nguyễn Đình Huân - KDD2013B IX Hình 3.13: Nhiễu kết khôi phục 3D 60 Hình 3.14: Xây dựng phân nhóm đồ thị 64 Hình 3.15: Phát đối tượng 65 Hình 3.16: Thuật toán láng giềng gần toàn cục GNN 67 Hình 4.1: Mô hình phần cứng .68 Hình 4.2: Giao diệncủa sổ cửa toolbox cân chỉnh Matlab 69 Hình 3: Tập ảnh bàn cờ dùng cân chỉnh camera 69 Hình 4.4: Đối sánh đặc trưng 70 Hình 4.6: Phát đối tượng môi trường đối tượng 72 Hình 4.7: Phát đối tượng tập liệu phức tạp .73 Hình B.1: Cửa sổ hiệu chỉnh camera F Hình B.2: Cửa sổ hiệu chỉnh hệ thống stereo camera F Hình B.3: Kết hiệu chỉnh toolbox Matlab F Nguyễn Đình Huân - KDD2013B X DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt STT Viết đầy đủ 3D Three Direction DAS Driver Assistance Systems DFS Depth-First Search DoG Difference of Gaussians GNN Global Nearest Neighbor GPS Global Positioning System HOG Histogram Of Oriented Gradients LIDAR Light Detection And Ranging LLR Log-Likelihood Ratio 10 MHT Multiple Target Tracking 11 NMS Non-Maximum-Suppression 12 RANSAC Random Sample Consensus 13 SFM Structure From Motion 14 SIFT Scale-Invariant Feature Transform 15 SLAM Simutaneous Localization and Mapping 16 SURF Speeded Up Robust Features 17 TOF Time of Flight Nguyễn Đình Huân - KDD2013B XI Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị Chương TỔNG QUAN 1.1 Tổng quan chung lĩnh vực nghiên cứu, kết nghiên cứu nước công bố 1.1.1 Tổng quan chung phát vật cản chuyển động cho robot Theo dự đoán tương lai, robot tâm điểm cách mạng lớn sau Internet Con người có nhu cầu sở hữu robot cá nhân máy tính PC Với xu hướng này, ứng dụng truyền thống khác robot công nghiệp, y tế, giáo dục đào tạo, giải trí đặc biệt an ninh quốc phòng thị trường robot vô to lớn Một yêu cầu robot tự động thực thụ khả định hướng tốt phạm vi môi trường chưa xác định hình dung đồ định hướng, sau né tránh vật cản Bằng cách sử dụng quan sát thích hợp từ môi trường, kết hợp lúc với đồ để định hướng né tránh vật cản cho robot yêu cầu cần nghiên cứu cho robot di động.Việc đồng thời định vị, vẽ đồ né tránh vật cản lúc phương pháp chung có liên quan đến việc triển khai hệ thống di động môi trường chưa xác định Đối với robot di động tự động, định hướng công việc để di chuyển cách an toàn từ nơi đến nơi khác Việc định hướng gặp nhiều khó khăn nhiều vấn đề phức tạp Vấn đề gây trở ngại hạn chế việc ước tính chuyển động, khó khăn việc phát nhận biết đối tượng, khó khăn việc tránh xung đột với đối tượng khác nhau, khó khăn liên quan tới việc sử dụng thông tin cung cấp từ môi trường Nhận biết cảnh mạnh mẽ môi trường đô thị lĩnh vực nghiên cứu nghiên cứu cách áp dụng phương pháp khác Hệ thống LIDAR cung cấp mô hình hình học có độ xác cao cho nhiều điểm 3D sử dụng để phát nhiều đối tượng mặt phẳng giả định Nguyễn Đình Huân - KDD2013B Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị cách sử dụng dò đối tượng dựa mô hình Chương trình nghiên cứu gần đây, ước tính chuyển động từ hình ảnh biên cho kết đầy hứa hẹn tốt Trong phương pháp phát dựa ánh sáng LIDAR trực tiếp cung cấp thông tin hình ảnh 3D quan trọng, liệu cần thiết lại xuất thiếu phong phú Một số phương pháp khác nhận dạng đối tượng phạm vi hình ảnh để phát lớp đối tượng đơn hay nhiều lớp đối tượng Tuy nhiên, nhiệm vụ chí khó khăn hơn, camera quan sát chuyển động ảnh hưởng việc thu nhận hình ảnh bị mờ thay đổi điều kiện ánh sáng Những phương pháp thường sử dụng tìm kiếm trước toàn hình ảnh loại bỏ thêm nhiều thông tin hơ n cấu trúc hình học khung cảnh Ngoài ra, nhận biết môi trường cho robot không yêu cầu đối tượng phát thuộc phạm vi hình ảnh mà yêu cầu mô tả hình ảnh 3D cảnh giao thông quan sát để tiến hành né tránh va chạm Cấu trúc hình họ c khung cảnh 3D ước tính sử dụng khung tốt, có vài hạn chế thiếu phong phú đối tượng Ngày nay, máy quét laser sử dụng rộng rãi robot xe tự lái, chủ yếu chúng trực tiếp cung cấp phép đo 3D thời gian thực Tuy nhiên, so với hệ thống camera truyền thống, máy quét laser 3D thường đắt tiền khó khăn để tích hợp hoàn toàn vào thiết kế phần cứng hành (ví dụ, xe xe lửa) Hơn nữa, chúng dựa vào nguyên tắc cảm biến nên chúng dễ dàng gây nhiễu với cảm biến khác loại chúng Thay vào hệ thống stereo camera cho phép khôi phục cấu trúc hình học khung cảnh hệ tọa độ nhiều hình ảnh 3D Môi trường đô thị phức tạp đòi hỏi nhận biết cho hệ thống hỗ trợ lái xe đại DAS hay robot Các ứng dụng khác tránh va chạm, giữ đường hỗ trợ giao lộ cần thông tin đáng tin cậy tình hình giao thông Nhận thức hiểu biết cảnh giao thông động mức độ cao quan trọng cho hệ thống Môi trường đô thị phức tạp môi trường Nguyễn Đình Huân - KDD2013B Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị nhà, công việc DAS khó khăn vấn đề chưa giải triệt để: Cảnh giao thông đông đúc với nhiều loại phương tiện khác người tham gia giao thông ô tô, người bộ, người xe đạp xe điện mà phải phân biệt khung cảnh xung quanh khác cách tuỳ ý 1.1.2 Kết nghiên cứu nước Có nhiều công trình nghiên cứu thực nghiệm thực nhiều năm qua Nhận biết cảnh mạnh mẽ môi trường đô thị lĩnh vực nghiên cứu Công việc lập đồ xác định vị trí robot, sau phát đối tượng chuyển động môi trường đô thị, từ đưa phương thức điều khiển hướng chuyển động cho robot hay hệ thống hỗ trợ lái xe Một số nghiên cứu nước nước tóm tắt lại Trong viết tác giả Nguyễn Minh Thức, định vị cho mobile robot sử dụng GPS [1], robot di chuyển định vị dựa tín hiệu GPS, nhiên đề tài hạn chế robot tránh nhiều vật cản gần Lập đồ 3D 2D sử dụng stereo camera [2], tác giả dùng stereo camera gắn xe lăn để xây dựng đồ 3D, từ phát vật cản, điều khiển xe lăn di chuyển an toàn mà không cần điều khiển người tàn tật Định vị robot dựa sở xử lý ảnh stereo camera có tích hợp GPS [4], tác giả dựa vào GPS để định vị vị trí robot mặt đất khoảng không gian rộng lớn Mỗi lúc robot di chuyển với khoảng cách nhỏ, tác giả ước lượng di chuyển dựa vào xử lý cặp ảnh chụp từ stereo camera Một mô hình định vị lập đồ thời gian thực mức đối đối tượng 3D [5] Tác giả tạo tập liệu đối tượng 3D Bản đồ xây dựng bước trực hướng đối tượng Một máy ảnh chụp cảnh nhiều đối tượng, thông tin đối tượng lặp lặp lại giải thuật nhận diện đối tượng 3D tạo đồ 3D thể vị trí đối tượng liên quan tập liệu Biểu đồ tối ưu hóa lên tục phép đo cho phép cập nhật, dự đoán liên tục xác phép đo camera Nguyễn Đình Huân - KDD2013B Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị Với công trình nghiên cứu Hoiem cộng [6] phương pháp dựa hiểu biết ước lượng hình học từ hình ảnh hệ thống đơn camera thấy phục hồi 3D [7], [10] Những phương pháp thông thường phân khúc hình ảnh thành siêu điểm ảnh dựa xuất cục ràng buộc toàn cục, suy cấu hình 3D giống phân khúc Mặc dù có kết ấn tượng chứng minh gần [7 ], phương pháp thiếu xác có nhiều lỗi để đưa vào ứng dụng hỗ trợ trực t iếp điều hướng di động lái xe tự động Tái tạo 3D từ sưu tập hình ảnh chưa hiệu chỉnh đưa Koch [8], Seitz [9] cộng khác, sử dụng kỹ thuật cổ điển cấu trúc từ chuyển động (SFM) Phần mở rộng để tái tạo đô thị chứng minh [11], [12] Gần hơn, với sẵn có tảng chia sẻ hình ảnh Flickr dẫn đến nỗ lực mô hình hóa thành phố lớn Rome [13], [14] Tuy nhiên, để có tái tạo 3D bán dày đặc xác, hệ thống đa tầm nhìn stereo mạnh mẽ sử dụng, đó, chí thu thập hình ảnh nhỏ, dễ dàng đến vài sử dụng rộng rãi thiết bị xử lý song song Hơn nữa, hầu hết phương pháp đề xuất yêu cầu số điểm nhìn dư thừa, mục tiêu ứng dụng tảng di động di chuyển liên tục, mục tiêu nhìn thấy thời gian ngắn Badino cộng [15] giới thiệu Stixel World đại diện mức trung để giảm số lượng thông tin đầu vào đọc Chúng quan sát không gian trống phía trước xe thường giới hạn đối tượng với bề mặt thẳng đứng, đại diện cho chúng hình chữ nhật liền kề với chiều rộng cố định, mà theo dõi theo thời gian Một loại đại diện cấp trung khác thường xuyên sử dụng mạng lưới lấp đầy [16], [17], mà rời rạc hóa giới 3D thành phần tử 2d nhị phân Mặc dù hữu ích nhiều ứng dụng, loại trừu tượng chưa đủ để thể cho vỉa hè đối tượng treo, chìa cối, bảng hiệu hay đèn giao thông Cách khác nữa, lưới điểm ảnh ba chiều 3D sử dụng Tuy nhiên không miễn trừ độ phân giải, tính Nguyễn Đình Huân - KDD2013B Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị toán phức tạp gia tăng đáng kể Thay vào báo này, quan tâm đến biển diễn cho thông tin nhận chi tiết tốt, mà không bị hiệu suất làm việc thời gian thực Các công trình phát đối tượng: Một hệ thống stereo camera cho phép khôi phục cấu trúc hình học khung cảnh hệ tọa độ thực 3D Nedevschi [18],đã giới thiệu hệ thống cho phát đối tượng khu vực nội thành phân loại cách sử dụng hệ thống stereo camera Thông tin mật độ hình ảnh stereo sử dụng cho xây dựng lại liệu 3D sử dụng để lựa chọn mô hình ước tính tỷ lệ Phân loại đối tượng dựa mô hình phù hợp với tỷ lệ đối tượng khảo sát, định hướng định vị khung cảnh thu từ bước lựa chọn mô hình trước Franke [19] Wedel [20] sử dụng liệu hình ảnh stereo để ước tính vị trí 3D chuyển động 3D điểm quan tâm để phát mạnh mẽ đối tượng chuyển động Pfeiffer [21] giới thiệu việc theo dõi stixels thu từ hình ảnh stereo dày đặc đại diện cho kịch giao thông ngoại thành Mueller [22] đánh giá chênh lệch dòng quang điểm quan tâm để nhóm đối tượng độc lập mô tả khung cảnh Phương pháp tận dụng điểm quan tâm phát chuỗi hình ảnh đơn camera mà kết nối cấu trúc đồ thị giống với phương pháp đề xuất Mặt khác, sử dụng thông tin dòng cảnh điểm đặc trưng từ phương pháp phát chuyển động để mô tả hạn chế đối tượng cố định mặt phẳng ảnh mà không đủ mạnh mẽ cho tình bên nội thành Ess [23] sử dụng khung hình HOG [24] để phát đối tượng theo dõi đa đối tượng cho cảnh giao thông nội thành Đối với phương pháp này, hóa vượt trội so với [25], [26] thay đổi hình dạng người tham gia giao thông tương đối nhỏ Nguyễn Đình Huân - KDD2013B Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị 1.2 Mục tiêu đối tượng nghiên cứu 1.2.1 Mục tiêu nghiên cứu Mục tiêu đề tài định vị robot, phát theo dõi vật cản chuyển động Robot dùng camera chụp ảnh 2D trính di chuyển để ước lượng vị trí camera gắn robot, sau tính toán vị trí hướng robot không gian robot tương tác Sau dùng thuật toán để phát đối tượng chuyển động cho robot môi trường đô thị Với hình ảnh stereo liên tiếp lấy từ xe di chuyển, điểm đặc trưng tương ứng trích xuất Khi đó, tất độ chênh lệch giá trị dòng quang điểm đặc trưng tính toán kết là, dòng cảnh tính toán Điểm đặc trưng gần kề mô tả dòng cảnh tương tự coi thuộc đối tượng cố định Phương pháp đề xuất cho phép phát mạnh mẽ đối tượng chuyển động cảnh giao thông Các đối tượng liên tục phát khung hình theo dõi năm khung hình liên tiếp sau xuất để đưa phát cuối 1.2.2 Đối tượng nghiên cứu Đề tài nghiên cứu dựa liệu đầu vào tập ảnh 2D thu thập qua hệ thống stereo camera trình di chuyển đường robot hệ thống di chuyển (như ô tô, xe lửa…) cần xác định vị trí tương ứng né tránh vật cản môi trường làm việc 1.3 Nhiệm vụ đề tài phạm vi nghiên cứu 1.3.1 Nhiệm vụ đề tài Để đạt mục tiêu nghiên cứu cần thực nhiệm vụ sau: - Tìm hiểu lý thuyết lập đồ định vị robot - Tìm hiểu xử lý ảnh: phép toán xử lý ảnh, trích đặc trưng từ ảnh, loại bỏ đặt trưng yếu sai: - Thuật toán trích đặc trưng từ dò đốm góc từ hình ảnh - Thuật toán khôi phục 3D, xác định vị trí góc quay camera để tìm vị trí hướng đối tượng nghiên cứu Nguyễn Đình Huân - KDD2013B Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị - Các thuật toán phát đối tượng môi trường làm việc - Tam giác Delaunay - Khoảng cách Mahalanobis - Giải thuật tìm kiếm theo chiều sâu DFS - Thuật toán láng giềng gần toàn cục GNN (sử dụng phương pháp theo dõi đa giả thuyết MHT) Sau nghiên cứu thuật toán trên, kết hợp đưa phương pháp để phát đối tượng chuyển động cho robot làm việc môi trường đô thị Từ viết chương trình Matlab cho phương pháp thực nghiệm lại phương pháp 1.3.2 Phạm vi nghiên cứu Đề tài nghiên cứu thiết bị di chuyển có người lái, tập ảnh 2D tác giả thu thập trình di chuyển đường thông qua hệ thống stereo camera Trên tập liệu ảnh 2D đề tài mô tính toán xây dựng đồ 3D, định vị vị trí camera đồ sau phát đối tượng chuyển động môi trường cho thiết bị di chuyển 1.4 Phương pháp nghiên cứu Cách tiếp cận nghiên cứu khảo sát sở lý thuyết phương pháp có, phân tích ưu nhược điểm Tiến hành đề xuất phương pháp cải tiến Thực mô giải thuật phần mềm Khi thu sai số cho phép tiến hành thực nghiêm phần cứng môi trường thực tế Tóm lại, phương pháp nghiên cứu đề tài trước tiên tiến hành nghiên cứu lý thuyết, sau kiểm chứng thực tế rút kết luận Nguyễn Đình Huân - KDD2013B Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị Chương CƠ SỞ LÝ THUYẾT 2.1 Phát vùng ảnh stereo Hình ảnh video chuỗi khung hình liên tiếp thể thời gian Phát vùng ảnh stereo chất so sánh khung hình liên tiếp đoạn video để từ đưa vùng ảnh stereo khác khung hình liên tiếp Đây nguyên lý để bắt vết đối tượng chuyền động, có đối tượng chuyền động khung hình có khác khung hình liên tiếp từ thu vết chuyển động vật thể Đã có nhiều phương pháp đưa để giải vấn đề này, phương pháp có ưu nhược điểm riêng phù hợp với điều kiện hoàn cảnh giám sát khác Khái quát lại phân thành phương pháp:  Các phương pháp trừ ảnh (Background Subtraction)  Các phương pháp dựa thống kê (Statistical Methods)  Các phương pháp dựa chênh lệch tạm thời khung hình Ở sử dụng phương pháp dựa chênh lệch tạm thời khung hình Phương pháp thực việc phát vùng chuyển động cách sử dụng khác mức điểm ảnh hai ba khung hình liên tiếp chuỗi khung hình video Phương pháp tốt khun g cảnh động nhiều thay đổi song lại thất bại việc phát điểm ảnh có liên quan đến số kiểu chuyển động Phương pháp dựa chênh lệch tạm thời khung hình tính: |It(x,y)–It-1(x,y)| > 𝛕 (2.1) Trong đó: It (x,y) điểm ảnh có tọa độ (x,y) khung hình thời điểm t, It1 (x,y) điểm ảnh có tọa độ (x,y) khung hình thời điểm t-1, 𝛕 ngưỡng xác định trước Nguyễn Đình Huân - KDD2013B S K L 0 [...]... vị robot, phát hiện và theo dõi vật cản chuyển động Robot sẽ dùng camera chụp các ảnh 2D trong quá trính di chuyển để ước lượng vị trí camera được gắn trên robot, sau đó tính toán vị trí và hướng của robot trong không gian robot đang tương tác Sau đó dùng các thuật toán để phát hiện đối tượng chuyển động cho robot trong môi trường đô thị Với các hình ảnh stereo liên tiếp lấy từ một chiếc xe di chuyển, ... những cảnh giao thông động ở mức độ cao là rất quan trọng cho các hệ thống như vậy Môi trường đô thị phức tạp hơn môi trường trong Nguyễn Đình Huân - KDD2013B 2 Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị nhà, do đó công việc đối với DAS là khó khăn hơn và hiện đang là một vấn đề chưa được giải quyết triệt để: Cảnh giao thông đông đúc với nhiều loại phương tiện khác nhau của người... - KDD2013B XI Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị Chương 1 TỔNG QUAN 1.1 Tổng quan chung về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngoài nước đã công bố 1.1.1 Tổng quan chung về phát hiện vật cản chuyển động cho robot Theo dự đoán trong tương lai, robot sẽ là tâm điểm của một cuộc cách mạng lớn sau Internet Con người sẽ có nhu cầu sở hữu một robot cá nhân như... KDD2013B 4 Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị toán phức tạp sẽ gia tăng đáng kể Thay vào đó trong bài báo này, chúng tôi quan tâm đến biển diễn cho các thông tin nhận được càng chi tiết càng tốt, nhưng mà không bị mất hiệu suất làm việc trong thời gian thực Các công trình phát hiện đối tượng: Một hệ thống stereo camera cho phép khôi phục cấu trúc hình học của khung cảnh trong. .. biệt trong khi khung cảnh xung quanh có thể khác nhau một cách tuỳ ý 1.1.2 Kết quả nghiên cứu trong và ngoài nước Có rất nhiều công trình nghiên cứu và thực nghiệm đã được thực hiện trong nhiều năm qua Nhận biết cảnh mạnh mẽ trong môi trường đô thị là một lĩnh vực nghiên cứu hiện nay Công việc đầu tiên là lập bản đồ xác định vị trí của robot, sau đó phát hiện đối tượng chuyển động trong môi trường đô thị, ... 6 Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị - Các thuật toán phát hiện đối tượng trong môi trường làm việc - Tam giác Delaunay - Khoảng cách Mahalanobis - Giải thuật tìm kiếm theo chiều sâu DFS - Thuật toán láng giềng gần nhất toàn cục GNN (sử dụng phương pháp theo dõi đa giả thuyết MHT) Sau khi nghiên cứu các thuật toán trên, kết hợp đưa ra phương pháp để phát hiện đối tượng chuyển. .. xác cao cho rất nhiều điểm 3D có thể được sử dụng để phát hiện nhiều đối tượng dưới mặt phẳng giả định Nguyễn Đình Huân - KDD2013B 1 Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị hoặc bằng cách sử dụng một bộ dò đối tượng dựa trên mô hình Chương trình nghiên cứu gần đây, ước tính chuyển động từ những hình ảnh biên cũng cho kết quả đầy hứa hẹn là tốt Trong khi phương pháp phát hiện dựa... định hướng và né tránh vật cản cho robot đang là một yêu cầu cần nghiên cứu cho robot di động. Việc đồng thời định vị, vẽ bản đồ và né tránh vật cản cùng lúc là một phương pháp chung có liên quan đến việc triển khai một hệ thống di động trong môi trường chưa xác định Đối với một robot di động tự động, định hướng là một công việc để di chuyển một cách an toàn từ nơi này đến nơi khác Việc định hướng gặp... và môi trường thực tế Tóm lại, phương pháp nghiên cứu của đề tài là trước tiên tiến hành nghiên cứu lý thuyết, sau đó kiểm chứng bằng thực tế và rút ra kết luận Nguyễn Đình Huân - KDD2013B 7 Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị Chương 2 CƠ SỞ LÝ THUYẾT 2.1 Phát hiện vùng ảnh stereo Hình ảnh video là chuỗi các khung hình liên tiếp được thể hiện trong một thời gian Phát hiện. .. Vấn đề gây trở ngại chính là những hạn chế của việc ước tính chuyển động, những khó khăn trong việc phát hiện và nhận biết đối tượng, những khó khăn trong việc tránh xung đột với các đối tượng khác nhau, và những khó khăn liên quan tới việc sử dụng thông tin cung cấp từ môi trường Nhận biết cảnh mạnh mẽ trong môi trường đô thị là một lĩnh vực nghiên cứu hiện nay và được nghiên cứu bằng cách áp dụng