Nghiên cứu phát triển hệ thống tìm đường dựa trên thị giác trong môi trường không biết trước

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN TRUNG MẠNH NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TÌM ĐƯỜNG DỰA TRÊN THỊ GIÁC TRONG MƠI TRƯỜNG KHÔNG BIẾT TRƯỚC LUẬN VĂN THẠC SĨ NGÀNH KỸ THUẬT VIỄN THÔNG HÀ NỘI – 06/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN TRUNG MẠNH NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TÌM ĐƯỜNG DỰA TRÊN THỊ GIÁC TRONG MÔI TRƯỜNG KHÔNG BIẾT TRƯỚC Ngành: Kỹ thuật viễn thông Mã số: 2018AKTVT-KT02 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Trần Quang Vinh Viện: Điện tử Viễn thông HÀ NỘI – 06/2020 i LỜI CẢM ƠN Trước hết, xin bày tỏ lời cảm ơn chân thành sâu sắc đến giảng viên hướng dẫn PGS TS Trần Quang Vinh trực tiếp định hướng khoa học trình nghiên cứu Thầy dành nhiều thời gian tâm huyết, động viên mặt để tác giả hoàn thành luận văn Tác giả xin trân trọng cảm ơn Lãnh đạo trường Đại học Bách Khoa Hà Nội (HUST), Phòng Đào tạo, Viện Điện tử Viễn thông (SET) tạo điều kiện thuận lợi cho học viên suốt trình học tập nghiên cứu Chân thành cảm ơn cán bộ, giảng viên Viện Điện tử Viễn thơng động viên, hỗ trợ tận tình giúp đỡ tác giả trình thực luận văn Cuối cùng, tơi xin bày tỏ lịng biết ơn đến song thân phụ mẫu, vợ hai thúc đẩy, khích lệ hy sinh nhiều thời gian vừa qua Đây động lực to lớn giúp tác giả vượt qua trở ngại để hồn thành luận văn TĨM TẮT NỘI DUNG LUẬN VĂN Luận văn giải vấn đề điều hướng cho xe rô-bốt môi trường trước mà cụ thể nhà Tác giả sử dụng phương pháp nghiên cứu kết hợp nghiên cứu lý thuyết thị giác máy tính, số phương pháp trích xuất mặt đất với phương pháp xây dựng mơ hình thực nghiệm để kiểm chứng thuật toán áp dụng Nội dung nghiên cứu gồm khái niệm thị giác máy tính, lĩnh vực ứng dụng không hạn chế tìm hiểu phát triển nghiên cứu vấn đề dẫn đường cho xe rơ-bốt nhà Một số thuật tốn nghiên cứu đánh phương pháp biến đổi ảnh thị giác, trích xuất mặt phẳng đất từ đám mây điểm 3D, trích xuất mặt phẳng đất từ đồ chênh lệch/độ sâu Tiếp theo, luận văn trình bày trình thực nghiệm với số kịch phổ qt điển hình Cơng cụ phần mềm xây dựng ngơn ngữ lập trình C++ mơi trường hệ điều hành Windows Luận văn trình bày kết thực nghiệm phù hợp phạm vi vấn đề đặt ra, thể tính khoa học ứng dụng thực tiễn cao Đề tài luận văn có tiềm phát triển mở rộng nhiều mơi trường thảm họa dịch bệnh viêm phổi cấp vi-rút Covid-19 vừa qua Tác giả luận văn Nguyễn Trung Mạnh ii MỤC LỤC LỜI CẢM ƠN i TÓM TẮT NỘI DUNG LUẬN VĂN i MỤC LỤC ii DANH MỤC CÁC CHỮ VIẾT TẮT iv DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ vi CHƯƠNG TỔNG QUAN VỀ THỊ GIÁC MÁY TÍNH 1.1 Giới thiệu thị giác máy tính 1.2 Một số lĩnh vực ứng dụng thị giác máy tính 1.3 Sự phát triển thị giác máy tính 1.4 Dẫn đường cho rô-bốt nhà CHƯƠNG MỘT SỐ PHƯƠNG PHÁP TRÍCH XUẤT MẶT ĐẤT 10 2.1 Giới thiệu 10 2.2 Phương pháp biến đổi ảnh thị giác 10 2.2.1 Mơ hình tốn học 10 2.2.2 Thực nhận dạng mặt phẳng đất sử dụng phép biến đổi ảnh 14 2.2.3 Phân tích đánh giá phương pháp biến đổi ảnh ứng dụng nhận dạng mặt đất 17 2.3 Trích xuất mặt phẳng đất từ đám mây điểm 3D 18 2.3.1 Mô hình mặt phẳng đất 18 2.3.2 Trích mặt phẳng đất từ đám mây điểm 3D 19 2.3.3 Trích xuất mặt phẳng sử dụng thuật toán RANSAC 20 2.3.4 Phân tích đánh giá phương pháp 22 2.4 Trích xuất mặt phẳng đất từ đồ chênh lệch/độ sâu 23 2.4.1 Trích xuất mặt phẳng 24 2.4.1.a Tạo hạt giống hợp lệ 24 2.4.1.b Quy trình phát triển vùng 25 2.4.1.c Phân tích độ phức tạp tính tốn 30 2.4.2 Trích xuất mặt phẳng đất 31 CHƯƠNG PHƯƠNG PHÁP DẪN ĐƯỜNG CHO RÔ-BỐT DỰA TRÊN NHẬN DẠNG MẶT ĐẤT 34 3.1 Giới thiệu 34 3.2 Phương pháp dẫn đường sử dụng nhận dạng mặt đất 34 3.2.1 Mơ hình hoạt động rô-bốt nhà 34 3.2.2 Xác định kích thước 2D điểm sâu 35 iii 3.2.3 Phương pháp dẫn đường đề xuất dựa khai thác liệu độ sâu 36 3.2.3.a Chiến thuật tránh vật cản 37 3.2.3.b Triển khai chiến thuật định vị chọn đường 39 3.3 Kết thực nghiệm phương pháp dẫn đường dựa nhận dạng mặt đất thảo luận 41 3.3.1 Kết thực nghiệm phương pháp tránh vật cản 41 3.3.2 Kết thực nghiệm phương pháp tránh vật cản cải thiện 44 3.3.3 Kết luận 49 KẾT LUẬN 50 TÀI LIỆU THAM KHẢO 51 iv DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt Tên tiếng Anh Tên tiếng Việt 2D Two Dimensions Hai chiều 3D Three Dimensions Ba chiều ANN Artificial Neural Network Mạng nơron nhân tạo APIs Application Programming Interface Giao diện lập trình ứng dụng BFS Best First Seaching Thuận tốn tìm kiếm tốt BP Belief Propagation Thuật toán Lan truyền tin cậy CCD Charge Coupled Device Linh kiện tích điện kép DSM Digital Surface Models Mơ hình bề mặt số DWA Dynamic Window Approach Thuật tốn tiếp cận cửa sổ động EKF Extended Kalman Filter Bộ lọc phi tuyến tính Kalman mở rộng FSPF Fast Sampling Plane Filtering Thuật toán Lọc mặt phẳng lấy mẫu nhanh GDM Gradient Depth Map Thuật toán Gradien đồ độ sâu GPS Global Positioning System Hệ thống định vị toàn cầu HT Hough Transform Thuật toán Biến đổi Hough ICP Iterative Closest Point Thuật toán điểm gần lặp lại LRF Laser Range Finder Xác định phạm vi tia laser LSD Line Segment Detector Bộ phát đoạn thẳng MDL Minimum Description Length Thuật tốn Độ dài mơ tả tối thiểu MS Mean Shift Thuật tốn Dịch trung bình NCC Normalized Cross Correlation Thuật toán Độ tương quan chéo chuẩn PSO Particle Swarm Optimization Thuật toán tối ưu đám hạt RANSAC RANdom SAmple Consensus Thuật toán Đồng thuận lấy mẫu ngẫu nhiên RG Region Growing Thuật toán phát triển vùng RGB-D Red Green Blue-Depth Cảm biến màu Đỏ Lục Dương-Độ sâu RHT Random Hough Transform Thuật toán Biến đổi Hough ngẫu nhiên v SAD Thuật toán Tổng tuyệt đối độ sai Sum of Absolute Differences lệch SCS Stereo Camera System Hệ thống máy ảnh stereo SIFT Scale-invariant Feature Transform Biến đổi đặc trưng tỷ lệ bất biến SLAM Simultaneous Mapping SP1 Service Pack Gói dịch vụ SSD Sum of Squared Differences Thuật tốn Tổng bình phương độ sai lệch SUFT Speeded-Up Robust Features Tăng tốc đặc trưng mạnh mẽ VDEMs Vectorized Digital Elevation Model Mơ hình nâng cao kỹ thuật số véc-tơ hóa VGA Video Graphics Array Localization And Đồng thời định vị trí lập đồ Chuẩn mảng đồ họa video độ phân giải 640x480 SCS Stereo Camera System SLAM Simultaneous Localization Hệ thống máy ảnh stereo And Đồng thời định vị trí lập Mapping đồ SP1 Service Pack Gói dịch vụ SSD Sum of Squared Differences Thuật tốn Tổng bình phương độ sai lệch VGA Video Graphics Array Chuẩn mảng đồ họa video độ phân giải 640x480 ToF Time-of-Flight DIPD Dynamic Interest Point Detection Độ sâu phát mặt phẳng theo hình ảnh vi DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ Hình 1.1 Hệ thống thị giác người quan sát đối tượng Hình 1.2 Một số ví dụ ứng dụng thuật tốn thị giác máy tính Hình 1.3 Một số ví dụ đầu thuật tốn thị giác máy tính: (a) ghi nhãn dịng, (b) cấu trúc hình ảnh Hình 1.4 Ví dụ thuật tốn thị giác máy tính từ năm 1990: (a) cấu trúc dựa yếu tố từ chuyển động, (b) kết hợp cặp ảnh dày đặc Hình 1.5 Các ví dụ gần thuật tốn thị giác máy tính: (a ) ánh xạ tương tác, (b) kết cấu tổng hợp, (c) nhận dạng dựa đặc trưng, (d) nhận dạng dựa khu vực Hình 2.1 Khung cảnh tương quan máy ảnh điểm thời gian t1 t2 [20] 12 Hình 2.2 Một số kết trung gian phép biến đổi ảnh thị giác [20] 16 Hình 2.3 Kết trích xuất mặt đường sử dụng phương pháp biến đổi ảnh thị giác [20] 16 Hình 2.4 Cảm biến mặt phẳng mặt đất trình bày dựa tọa độ cảm biến 18 Hình 2.5 Hình ảnh đám mây điểm 2D phát sinh từ việc trích xuất mặt phẳng mái RANSAC [19] 22 Hình 2.6 Quá trình phát triển mặt phẳng 26 Hình 2.7 So sánh phát mặt phẳng 31 Hình 2.8 (a) Vùng quan tâm đồ chênh lệch (b) Ảnh mặt đất phủ lên ảnh gốc [16] 32 Hình 2.9 Phân tích liệu độ chênh lệch theo hàng (a) cột (b) [16] 32 Hình 3.1 Mơ hình rơ-bốt sử dụng hệ thống dẫn đường dựa thị giác máy tính .35 Hình 3.2 (a) Các thành phần Kinect (b) Phạm vi khơng gian độ sâu [27]35 Hình 3.3 Mơ hình tốn học để tính tốn kích thước điểm sâu 36 Hình 3.4 Sơ đồ khối phương pháp dẫn đường dựa đồ độ sâu 37 Hình 3.7 Thuật tốn điều hướng cải thiện dựa đồ độ sâu cho rô-bốt nhà 40 Hình 3.8 Mơ hình thiết kế chế tạo hệ thống xe rơ-bốt thử nghiệm 41 Hình 3.9 Kết thử nghiệm chiến thuật dẫn đường 43 Hình 3.10 Theo dõi vị trí rơ-bốt theo chiến thuật điều hướng 44 Hình 3.11 Kết thuật toán điều hướng cải tiến 47 Hình 3.12 Theo dõi vị trí rơ-bốt theo chiến thuật điều hướng cải tiến 47 CHƯƠNG TỔNG QUAN VỀ THỊ GIÁC MÁY TÍNH 1.1 Giới thiệu thị giác máy tính Con người nhận thức cấu trúc ba chiều giới xung quanh cách dễ dàng Hãy nghĩ cảm nhận ba chiều sống động bạn nhìn vào bình hoa bàn bên cạnh bạn Con người cho biết hình dạng độ mờ cánh hoa thông qua kiểu ánh sáng bóng mờ tinh tế phát bề mặt dễ dàng phân chia bơng hoa từ cảnh (Hình 1.1) Hình 1.1 Hệ thống thị giác người quan sát đối tượng Nhìn vào chân dung nhóm đóng khung, bạn dễ dàng đếm (và tên) tất người ảnh chí đốn cảm xúc họ từ vẻ họ Các nhà tâm lý học nhận thức dành hàng thập kỷ để cố gắng hiểu hệ thống thị giác hoạt động họ nghĩ ảo ảnh quang học để trêu chọc số nguyên tắc Các nhà nghiên cứu thị giác máy tính phát triển, song song, kỹ thuật tốn học để phục hồi hình dạng ba chiều xuất vật thể hình ảnh Bây có kỹ thuật đáng tin cậy để tính tốn xác mơ hình 3D phần mơi trường từ hàng ngàn ảnh chồng chéo phần (Hình 1.2a) Với tập hợp khung nhìn đủ lớn đối tượng mặt tiền cụ thể, tạo mơ hình bề mặt 3D dày đặc xác cách sử dụng kết hợp cặp ảnh (Hình 1.2b) Chúng ta theo dõi người di chuyển phức tạp (Hình 1.2c) Thậm chí, thành cơng vừa phải, cố gắng tìm gọi tên tất người ảnh cách sử dụng kết hợp khuôn mặt, quần áo, nhận dạng nhận dạng tóc (Hình 1.2d) Hình 1.2 Một số ví dụ ứng dụng thuật toán thị giác máy tính Chú thích: (a) Cấu trúc tái tạo mơ hình điểm 3D, (b) Các thuật toán kết hợp cặp ảnh xây dựng mơ hình 3D chi tiết mặt tiền tòa nhà, (c) Kết thuật tốn theo dõi người, (d) Thuật tốn nhận diện khn mặt, kết hợp với thuật tốn phát tóc quần áo dựa màu sắc Tuy nhiên, bất chấp tất tiến này, giấc mơ có máy tính diễn giải hình ảnh cấp độ với đứa trẻ hai tuổi (ví dụ, đếm tất vật tranh) khó nắm bắt Tại thị giác khó khăn? Một phần, thị giác vấn đề nghịch đảo, phương pháp thực nghiệm tìm cách khôi phục số ẩn số cung cấp không đủ thông tin để định đầy đủ giải pháp Do đó, phải sử dụng mơ hình dựa vật lý xác suất để phân tán giải pháp tiềm Tuy nhiên, việc mơ hình hóa giới thị giác tất phức tạp phong phú khó khăn nhiều so với việc mơ hình hóa giọng hát tạo âm nói Các mơ hình chuyển tiếp sử dụng thị giác máy tính thường phát triển vật lý (đo phóng xạ, quang học thiết kế cảm biến) đồ họa máy tính Cả hai trường mơ hình cách vật thể chuyển động hoạt hình, cách ánh sáng phản xạ khỏi bề mặt chúng, bị tán xạ bầu khí quyển, khúc xạ qua ống kính máy ảnh (hoặc mắt người) cuối chiếu lên mặt phẳng 39 xM = xA − xB , OQ – MN = 75cm (Hình 3.1) MN khoảng cách từ rơ-bốt đến vạch kiểm tra chướng ngại vật, có phân đoạn AB, CD Hình 3.6a  MQ  θ = arctan    OQ − MN  ON= (3.3) (3.4) MQ2 + (OQ − MN )2 2b Trường hợp rơ-bốt tiếp tục di chuyển phía trước: Điều xảy chướng ngại vật xuất bên trái bên phải xe Tùy thuộc vào kích thước chướng ngại vật, độ hẹp theo chiều dọc mặt đất mà xe rô-bốt có phải chuyển hướng hay khơng Nếu chướng ngại vật đủ nhỏ, xe rô-bốt tiếp tục di chuyển thẳng (Hình 3.6b) Nếu xâm chiếm mặt đất tăng lên đủ lớn, rơbốt có xu hướng di chuyển sang bên phải bên phải tùy theo hồn cảnh có lợi Z z A M Q B P C D B A M N O (a) O (b) Hình 3.6 Mơ hình tốn học cải tiến lựa chọn hướng di chuyển rơ-bốt Chú thích: (a): Trường hợp rơ-bốt bị cưỡng chuyển hướng, (b): Trường hợp rô-bốt chuyển hướng 3.2.3.b Triển khai chiến thuật định vị chọn đường Vị trí rơ-bốt xác định dựa hai yếu tố Đầu tiên, đồ 2D khởi tạo môi trường hoạt động nạp vào hệ thống rơ-bốt Bản đồ tạo từ việc xây dựng vẽ phác thảo nhanh phép đo chủ quan Đặt rô-bốt vào mơi trường cung cấp cho chương trình vị trí bắt đầu Các giá trị nạp vào chương trình bao gồm toạ độ x toạ độ y ban đầu Chuyển động rô-bốt thay đổi tọa độ ban đầu trở thành tọa độ Sự thay đổi ghi lại liên tục phần mềm cài đặt hệ thống Bằng cách so sánh vận tốc góc hai động dẫn động bánh xe 40 ánh xạ từ khoảng cách tới điểm tọa độ đồ, theo dõi đường rơ-bốt Nó cho phép người quản lý nhìn thấy đường rô-bốt thông qua chức vẽ đồ thị chương trình Rơ-bốt thử nghiệm áp dụng chiến thuật dẫn đường theo tiêu chí “Ln di chuyển thẳng tới đích” Đầu tiên, hệ thống nhận dạng mặt đất từ đồ độ sâu cung cấp máy ảnh RGB-D để tìm phương hướng cho rơ-bốt (Hình 3.7) Nếu khơng có trở ngại nào, ln cố gắng di chuyển thẳng đến đích Nếu rơbốt “nhìn thấy” chướng ngại vật, chuyển sang chế độ tránh vật cản cải tiến để vượt qua chúng Nguyên tắc di chuyển luôn phấn đấu hướng thẳng tới mục tiêu để giảm thiểu quãng đường từ vị trí rơ-bốt đến vị trí mục tiêu xác định trước Tuy nhiên, chiến lược bị tạm dừng rô-bốt bị chặn chướng ngại vật Từ thời điểm này, chiến thuật tránh chướng ngại vật có ưu tiên cao chiến thuật di chuyển thẳng đến mục tiêu Khởi tạo đồ 2D Khởi tạo vị trí xuất phát vị trí đích Hình 3.7 Thuật toán điều hướng cải thiện dựa đồ độ sâu cho rô-bốt nhà 41 3.3 Kết thực nghiệm phương pháp dẫn đường dựa nhận dạng mặt đất thảo luận Chương trình viết ngơn ngữ lập trình C # mơi trường Visual Studio 2015 triển khai máy tính xách tay với cấu sau: Bộ vi xử lý Core i5-2520, tốc độ tối đa 2.5Ghz, Windows Ultimate 64-bit SP1 Trong suốt thời gian thử nghiệm, có máy ảnh RGB-D sử dụng để định vị phát tránh chướng ngại vật Toàn tảng phần cứng điện tử gắn xe có 02 động để điều khiển hai bánh xe chủ động phía trước (Hình 3.8) 3.3.1 Kết thực nghiệm phương pháp tránh vật cản Phần mô tả kết thử nghiệm áp dụng phương pháp dẫn đường đề xuất thu thập theo thời gian thực Hệ thống xe rô-bốt thí nghiệm tiến hành di chuyển mơi trường thực tế nhà Hiện trường thử nghiệm thiết lập với trở ngại khác để kiểm tra tính ổn định phương pháp đề xuất Chương trình vừa thực nhiệm vụ xử lý liệu độ sâu để tìm hướng cho xe rơ-bốt vừa ghi lại khung hình vào nhớ để phục vụ công tác so sánh đánh giá a) b) Hình 3.8 Mơ hình thiết kế chế tạo hệ thống xe rơ-bốt thử nghiệm Chú thích: (a) Mặt trước (b) Mặt bên 42 Hình 3.9 cho thấy nhật ký chuyển động rơ-bốt điều khiển thuật tốn đề xuất cài đặt tảng Hình 3.8 Như thấy, rơ-bốt tránh tắc nghẽn xuất đường di chuyển từ điểm xuất phát đến đích Khi rơ-bốt di chuyển sàn phòng thử nghiệm, video điều hướng dựa độ sâu video màu lưu Thử nghiệm tiến hành 30 lần với xếp trở ngại tĩnh ngẫu nhiên Ngồi ra, có xuất vật thể chuyển động tượng người lọt vào tầm nhìn rơ-bốt 43 (a) (b) Hình 3.9 Kết thử nghiệm chiến thuật dẫn đường Chú thích: Các khung hình thử nghiệm trích xuất từ luồng video kết ghi lại (a) Khung hình màu gốc; (b) Bản đồ mặt đất bao gồm hướng di chuyển xác định rô-bốt: Hàng đầu tiên: di chuyển thẳng; hàng thứ hai: di chuyển sang bên phải; hàng thứ ba: di chuyển sang bên trái; hàng cuối với nhiều chướng ngại vật: lựa chọn sang phải Phương pháp tìm hướng đề xuất dựa khai thác mặt phẳng đất cho kết phương hướng hoàn toàn, tương đương với phương pháp [28] tác giả Biswas Trong đó, cơng trình [8] phân biệt cố định phương hướng di chuyển tránh vật cản Ngoài [8] sử dụng mạng nơ-ron nhân tạo nhận biết tình giao thơng đạt tỷ lệ xác 92% trường hợp So sánh cho thấy kết điều hướng đề xuất vượt trội phương pháp nhận thức phương hướng [8] Tuy nhiên với phương pháp đề xuất, xe thực chiến thuật tránh vật cản xảy số cố an toàn thân xe chạm vào vật cản Các quan sát thực nghiệm cho thấy va chạm xảy vật cản có hình dạng phần mặt đất lồi Sự cố làm cho tỷ lệ thành công chiến thuật tránh đường đạt 98% hàng trăm lần thử nghiệm Kết xác minh tính hiệu thuật tốn cho việc điều khiển xe rơbốt nhà cần thiết phải nâng cao tính an tồn giai đoạn 44 tránh vật cản Hình 3.10 minh họa kết theo dõi vị trí rơ-bốt với hai loại kịch gồm cản trở nhiều vật cản Rô-bốt hoạt động phạm vi 10mx8m Khoảng cách điểm xuất phát mục tiêu khoảng 9m Rơ-bốt đạt đến đích với tỷ lệ thành cơng 98%, nhiên thời gian lần thử nghiệm khơng giống (a) (b) Hình 3.10 Theo dõi vị trí rơ-bốt theo chiến thuật điều hướng Chú thích: (a): Kịch dẫn đường đơn giản (b) Kịch dẫn đường phức tạp 3.3.2 Kết thực nghiệm phương pháp tránh vật cản cải thiện Trong suốt thời gian thử nghiệm, có cảm biến RGB-D gắn xe rô-bốt để cung cấp thông tin hỗ trợ định vị tương đối, phát tránh chướng ngại vật Trong phần này, tác giả mô tả kết thử nghiệm có từ cách sử dụng phương pháp đề xuất Các thí nghiệm tiến hành môi trường thực tế với thiết lập chướng ngại khác để kiểm tra độ ổn định phương pháp đề xuất mô tả Hình 3.11 Rơ-bốt tránh vật cản tĩnh đường di chuyển từ điểm xuất phát đến đích xác định trước định điều hướng đầy đủ di chuyển thẳng di chuyển sang phải di chuyển sang trái Ngoài ra, có xuất vật thể chuyển động tượng người vào tầm nhìn xe rơbốt Khi rơ-bốt di chuyển sàn phịng thử nghiệm, video điều hướng dựa độ sâu video màu lưu Chúng hữu ích để đánh giá chất lượng thử nghiệm Hình 3.11 mơ tả chi tiết q trình dẫn đường cho xe rơ-bốt Dịng thứ hai minh họa rô-bốt kết việc quan sát định hướng xe phía đích sau bắt đầu di chuyển thẳng đến đích Dịng thứ ba đến dịng thứ tư, trình thực tránh chướng ngại vật Dịng thứ cho thấy q trình xác định lại hướng di chuyển thẳng đến đích thành cơng Dịng ảnh số 6, cho thấy chiến thuật vượt chướng ngại vật thứ hai Khoảng thời gian 45 từ dịng đến dịng 10 dành cho q trình di chuyển rơ-bốt Rơ-bốt tiếp cận mục tiêu xác thời điểm hiển thị dòng 11 Khung hình Khung ảnh màu Điều hướng dựa mặt phẳng đất (màu đỏ) (1) 8.45.52 (2) 8.45.57 (3) 8.46.02 (4) 8.46.28 46 (5) 8.46.42 (6) 8.46.53 (7) 8.47.03 (8) 8.47.30 47 (9) 8.47.34 (10) 8.47.45 (a) (b) Hình 3.11 Kết thuật tốn điều hướng cải tiến Chú thích: (a) ảnh RGB; (b) Bản đồ mặt đất với hướng di chuyển rơ-bốt (a) (b) Hình 3.12 Theo dõi vị trí rơ-bốt theo chiến thuật điều hướng cải tiến Chú thích: (a) kịch đơn giản (b) kịch phức tạp Hình 3.12 minh họa kết theo dõi vị trí xe rơ-bốt với hai loại kịch gồm kịch có vật cản kịch có nhiều vật cản Vị trí điểm bắt đầu điểm kết thúc biểu thị tọa độ 2D Rô-bốt khởi tạo hướng 12h Sau rô-bốt nhận tọa độ điểm bắt đầu điểm kết thúc, 48 xác định góc quay để hướng về mục tiêu trước di chuyển phía mục tiêu minh họa phân đoạn đường theo dõi vị trí xe rơ-bốt màu xanh Khi hệ thống phát tắc nghẽn đầu tiên, xác định góc quay để tránh chướng ngại vật tránh xa vật cản để đảm bảo chúng đủ an toàn (đoạn đỏ đầu tiên) Như vậy, rơ-bốt hồn tồn tn thủ chiến lược di chuyển đề xuất Rơ-bốt đạt điểm đến hai trường hợp với vật cản nhiều vật cản với góc điều chỉnh hướng gần vơ cấp Vì vậy, phương pháp điều hướng đề xuất thể tính linh hoạt mượt mà ba cơng trình khác gần so sánh trình bày Bảng 4.1 Kết điều hướng đánh giá dựa yếu tố phạm vi góc điều hướng, số lượng hướng góc phạm vi Đáng ý bước góc quay điều chỉnh hướng phương pháp đề xuất nhỏ Nó minh chứng cho hiệu thuật toán áp dụng cho việc điều khiển rô-bốt tự trị nhà Tỷ lệ định hướng phân loại tình chiến thuật dẫn đường đề xuất so sánh với kết phương pháp khác (Bảng 4.2) Rô-bốt đạt đến đích với tỷ lệ thành cơng 98.7%, nhiên thời gian kiểm tra không giống Bảng 4.1 So sánh hiệu phương pháp dẫn đường cho rô-bốt nhà Phương pháp (Tác giả) Bước Sai số Phạm vi điều Số lượng lượng tử lượng tử hướng điều hướng 0 hướng () () () Correa [8] (2012) 22.5 11.25 180 Zainuddin [29] (2014) 90 45 180 XIN Jing [30] (2016) 22.5 11.25 360 16 Phương pháp đề xuất 0.5 180 180 49 Bảng 4.2 So sánh tỷ lệ điều hướng thành công Phương pháp (Tác giả) Tỷ lệ định hướng/phân loại (%) (Correa) [8] 92 (Biswas) [28] 100 Phương pháp đề xuất 100 3.3.3 Kết luận Trong nghiên cứu này, tác giả tập trung vào việc phát triển hệ thống dẫn đường tự trị nhà cho ứng dụng rô-bốt di động cách khai thác đồ độ sâu Hệ thống rô-bốt nhà trang bị với máy ảnh RGB-D thực tốt với phương pháp điều hướng đề xuất, không bị ảnh hưởng cường độ ánh sáng môi trường hoạt động Kết thu hoạch chứng minh giải vấn đề điều hướng rô-bốt môi trường động chưa biết với phương pháp đề xuất Máy ảnh RGB-D sử dụng Kinect phù hợp cho ứng dụng dẫn đường cục khả cung cấp liệu mạnh mẽ đáng tin cậy để tránh chướng ngại vật môi trường nhà phức tạp Dự án điều hướng dựa khai thác video chiều sâu thời gian thực cải thiện với hiệu suất cao cách so sánh thông số tỷ lệ thành cơng khả góc hướng số phương pháp điều hướng thú vị Trong tương lai, cần sử dụng máy ảnh có độ phân giải cao để phân tích thêm hình học đối tượng Ngoài ra, nghiên cứu nên khai thác liệu sâu cách kết hợp luồng liệu chiều sâu với luồng liệu màu để mang lại kết tinh tế nhân 50 KẾT LUẬN Luận văn trình bày phương pháp điều hướng cho rô-bốt di động môi trường nhà sử dụng luồng liệu độ sâu Phương pháp điều hướng thời gian thực tích hợp hệ thống rô-bốt tự xây dựng trang bị máy ảnh RGB-D có độ phân giải 640x480 Đầu tiên, phương pháp áp dụng nguyên tắc di chuyển khả thi phương tiện giao thông đường thường di chuyển mặt đất Vì vậy, phương pháp bắt đầu với việc tìm kiếm mặt đất từ video chiều sâu cung cấp ổn định Dựa hình dạng mặt đất đáng tin cậy này, đề xuất thuật toán lựa chọn hướng di chuyển mạnh mẽ Trong chờ đợi, hệ thống rô-bốt theo chiến lược khoảng cách đường tối thiểu đến mục tiêu cho Đồng thời, với đồ xác định trước môi trường hoạt động, vấn đề điều hướng rô-bốt giải với mức tỷ lệ thành công phương pháp gần FSPF Hệ thống rô-bốt điều hướng mạnh mẽ linh hoạt phương pháp mạng nơ-ron với bước góc điều chỉnh 10 Các thử nghiệm độ ổn định độ xác thuật tốn điều hướng đề xuất lên đến 98% Thời gian xử lý phương pháp đề xuất điều hướng giảm thiểu để đáp ứng ứng dụng thời gian thực rôbốt Rơ-bốt dẫn đường thành cơng phịng bước tiến tới phát triển thiết bị tự trị hồn tồn Việc tích hợp hệ thống dẫn đường thị giác vào rơ-bốt sử dụng làm tảng Các ứng dụng khai thác liệu độ sâu luồng ảnh màu ngày sâu rộng để tiếp tục đánh giá phát triển chức liên quan đến phương tiện tự trị thị giác tương lai Mặc dù điều kiện mơi trường nhà ngồi nhà khác lớn nhiều tính hệ thống điều khiển hồn tồn giống Hệ thống rơ-bốt cần nâng cao phân hệ khí phù hợp, hỗ trợ tối ưu di chuyển an toàn Các phần cứng máy tính mạnh mẽ, phân hệ nguồn cung cấp dung lượng lớn tạo điều kiện tăng hiệu xe rô-bốt Mỗi hệ thống rơ-bốt cần nhận biết tính chất môi trường vận hành 51 TÀI LIỆU THAM KHẢO [1] I FLIR Systems, "ptgrey," [Online] https://www.ptgrey.com/corporate/about-us [Accessed 20 2017] Available: [2] F Endres, J Hess, N Engelhard, J Sturm, D Cremers and W Burgard, "An evaluation of the RGB-D SLAM system," in 2012 IEEE International Conference on Robotics and Automation, Saint Paul, MN, 2012 [3] A S Huang, A Bachrach, P Henry, M Krainin, D Maturana, D Fox and N Roy, "Visual odometry and mapping for autonomous flight using an RGB-D camera," in The 15th International Symposium of Robotics Research (ISRR), 2011 [4] R A Newcombe, S J Lovegrove and A J Davison, "DTAM: Dense tracking and mapping in real-time," in In IEEE Int Conf on Computer Vision (ICCV), Barcelona, Spain, 2011 [5] O Khatib, V Kumar and G Sukhatme, "RGB-D mapping: Using depth cameras for dense 3D modeling of indoor environments," in The 12th International Symposium on Experimental Robotics, 2014 [6] M Daniel, A Hornung and M Bennewitz, "Real-time navigation in 3D environments based on depth camera data," in 2012 12th IEEE-RAS International Conference on Humanoid Robots (Humanoids 2012), Osaka, 2012 [7] Z Yong-guo and L G.-l C Wei, "The Navigation of Mobile Robot Based on Stereo Vision," in 2012 Fifth International Conference on Intelligent Computation Technology and Automation, Zhangjiajie, Hunan, 2012 [8] D S O Correa, D F Sciotti, M G Prado and D O Sales, "Mobile robots navigation in indoor environments using kinect sensor," in Second Brazilian Conference on Critical Embedded Systems (CBSEC), 2012 [9] C C Lai and K L Su, "Development of an intelligent mobile robot localization system using Kinect RGB-D mapping and neural network," Computers & Electrical Engineering, vol 67, pp 620-628, 2016 [10] S Prabu and G Hu, "Stereo Vision based Localization of a Robot using Partial Depth Estimation and Particle Filter," in IFAC Proceedings Volumes, 2014 [11] A Hast, J Nysjö and A Marchetti, "Optimal RANSAC – towards a repeatable algorithm for Finding the optimal set," Journal of WSCG, vol 21, no 1, p 21–30, 2013 [12] X Hu, Rodriguez and Gepperth, "A multi-modal system for road detection and segmentation," in 2014 IEEE Intelligent Vehicles Symposium Proceedings, Michigan, USA, 2014 52 [13] A Sakai, Y Tamura and Y Kuroda, "Visual odometry using feature point and ground plane for urban environment," in 41st International Symposium on and 2010 6th German Conference on Robotics (ROBOTIK), Munich, Germany, 2010 [14] Z Wang and J Zhao, "Optical flow based plane detection for mobile robot navigation," in The 8th World Congress on Intelligent Control and Automation, Taiwan, 2011 [15] A Jamal, P Mishra, S Rakshit, A K Singh and M Kumar, "Real-time ground plane segmentation and obstacle detection for mobile robot navigation," in 2010 International Conference on Emerging Trends in Robotics and Communication Technologies (INTERACT 2010), Chennai, India, 2010 [16] K Gong and R Green, "Ground-plane detection using stereo depth values for wheelchair guidance," in 24th International Conference Image and Vision Computing New Zealand (IVCNZ), Wellington, New Zealand, 2009 [17] H Haberdar and S K Shah, "Disparity Map Refinement for Video Based Scene Change Detection Using a Mobile Stereo Camera Platform," in 2010 20th International Conference on Pattern Recognition, Istanbul, 2010 [18] C Teoh, C Tan and Y C Tan, "Ground plane detection for autonomous vehicle in rainforest terrain," in IEEE Conference on Sustainable Utilization and Development in Engineering and Technology (STUDENT), Wellington, New Zealand, 2010 [19] F Tarsha-Kurdi, T Landes and P Grussenmeyer, "Hough-transform and extended ransac algorithms for automatic detection of 3d building roof planes from lidar data," in Proceedings of the ISPRS Workshop on Laser Scanning, Vol 36;, Espoo, Finland, 2007 [20] J Arrospide, L Salgado, M Nieto and R Mohedano, "Homography-based ground plane detection using a single on-board camera," IET Intelligent Transport Systems, vol 4, no 2, p 149–160, 2010 [21] N M M.Elhabiby and N El-Sheimy, "Indoor localization and mapping using camera and inertial measurement unit (IMU)," in 2014 IEEE/ION Position, Location and Navigation Symposium (PLANS 2014), Monterey, CA, USA, 2014 [22] P Mishra, J K Kishore, R Shetty, A Malhotra and R Kukreja, "Monocular vision based real-time exploration in autonomous rovers," in 2013 International Conference on Advances in Computing, Communications and Informatics (ICACCI), Mysore, India, 2013 [23] R Hartley and A Zisserman, Multiple View Geometry in Computer Vision, New York, NY, USA: Cambridge University Press, 2003 [24] G Welch and G Bishop, "An Introduction to the Kalman Filter," Report TR 95- 53 041, Department of Computer Science, University of North Carolina at Chapel Hill, Chapel Hill, NC, USA, 2004 [25] M A Fischler and R C Bolles, "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM, vol 24, no 6, pp 381-395, 1981 [26] D K Hoa, T V Duc, V M Hoang, V S Tung and N T Dung, "AN EFFECTIVE DEPTH MAP NAVIGATION FOR MOBILE ROBOT IN INDOOR ENVIRONMENTS”,," JP Journal of Heat and Mass Transfer, Advances in Mechanical System and ICT-convergence, vol Special Volume, no II, p 221 237, 2018 [27] Microsoft, "msdn," 22 12 2016 [Online] https://msdn.microsoft.com/en-us/library/jj131033.aspx Available: [28] J Biswas and M Veloso, "Depth camera based indoor mobile robot localization and navigation," in 2012 IEEE International Conference on Robotics and Automation, Saint Paul, MN, 2012 [29] N A Zainuddin, Y M Mustafah, Y A M S Rashid and N K A M Rashid, "Autonomous Navigation of Mobile Robot Using Kinect Sensor," in International Conference on Computer and Communication Engineering, Kuala Lumpur, 2014 [30] J Xin, X.-L Jiao, Y Yang and D Liu, "Visual navigation for mobile robot with Kinect camera in dynamic environment," in 35th Chinese Control Conference (CCC), Chengdu, 2016 ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN TRUNG MẠNH NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TÌM ĐƯỜNG DỰA TRÊN THỊ GIÁC TRONG MƠI TRƯỜNG KHƠNG BIẾT TRƯỚC Ngành: Kỹ thuật viễn... truyền cảm hứng cho việc nghiên cứu 1.3 Sự phát triển thị giác máy tính Trong phần này, cung cấp tóm tắt ngắn gọn phát triển thị giác máy tính năm qua Những năm 1970, thị giác máy tính lần bắt đầu... dụng Nội dung nghiên cứu gồm khái niệm thị giác máy tính, lĩnh vực ứng dụng khơng hạn chế tìm hiểu phát triển nghiên cứu vấn đề dẫn đường cho xe rô-bốt nhà Một số thuật toán nghiên cứu đánh phương