Nghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác rô bốt trong nhà tt

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ Ngành: Kỹ thuật điện tử Mã số: 9520203 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Hà Nội – 2019 Cơng trình hồn thành tại: Trường Đại học Bách khoa Hà Nội Người hướng dẫn khoa học: PGS.TS Nguyễn Tiến Dũng TS Lê Dũng Phản biện 1: Phản biện 2: Phản biện 3: Luận án bảo vệ trước Hội đồng đánh giá luận án tiến sĩ cấp Trường họp Trường Đại học Bách khoa Hà Nội Vào hồi …… giờ, ngày … tháng … năm ……… Có thể tìm hiểu luận án thư viện: Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội Thư viện Quốc gia Việt Nam MỞ ĐẦU Tính cấp thiết luận án Gần phương pháp hỗ trợ dẫn đường máy ảnh thị giác tập trung nghiên cứu với nhiều hy vọng giải tối đa vấn đề toán cứu hộ, cứu nạn, hỗ trợ người khiếm thị nhiều lĩnh vực khác Dựa hình ảnh thu nhận mơi trường cảm thụ khơng biết trước cho phép xác định xác đường đi, tránh vật cản tới mục tiêu Tình hình nghiên cứu thuật tốn xử lý tín hiệu máy ảnh ứng dụng lĩnh vực nêu chưa quan tâm xứng đáng với vai trò quan trọng Số lượng báo, cơng trình khoa học có liên quan cơng bố tạp chí khoa học, báo khoa học nước hạn chế Mục tiêu, đối tượng, phương pháp phạm vi nghiên cứu 2.1 Mục tiêu nghiên cứu Mục tiêu thứ tăng cường thuật tốn tính tốn đồ chênh lệch/độ sâu mặt thời gian, hỗ trợ cho hệ thống máy ảnh cung cấp liệu độ sâu theo thời gian thực cho ứng dụng khai thác liệu sâu Mục tiêu thứ hai nghiên cứu đề xuất thuật tốn thuật tốn trích xuất mặt phẳng dựa liệu độ sâu, đáp ứng yêu cầu xử lý theo thời gian thực, hỗ trợ cho toán tái tạo đối tượng 3D Mục tiêu thứ ba tập trung nghiên cứu đề xuất thuật toán nhận dạng hiệu mặt đất từ liệu đồ độ sâu, đáp ứng yêu cầu xử lý theo thời gian thực để hỗ trợ giải toán dẫn đường cho rô-bốt Mục tiêu thứ tư nghiên cứu phương pháp dẫn đường cho rô-bốt áp dụng túy thuật tốn khai thác đồ độ sâu, mơi trường nhà trước, theo định hướng giảm thiểu độ phức tạp; đáp ứng yêu cầu dẫn đường xác 2.2 Đối tượng nghiên cứu Từ mục tiêu nghiên cứu trên, luận án tập trung vào đối tượng nghiên cứu thứ thuật toán xử lý liệu đồ độ sâu cung cấp bới hệ thống máy ảnh RGB-D, cung cấp liệu vào cho toán dẫn đường rô-bốt nhà, với khả tự tránh vật cản đường di chuyển Tiếp theo nghiên cứu phương pháp dẫn đường cho rô-bốt dùng hệ thống máy ảnh RGB-D nhà trước Cuối nghiên cứu, thiết kế chế tạo mơ hình rơ-bốt tích hợp hệ thống máy ảnh RGB-D với thuật toán phát triển nhằm thử nghiệm độ tin cậy 2.3 Phương pháp nghiên cứu Phương pháp nghiên cứu luận án từ nghiên cứu lý thuyết đến thực nghiệm, ứng dụng kỹ thuật xử lý ảnh thu nhận từ máy ảnh vào giải tốn tìm đường robot di động Đầu tiên luận án nghiên cứu lý thuyết, xây dựng mô hình, sau mơ thuật tốn, thiết kế chế tạo mơ hình xe rơ-bốt để thực nghiệm trường nghiên cứu đo lường, đánh giá 2.4 Phạm vi nghiên cứu Phát triển thuật toán xử lý ảnh cung cấp hệ thống máy ảnh RGB-D Phát triển thuật tốn dẫn đường cho rơ-bốt môi trường động sử dụng túy liệu thu nhận hệ thống máy ảnh RGB-D Xây dựng mơ hình rơ-bốt dẫn đường hệ thống máy ảnh RGB-D với thuật tốn phát triển mơi trường hoạt động nhà chưa biết trước Ý nghĩa khoa học đóng góp luận án 3.1 Ý nghĩa khoa học: Việc nghiên cứu thuật toán xử lý video đồ độ sâu cung cấp hệ thống máy ảnh RGB-D đề tài mang ý nghĩa khoa học bao gồm hai khía cạnh lý luận thực tiễn 3.1.1 Về lý luận: Góp phần phát triển sở khoa học thuật toán xử lý tín hiệu video độ sâu thơng qua xây dựng phương pháp tính tốn nhanh, xác cao cho tốn dẫn đường cho xe rơ-bốt khảo sát trường - định hướng nghiên cứu mang tính thời Các kết nghiên cứu đề tài dự kiến đóng góp cho phát triển tảng lý thuyết xử lý tín hiệu video độ sâu Thúc giải toán nhân dạng đối tượng mặt đất hỗ trợ dẫn đường sử dụng thị giác máy tính cho rơ-bốt di động hoạt động mơi trường động nhà 3.1.2 Về mặt thực tiễn: Thuật toán nghiên cứu đề xuất luận án làm sở cho nhà sản xuất thiết bị rô-bốt, hệ thống giám sát quan sát cảnh báo 3D thơng minh Do vậy, đề tài có tính thực tiễn cao Thuật tốn đề xuất ứng dụng vào thiết kế chế tạo rôbốt khảo sát trường, cứu hộ phù hợp với điều kiện môi trường Việt Nam 3.2 Các đóng góp khoa học luận án gồm: Luận án đề xuất thuật toán xác định mặt phẳng từ đồ độ sâu Bước đầu, đề xuất tăng cường thuật tốn tính đồ chênh lệch SAD Phương pháp thực tính tốn tập điểm biên ảnh thị giác nổi, giúp giảm sâu khối lượng liệu cần xử lý Tiếp theo, luận án đề xuất phương pháp trích mặt phẳng từ đồ độ sâu sử dụng thuật tốn Lọc gom nhóm hàng xóm (NGaF) có khả giảm độ phức tạp tính tốn tăng tốc độ xử lý Sau đó, luận án đề xuất phương pháp nhận dạng mặt đất áp dụng thuật toán Bản đồ gradient độ sâu (GDM) khai thác đồ độ sâu, giải tránh vật cản trở đạt hiệu cao để phát triển ứng dụng dẫn đường dựa hệ thống thị giác cho hệ rô-bốt di động nhà Luận án đề xuất phương pháp dẫn đường cho rô-bốt môi trường trước dựa việc xác định mặt phẳng đất gọi Luôn di chuyển thẳng tới đích (AMSD) Luận án phát triển việc khai thác mặt đất để tìm hướng ngắn tới đích cho trước Ban đầu việc xây dựng mơ hình xe rơ-bốt thích hợp với mơi trường thử nghiệm trang bị hệ cảm biến RGB-D Thuật tốn tìm mặt đất tích hợp hệ rơ-bốt đáp ứng thời gian thực, giúp cho việc tìm phương hướng cách chắn nhanh chóng Cấu trúc nội dung luận án Nội dung luận án bao gồm bốn chương Đầu tiên, chương tập trung giới thiệu hệ thống dẫn đường dựa hình ảnh thị giác tích hợp cho rơ-bốt di động Phần cuối chương trình bày số vấn đề cịn tồn xử lý ảnh thị giác, lĩnh vực dẫn đường cho rô-bốt dựa hệ thống máy ảnh RGB-D thị giác Chương có hai nội dung Thứ phương pháp tăng tốc độ tính đồ chênh lệch/độ sâu dựa cải tiến cách thực thuật giải SAD gốc Thứ hai phương pháp trích xuất mặt phẳng dựa khai thác đồ độ sâu Chương phát triển thuật toán để giải toán nhận dạng mặt phẳng đất Từ tác giả đề xuất phương pháp có cải thiện hiệu so với phương pháp Phương pháp đề xuất kiểm nghiệm hai loại tập liệu độ sâu chuẩn tập liệu thu thập thực tế Kết thu minh chứng cho tính mãnh mẽ, ổn định thuật tốn thơng qua hai phương pháp đánh giá trực quan đánh giá khách quan Cuối cùng, chương nghiên cứu đề xuất chiến thuật dẫn đường áp dụng cho rô-bốt di động tới đích cho trước Bài tốn giải môi trường hoạt động nhà trước với ràng buộc sử dụng liệu đồ độ sâu Các phân tích cụ thể phương pháp tìm đường đề xuất nêu rõ ưu điểm bật số hạn chế tốn tìm đường nhà; cho thấy tính khả thi phương pháp dẫn đường đề xuất CHƯƠNG TỔNG QUAN HỆ THỐNG DẪN ĐƯỜNG CHO RÔ-BỐT DỰA TRÊN HÌNH ẢNH THỊ GIÁC MÁY TÍNH 1.1 Giới thiệu chương Nội dung chương gồm hai phần Phần đầu trình bày lý thuyết tổng quan hệ thống dẫn đường cho rô-bốt di chuyển mặt đất với khái niệm, vai trò phân loại số loại hệ thống dẫn đường Phần cuối chương phân tích cụ thể vấn đề liên quan tới việc khai thác liệu độ sâu với phân tích chi tiết vấn đề tồn theo khía cạnh tốn dẫn đường cho rô-bốt 1.2 Hệ thống dẫn đường cho rô-bốt nhà Hệ thống dẫn đường cho rô-bốt hệ thống kết hợp phần cứng phần mềm nhằm tính tốn đường cho rơ-bốt cách hợp lý Dựa theo nguyên tắc dẫn đường, chúng phân biệt sau: Dẫn đường toàn cục, Dẫn đường cục bộ, Dẫn đường riêng Ba hệ thống dẫn đường ứng dụng cách độc lập sử dụng kết hợp với để bổ sung ưu điểm cho với hệ thống có ưu nhược điểm định Kiến trúc hệ thống dẫn đường rô-bốt sử dụng thị giác máy tính Với phạm vi hoạt động mơi trường nhà chưa biết trước, kiến trúc hệ thống dẫn đường cho rơ-bốt di động Hình 2.1 Máy ảnh RGB-D/ Máy ảnh Xử lý hình ảnh Cơ cấu chấp hành Hình 2.1 Hệ thống dẫn đường thị giác cho rô-bốt 1.3 Một số vấn đề hệ thống rô-bốt dẫn đường dựa thị giác 1.3.1 Phương pháp tính tốn đồ chênh lệch/độ sâu Vấn đề tương đồng ảnh thị giác tìm đối tượng tương ứng hai hình ảnh đầu vào [37], [38], nghiên cứu nhiều năm gần Đây vấn đề lĩnh vực thị giác máy tính hỗ trợ cho nhiều ứng dụng nghiên cứu thị giác máy tính sâu nhận dạng đối tượng, trích đặc trưng 1.3.2 Phương pháp trích xuất đối tượng mặt phẳng dựa ảnh thị giác máy tính 1.3.2.1 Phát mặt phẳng sử dụng chuyển đổi Hough Sử dụng dạng biểu diễn pháp tuyến mặt phẳng (1.3) cos θ cos φ X + sin θ cos φ Y + sin φ Z = ρ (1.3) θ, φ ρ thông số mặt phẳng pháp tuyến qua gốc Vì vậy, θ, φ ρ số không gian tham số (O’θ φ ρ) Trong trường hợp này, điểm ( X1 , Y1, Z1 ) không gian 3D đại diện cho bề mặt hình sin khơng gian tham số Đây nguyên lý biến đổi Hough 3D 1.3.2.2 Phát mặt phẳng sử dụng thuật toán RANSAC Thuật toán RANSAC phương pháp lặp để ước tính tham số mơ hình tốn học tập hợp liệu chứa ngoại lệ [46] Việc áp dụng thuật toán RANSAC cho phép phát mặt phẳng ảnh thị giác Mặt phẳng kết bao gồm mặt phẳng có giá trị điểm nhiễu thuộc mặt phẳng khác có số điểm bị Các điểm nhiễu cần loại bỏ khỏi mặt phẳng thật vừa phát phải gán lại cho đám mây điểm ban đầu Những điểm bị phải thêm vào mặt phẳng phát để nâng cao tính đầy đủ phép trích xuất mặt phẳng Đồng thời, điểm tách từ đám mây điểm ban đầu Do giải thuật RANSAC áp dụng để trích xuất mặt phẳng chưa chứng minh tính mạnh mẽ cần thêm giải pháp khắc phục Ngoài kết trực quan chưa có chứng minh độ ổn định thuật tốn mà cần có số liệu đánh giá khách quan 1.3.3 Phương pháp nhận dạng đối tượng mặt đất 1.3.3.1 Phát mặt phẳng đất dựa biến đổi ảnh thị giác 1) Phương pháp biến đổi ảnh thị giác Sự biến đổi điểm mặt phẳng đất hình ảnh thời điểm k-1 k cho đồ phẳng (1.6) [22] [50] (1.6) x = Hx k k −1 xk xk −1 tọa độ đồng đặc trưng ảnh ảnh trước Ma trận biến đổi phẳng H bao gồm tám hệ số độc lập nên cần có phương trình (tức bốn điểm tương ứng) để giải hệ tuyến tính [50] Sự biến đổi ảnh tức thời tính theo cách khơng mang lại kết xác tương đối khơng xác sai Điều đặc biệt có hại vài điểm sử dụng tính tốn H, trường hợp môi trường phức tạp, số lượng điểm đặc trưng khan Phần lớn phương pháp dựa biến đổi ảnh tính tốn thơng số (1.6) để biểu diễn, phân tích biến đổi ảnh suốt trình quan sát Tuy nhiên, điều liên quan đến việc giải hai vấn đề phức tạp gồm ước lượng tự chuyển động phép trích chọn mặt đất 3D 2) Thực nhận dạng mặt phẳng đất sử dụng phép biến đổi ảnh Các khu mặt đất trích xuất xây dựng chồng lên hình ảnh đầu vào khu vực bên với phần màu xám Các yếu tố vật thể di chuyển khỏi mặt đất kiểm tra thêm Các hình ảnh khác chuỗi phân tích để xác định phần tử không thuộc mặt đất có thêm hình dạng mơ hình chuyển động mong đợi từ vật thể chuyển động 3) Phân tích đánh giá phương pháp biến đổi ảnh ứng dụng nhận dạng mặt đất Phương pháp phát mặt đất sử dụng phép biến đổi ảnh khơng địi hỏi phải tính tốn rõ ràng chuyển động máy ảnh ước lượng tham số mặt đất 3D Phương pháp dựa tính kết hợp hình ảnh khn khổ tính tốn phép biến đổi ảnh Hạn chế lớn phương pháp giả định mặt phẳng ổn định chuyển động Điều khó xảy thực tế di chuyển rô-bốt Mặt khác phương pháp ước lượng liệu tuyến tính để tính toán phép biến đổi ảnh đơn giản, chưa thực bám sát thực tế Chiến lược phát đối tượng chưa xây dựng hoàn chỉnh để tăng cường độ tin cậy kết đáng kể Trong ứng dụng điều hướng rô-bốt nhà, cấu trúc bề mặt sàn khơng thể có giả định điểm đặc trưng mà nghiên cứu thường giả định môi trường nhân tạo nhà thường chứa tập hợp đường thẳng có cấu trúc sử dụng thơng tin điều hướng hữu ích 1.3.3.2 Phát mặt phẳng đất từ đồ chênh lệch/độ sâu Các nghiên cứu [18] [88] [20] tập trung vào khai thác đồ chênh lệch để giảm khối lượng liệu đầu vào Phương pháp [18] đề xuất so sánh khác biệt độ chênh lệch dòng đồ chênh lệch Kết cho thấy tính mạnh mẽ thuật tốn khơng cao nguồn ảnh bị ảnh hưởng bối cảnh Trong đồ khác biệt thực tế, rõ ràng ln có nhiễu xuất hai loại yếu tố bên bên Ngồi ra, có thêm điểm hạn chế kết hiển thị bối cảnh khơng có vật cản Thuật tốn V-Disparity cải tiến [88] dẫn đầu với tỷ lệ phát điểm đất cao bị trả giá độ phức tạp q trình xử lý thuật tốn tích hợp phép biến đổi Hough thuật toán RANSAC để lọc kết thô 1.3.3.3 Phát mặt phẳng đất từ đám mây điểm 3D 1) Mơ hình mặt phẳng đất Trong tốn học, mặt đất mơ tả mặt phẳng 3D nằm đám mây điểm 3D Về bản, mặt phẳng 3D biểu diễn thông số (1.16) ax + by + cz + d = a + b2 + c = (1.16) với [𝑎, 𝑏, 𝑐, 𝑑] tham số mặt đất Như có tham số đủ khả mơ tả mặt đất Thêm vào đó, giả định rơ-bốt sử dụng cảm biến cố định trình di chuyển 2) Trích mặt phẳng đất từ đám mây điểm 3D Định vị mặt đất trình tìm thông số mô tả mặt phẳng cho hệ điểm 3D Cách biểu diễn thông số viết dạng ma trận hệ 3D biểu diễn (1.17) (1.17) 𝑋 = {𝑥1 , 𝑥2 , … , 𝑥𝑁 } Trong X G tập hợp điểm có sẵn mặt đất f hàm số để tính tốn sai số điểm cho trước mặt phẳng Tuy nhiên, vấn đề khơng đơn giản X G chưa biết Nếu tham số mặt đất biết qua tối ưu hóa, cách phân loại giải đơn giản Phân loại điểm xác định (1.19) 𝑛ế𝑢 |𝑓(𝑥𝑖 ; 𝛩̂)| <  (1.19) 𝑙(𝑥𝑖 ; 𝛩̂) = { 𝑡𝑟𝑜𝑛𝑔 𝑡𝑟ườ𝑛𝑔 ℎợ𝑝 𝑘ℎá𝑐 Trong  ngưỡng giá trị để định điểm thuộc mặt phẳng hay không  xác định thơng qua tham số mặt phẳng đất Thuật tốn kinh điển RANSAC sử dụng để tìm tham số mặt đất với tham số nội ngoại chưa biết Quá trình tìm kiếm ngẫu nhiên lặp lại với số lần lặp lại cần thiết dựa tỷ số tham số nội Vì thế, RANSAC điều chỉnh cách thích nghi số lần lặp lại dựa điều kiện xác suất tin cậy 3) Phân tích đánh giá Các thí nghiệm với liệu 3D LiDAR thu thập cảm biến laze nên có nhiễu loại máy ảnh thị giác nên số lần lấy mẫu có lợi Các tham số số lần lặp thuật toán RANSAC thường bị ấn định chủ quan, thiếu sở khoa học [14] [15] Việc sử dụng mô hình mặt đất chưa mang lại tính xác cao nên cần cải tiến định hướng bổ xung cảm biến liệu trực quan kết hợp mơ hình mặt đất đặc trưng mơi trường cục 1.3.4 Phương pháp dẫn đường cho rô-bốt nhà môi trường chưa biết Việc dẫn đường cho xe rô-bốt sử dụng cảm biến phi thị giác cảm biến siêu âm có ứng dụng định Ngày hầu hết hệ rô-bốt tích hợp hệ máy ảnh để quan sát, thu thập liệu môi trường Các nguồn liệu đầu vào video màu, độ sâu, … giàu có thơng tin Nằm mục đích khai thác sâu nguồn liệu hình ảnh hệ thống thị giác gắn xe rơbốt tốn dẫn đường hệ thống thị giác góp phần khơi thêm tiềm hệ thống 1.3.4.1 Dẫn đường tự trị Xe rô-bốt di động di chuyển tự trị môi trường khơng rõ phải có khả thực xây dựng số loại đồ tự xác định vị trí quy hoạch đường dẫn Việc đồng thời xác định vị trí lập đồ, [49] địi hỏi có đồ lập đồ xác để ước tính xác vị trí Vấn đề trọng tâm nhiều cơng trình nghiên cứu [53] [54] [55] [56] với nhiều giải pháp kỹ thuật giải đề xuất Trong luận án rô-bốt xem xét xây dựng với nhiệm vụ điều hướng môi trường chưa biết nhà khai thác liệu đồ độ sâu 1.3.4.2 Lập kế hoạch đường Vấn đề việc lập kế hoạch đường tạo đường không bị va chạm từ điểm khởi đầu định A, đến điểm kết thúc mong muốn B Một số phương pháp để điều hướng mơi trường chưa biết trình bày tùy thuộc vào cách xác định khu vực hoạt động, có nhiều cách khác để giải vấn đề lập kế hoạch đường dẫn Với mục đích khai thác hiệu liệu độ sâu, tác giả luận án tập trung nghiên cứu ứng dụng tốn dẫn đường cho xe rơ-bốt theo phương pháp lập kế hoạch đường cục dựa túy việc khai thác liệu độ sâu 1.3.4.3 Phát tránh chướng ngại vật dựa thị giác máy tính Hướng nghiên cứu sử dụng phương pháp tính tốn thị giác mà tác giả có dự kiến lựa chọn phương pháp để phát triển luận án Dựa vào chiều sâu điểm, đánh giá liệu điểm có nằm mặt đất hay khơng [62] [67] Hiện nay, khó khăn phát vật cản dựa vào ảnh thị giác vấn đề phức tạp tính tốn Gần đây, số nhà nghiên cứu bắt đầu nghiên cứu phát vật cản cảm biến độ sâu Cơng trình [68] trang bị cảm biến độ sâu rô-bốt di động để phát tránh chướng ngại vật Tuy nhiên phương pháp chưa phân biệt chướng ngại vật tĩnh chướng ngại vật di chuyển môi trường động để rô-bốt di động thực nhiều chiến lược tránh chướng ngại vật khác 1.4 Tổng kết chương Qua đánh giá bản, tác giả thấy có vấn đề cần nghiên cứu triệt để sau Vấn đề trích xuất mặt phẳng từ đồ chênh lệch/độ sâu: Bài toán cần giải kỹ lưỡng từ khâu tốc độ tính tốn đồ chênh lệch/độ sâu Các phương pháp trích xuất mặt phẳng cần cải thiện thời gian chạy Do thuật tốn cần thỏa mãn hai yếu tố gồm khối lượng liệu tính tốn độ phức tạp thuật toán thấp Hơn nữa, vấn đề nhận dạng mặt đất từ liệu ảnh thị giác máy tính giải dựa liệu đồ độ sâu Thuật toán nhận dạng mặt đất cần đảm bảo tính mạnh mẽ, phổ qt khối lượng tính tốn thấp tương đương kết phải tốt phương pháp gần Vấn đề dẫn đường cho xe rô-bốt nhà môi trường chưa biết Các phương pháp nghiên cứu dẫn đường dựa thị giác máy tính khảo sát cho thấy tồn hạn chế tính xác, tính tối ưu CHƯƠNG PHƯƠNG PHÁP TĂNG TỐC TÍNH TỐN BẢN ĐỒ CHÊNH LỆCH VÀ PHÁT TRIỂN THUẬT TỐN TRÍCH XUẤT MẶT PHẲNG 2.1 Giới thiệu chương Chương trình bày hai nội dung Nội dung thứ phương pháp tăng tốc độ xây dựng đồ chênh lệch/ độ sâu với đề xuất thuật toán SAD cải thiện Giải thuật đề xuất đánh giá thời gian xử lý nhanh tiêu chí khác tương đương Nội dung thứ hai phương pháp trích xuất đối tượng mặt phẳng đề xuất giữ lại ưu điểm phương pháp tiếp cận [4] [5] 2.2 Hệ thống máy ảnh Một hệ thống máy ảnh bao gồm hai nhiều ống kính với cảm biến hình ảnh riêng biệt khung phim cho ống kính đặt theo chiều ngang Nguyên lý thị giác giống tầm nhìn hai mắt người nhận thức trực quan độ sâu, nơi mà vật xa cảnh vị trí chúng thay đổi nhắm mắt luân phiên Sự khác biệt vị trí thường đặc trưng hai ảnh thường theo trục ngang Chênh lệch định nghĩa phép trừ, từ hình ảnh trái sang phải, tọa độ 2D điểm tương ứng khơng gian hình ảnh 2.3 Phương pháp tăng tốc tính tốn đồ chênh lệch/độ sâu 2.3.1 Triển khai tính tốn SAD thơng thường Hình 2.5 cho thấy sơ đồ khối điển hình để tính tốn đồ chênh lệch Thứ nhất, hình ảnh trái phải hệ thống máy ảnh thu được, sau chuyển thành hình ảnh tỷ lệ xám sử dụng để tính tốn đồ chênh lệch phương pháp SAD Hình 2.5 Hệ thống tính đồ độ sâu điển hình SAD Ảnh trái Từ máy ảnh Ảnh phải Chuyển ảnh xám Chuyển ảnh xám Tính tốn SAD Bản đồ chênh lệch Độ chênh lệch thường xem dịch chuyển sang bên trái đặc điểm hình ảnh xem hình ảnh bên phải Nó xác định giá trị nhỏ Tổng khác biệt tuyệt đối (SAD), áp dụng để tính chênh lệch cho điểm hình ảnh bên phải [38] Thuật toán sử dụng cửa sổ tham chiếu giống có kích thước 2w + 1 2w + tính theo điểm ảnh vùng tìm kiếm xung quanh cửa sổ tham chiếu giống s  s điểm ảnh, áp dụng cho điểm khung cảnh Sau thuật tốn SAD tính cho tất chênh lệch hợp lệ (2.3) 𝑤 𝑤 (2.3) 𝑆𝐴𝐷(𝑥, 𝑦, 𝑑) = ∑ ∑ |𝐼𝐿 (𝑥 + 𝜇, 𝑦 + 𝜈) − 𝐼𝑅 (𝑥 + 𝜇, 𝑦 + 𝜈 − 𝑑)| 𝜇=−𝑤 𝜈=−𝑤 Trong IL IR biểu thị giá trị màu xám điểm ảnh ảnh bên trái ảnh bên phải, d phạm vi khác biệt, kích thước cửa sổ w x, y tọa độ điểm ảnh trung tâm cửa sổ Giá trị nhỏ SAD biểu thị D(x, y) biểu diễn công thức sau (2.4) với d∈[d_min,d_max ] 𝐷(𝑥, 𝑦) = 𝑎𝑟𝑔 𝑚𝑖𝑛 𝑆𝐴𝐷(𝑥, 𝑦, 𝑑) (2.4) 2.3.2 Triển khai tính tốn SAD đề xuất 2.3.2.1 Hệ thống tính tốn SAD đề xuất Trên thực tế, theo phương pháp SAD thông thường, tất điểm chứa thơng tin đặc trưng đối tượng, thay thơng tin biên Vì vậy, phương pháp đề xuất, khâu phát biên thêm vào việc thực SAD thơng thường mơ tả Hình 2.6 2.3.2.2 Phát biên hình ảnh xám Do đó, thời gian xử lý phạm vi tìm kiếm đạt hiệu lớn Biểu thị cửa sổ tham chiếu tìm kiếm A A’ SAD xác định theo cách tương tự mô tả áp dụng cho điểm tương ứng với điểm ảnh phát biên Để giảm điểm ảnh biên sai, khác biệt cường độ điểm ảnh trung tâm A A’ tính tốn so sánh với maxbias cho Nếu chênh lệch lớn sai lệch, tìm kiếm bị bỏ qua chuyển sang bước Trong hệ thống đề xuất này, thuật tốn dị biên Sobel [77] sử dụng, tính đơn giản hiệu Trong giai đoạn lọc, đồ chênh lệch tinh chỉnh cách sử dụng lọc hợp lý kích thước lọc [76], [78] để tránh điểm chênh lệch định không điểm mà thực tế khơng thể nhìn thấy hình ảnh trái phải bị che khuất khu vực phía sau hình ảnh Ảnh trái Từ máy ảnh Ảnh phải Chuyển ảnh xám Tách biên Chuyển ảnh xám Tách biên Tính tốn SAD Tinh chỉnh Bản đồ chênh lệch Hình 2.6 Hệ thống tính đồ độ sâu SAD điều chỉnh đề xuất 2.3.2.3 Kết thực thảo luận Phần đề cập đến việc đánh giá hiệu suất tính xác việc xây dựng lại đồ chênh lệch thời gian thực công việc so với việc thực SAD ban đầu Thông số khác hiệu suất sử dụng thử nghiệm, gọi mức độ phù hợp để đưa tỷ lệ phần trăm tổng số điểm ảnh, mà giá trị chênh lệch gán Hình 2.9 thể cách đánh giá hiệu suất khác thời gian, độ xác độ bao phủ việc thực SAD thông thường với kích thước cửa sổ khác Nó cho thấy kích thước cửa sổ lớn, thời gian tiêu tốn qua dài Đối với kích thước cửa sổ sử dụng maxbias khác nhau, người ta thấy thời gian tiêu tốn giảm đáng kể độ xác giữ gần khơng thay đổi với maxbias =10 Thời gian xử lý tiêu tốn cao ghi lại cho kích thước cửa sổ maxbias Hình 2.9 Biểu đồ thời gian tiêu tốn, độ Hình 2.10 Thời gian chạy, độ xác độ xác độ che phủ thực SAD bao phủ thuật toán SAD điều chỉnh cho thơng thường cho ảnh Cones hình ảnh Cones Việc đánh giá hiệu tương tự mô tả Hình 2.10 cho thuật tốn SAD đề xuất Thông số đánh giá ấn tượng thời gian xử lý giảm đáng kể khoảng 5,7 lần, tương đương với khoảng 89% so với phương pháp xử lý toàn ảnh, tương ứng Sự cải thiện đạt cách giảm số lượng điểm ảnh tham gia vào trình tính tốn SAD nhờ phát biên chấp nhận Hình 2.11 cho phép đánh giá so sánh thông số thời gian tiêu tốn áp dụng phương pháp SAD điển hình đề xuất Việc thay đổi thuật toán SAD cho việc tạo đồ chênh lệch hệ thống thị giác đề xuất để đạt cải thiện đáng kể thời gian tính tốn độ xác Điều có ý nghĩa tốn xây dựng đồ chênh lệch quan trọng việc triển khai nhiều ứng dụng thời gian thực Thời gian xử lý cho phép hệ thống thu thập nhanh liệu, hữu ích cho tác vụ ánh xạ độ sâu, xây dựng mơ hình 3D, phát đối tượng, vv Cách tiếp cận hứa hẹn thu nhiều liệu hữu ích Đối với cơng việc tương lai, thuật tốn SAD đề xuất tối ưu hóa triển khai khung phần cứng cho hệ thống điều hướng rơ-bốt nhà Hình 2.11 So sánh thời gian xử lý thực phương pháp SAD thông thường phương pháp tăng cường SAD đề xuất 2.4 Nguyên lý trích xuất đối tượng mặt phẳng 2.4.1 Độ sâu điểm Giá trị độ sâu z p phụ thuộc vào độ chênh lệch d mà phụ thuộc vào tiêu cự quang học máy ảnh khoảng cách hai máy ảnh tính theo cơng thức (2.6): z= f T xL − xR (2.6) Hình 2.13 Ngun lý tính độ sâu điểm ảnh 2.4.1 Khái niệm mặt phẳng thị giác máy tính Trong tốn học, mặt phẳng bề mặt phẳng, hai chiều kéo dài vô Mặt phẳng xác định ba điểm không thẳng hàng đường thẳng điểm không thuộc đường thẳng khơng gian Eulide Có thể định nghĩa mặt phẳng tập hợp điểm có tọa độ thỏa mãn phương trình (2.7) Véc tơ gradient xác định phương trình (2.11) Ax + By + Cz + D = (2.7)  z z   A B  z =  ,  =  − ,−   x y   C C  (2.11) Từ (2.11), độ sâu mặt phẳng xác định trước không đổi với trục x trục y Như vậy, mặt phẳng bao gồm điểm liền kề đồ độ sâu có giá trị gradient độ sâu Đây đặc tính quan trọng cho đối tượng điểm ảnh để xem xét có thuộc vùng phẳng khơng 2.4.2 Khái niệm điểm lân cận hàng xóm Mỗi điểm p đồ độ sâu có tới bốn điểm lân cận theo chiều dọc chiều ngang đặt tên Top, Bottom, Left Right tương ứng với mối quan hệ vị trí với điểm p Mỗi điểm lân cận điểm p xem xét hàng xóm điểm đáp ứng điều kiện khác độ sâu với điểm trung tâm phải nhỏ ngưỡng xác định trước θ Một điểm lân cận cho điểm hàng xóm điểm p gắn vào vùng mặt phẳng đáp ứng đầy đủ điều kiện sau: • Điểm phải nằm cạnh khu vực phẳng xem xét • Độ chênh lệch độ sâu điểm nhỏ ngưỡng xác định  Như vậy, khái niệm mặt phẳng bao gồm điểm hàng xóm đồ độ sâu có giá trị gradient độ sâu không lệch ngưỡng  Việc xác định ngưỡng phải đảm bảo không bỏ qua điểm đất thật không để lọt điểm giả đất Đây công việc cần thực nghiệm nhiều lần để đưa đề nghị ngưỡng xét  hợp lý hoàn cảnh cụ thể xác giữ gần khơng thay đổi so với phương pháp SAD gốc Trong mục 2.4 2.5 chương này, tác giả đề xuất thuật tốn Nhóm hàng xóm Lọc (NGaF) để phát bề mặt phẳng từ đồ độ sâu đồ chênh lệch Kết thử nghiệm thể phương pháp đề xuất mạnh mẽ cách so sánh ba thông số chung phương pháp, thuật toán áp dụng minh họa hiệu suất cao chắn CHƯƠNG PHÁT TRIỂN THUẬT TOÁN NHẬN DẠNG MẶT ĐẤT 3.1 Giới thiệu chương Trong chương này, tác giả đề xuất cách tiếp cận nâng cao để nhận dạng mặt đất cách sử dụng vùng phẳng gần nhóm phẳng nhận dạng từ đồ độ sâu 2D 3.2 Nguyên lý nhận dạng đối tượng mặt đất vật cản Giả sử máy ảnh có tiêu cự f nằm O với chiều cao h so với mặt đất thể Hình 3.1, PI PG tương ứng mặt phẳng hình ảnh mặt phẳng đất Cho O1 O2 kết phép chiếu O PG PI tương ứng; MI1 MI2 điểm nằm PI p khoảng cách từ O2 đến MI1 Tiếp theo, độ sâu MI1 ước tính (3.1).Thực vi phân hai vế (3.1), nhận (3.2) Từ phương trình (3.2) xác định độ chênh lệch độ sâu  z y từ khác biệt chiều cao  p trục đứng y z = h 1+ f2 p2 dz = −hf (3.1) p d (3.2) PI f Hình 3.1 Mơ hình tốn học xác định độ chênh lệch độ sâu Mặt khác, từ Hình 3.1, độ chênh lệch độ sâu z x có p2 + f d O O2 p x thể xác định từ khoảng cách khác M G MG1 MG2 mặt đất trục ngang x thể phương trình (3.3) MI2 M I1 h z M G2 PG O1 M G1 M G d M1 y z x = M G + z − z (3.3) Hai phương trình (3.2) (3.3) sử dụng để tính toán đồ gradient độ sâu theo hướng y x tương ứng Giả sử M I khoảng cách điểm, ta có M G = M I  z , OM I tỷ lệ M I nhỏ Do z  M I  z z x tính phương trình (3.3) nên OM I OM I nhỏ Do để đơn giản thuật tốn đề xuất, z x luôn coi cho điểm ảnh thuộc mặt phẳng đất Từ phân tích đồ thị phương trình (3.2), thấy z x = ,  z y thơng thường có giá trị lớn ngưỡng định T, xác định đồ thị cách xấp xỉ hai trạng thái đường cong đưa tỷ lệ dz dp phương trình (3.2) Giá trị ngưỡng thực tọa độ y z y = Vì độ sâu điểm ảnh thường lượng tử hóa bit,  z y thường khác với tất y < T Trên sở phân tích hình học liên quan đến thuộc tính mặt đất, thuật tốn đề xuất phân loại điểm xem xét thuộc đất không đất bảng 3.1 12 Bảng 3.1 Phân loại điểm đất điểm phi đất Điều kiện Ý nghĩa STT Z x  Không phải điểm mặt đất (3.4) Z x = & Z y  Điểm mặt đất (3.5) Z x = & Z y = & điểm Điểm mặt đất, biến thiên thuộc phần tư hình Z y ảnh đầu vào nhỏ khu vực (3.6) Như phạm vi nghiên cứu luận án này, định nghĩa mặt đất tập hợp bao gồm điểm đồ độ sâu mà thỏa mãn điều kiện (3.5) (3.6) Các điểm phi đất tập điểm đồ độ sâu mà thỏa mãn điều kiện (3.4) Các định nghĩa rõ ràng giúp việc phân loại điểm theo gradient độ sâu thuận lợi chương trình 3.3 Phương pháp nhận đối tượng mặt đất từ ảnh độ sâu chuẩn 3.3.1 Kiến trúc hệ thống đề xuất xử lý liệu chuẩn Sơ đồ khối phương pháp đề xuất trình bày Hình 3.2 Bản đồ độ sâu Xây dựng đồ gradient độ sâu Lọc Gom nhóm Lựa chọn mặt đất Tập mặt đất Hình 3.2 Kiến trúc hệ thống nhận dạng mặt đất đề xuất 3.3.2 Thuật toán đề xuất 3.3.2.1 Xây dựng đồ gradient độ sâu Là tạo đồ gradient độ sâu từ đầu vào đồ chiều sâu cách tính gradient độ sâu theo trục y x phương trình (3.2) (3.3) hai điểm liên tiếp 3.3.2.2 Lọc gom nhóm Mục tiêu nhóm điểm có giá trị gradient tương tự đồ gradient độ sâu thành vùng đồng gọi dải (range), sau loại bỏ vùng khơng thích hợp mà khơng thỏa mãn đặc tính ràng buộc sau mặt phẳng đất: • Số điểm vùng phải lớn ngưỡng xác định trước; • gradient _ x = gradient _ y  ; gradient _ x = gradient _ y = sau vùng phải đặt hồn toàn khu vực phần tư hình ảnh đầu vào độ xác cao trình phát mặt phẳng đất Kết là, mặt đất từ hình ảnh thu xác định gần Hình 3.3 Thuật tốn Lọc gom nhóm 3.3.2.3 Tinh chỉnh vùng mặt đất Giai đoạn hiệu chỉnh chia đồ chênh lệch độ sâu ban đầu thành khối vng có kích thước B sau ước tính tỷ lệ R điểm mặt đất bên khối với kích thước khối Nếu R lớn ngưỡng định θ, 13 khối coi mặt đất ngược lại Để đánh giá giá trị θ, kích thước hình chữ nhật nhỏ bao quanh vùng đất phát xác định Ngưỡng θ tỷ số tổng số điểm mặt đất Pground_of_ranges khu vực hình chữ nhật bao ngồi ranges với kích thước hình chữ nhật bao ngồi ranges Prec , mơ tả phương trình (3.7): p = ground _ of _ ranges Prec (3.7) Hình 3.4 Thuật toán Tinh chỉnh vùng mặt đất 3.3.3 Kết thực nghiệm thảo luận Để thử nghiệm thuật toán đề xuất, tác giả thực 02 liệu gồm Các đồ chênh lệch tham chiếu tin cậy Art, Bowling1 Wood1 thư viện Midlebury ảnh 2001, 2003 2005 Đây thư viện ảnh thị giác cộng đồng nghiên cứu ảnh thị giác dùng chung Cơ sở liệu hỗ trợ trường Middlebury College, Microsoft Research quỹ National Science Foundation Chi tiết mô tả liệu tham khảo [79] [80] Bộ đồ độ sâu thực tế nhiều nhà nghiên cứu quan tâm liệu vào thử nghiệm phát triển thuật toán xử lý ảnh thị giác Để đánh giá thuật toán đề xuất, phương pháp đánh giá thực hai khía cạnh đánh giá trực quan qua hình ảnh kết đánh giá khách quan qua thông số đo lường chung nhà nghiên cứu Các đồ chênh lệch tham chiếu tin cậy Thuật toán đề xuất kiểm tra đồ độ sâu với chất lượng cao thư viện Middlebury mơ tả Hình 3.5 Trong bước tinh chỉnh mặt phẳng, thuật toán sử dụng ba cửa sổ làm mịn biểu thị B với kích thước khác để so sánh kết với Hình 3.6 Về đánh giá trực quan, cửa sổ làm mịn B lớn điểm đất phát lỗi bị tăng lên cao vùng mặt đất 14 (a) (b) (c) Hình 3.5 Các đồ gradient hình ảnh thư viện Midlebury thử nghiệm Chú thích: Từ trái sang phải, hàng ảnh Art, cột thứ hai hình ảnh Bowling1 cột cuối hình ảnh Wood1, tương ứng B=8x8 B=16x16 B=32x32 Hình 3.6 Kết nhận dạng mặt đất hình ảnh thử nghiệm với giá trị B Chú thích: Từ xuống dưới, hàng hình ảnh Art, hàng thứ hai hình ảnh Bowling1 hàng cuối hình ảnh Wood1, tương ứng Bộ đồ độ sâu thực tế Việc đánh giá hiệu suất phương pháp đề xuất thực với hình ảnh khác thu thập máy ảnh trường hợp có khơng có chướng ngại vật Hình 3.7 Các mặt đất phát minh họa cột cuối hiển thị để phù hợp với cảnh thực Để xác định kích thước cửa sổ w việc xây dựng đồ gradient độ sâu, tỷ lệ phần trăm điểm mặt đất phát hình ảnh so sánh với ba kích thước cửa sổ w khác Kết Hình 3.10 kích thước cửa sổ w=5*5 tạo tỷ lệ phát cao 90% hầu hết trường hợp Tiếp theo vật cản nhận dạng thành cơng trường hợp ba hình ảnh cuối 15 (a) (b) (c) (d) (e) Hình 3.7 Kết hình ảnh thử nghiệm nhiều mơi trường Chú thích: Theo cột: (a) ảnh Street [81], (b) ảnh Vaulted [82], (c) ảnh Kitchen [83], (d) ảnh Balls [84] (e) ảnh Canyon [85]; 100 w =3x3 w =5x5 95.2 94.9 92.1 93.5 93.2 90.1 89 86.6 83.2 w =7x7 88.8 93.7 86.2 86.2 80 percentage of detected ground point percentage of detected ground point Hình 3.9, 3.10 3.11 minh họa so sánh tỷ lệ phần trăm điểm mặt đất phát sau tinh chỉnh với kích thước khối B khác cho hình ảnh Từ kết này, kích thước cửa sổ w =  kích thước khối B=8*8 vượt trội với tốc độ nhận dạng mặt đất nhanh ổn định Các chướng ngại vật xuất hình ảnh tách thành công Sử dụng tham số này, thí nghiệm cho thấy đường cong biến đổi tỷ lệ R đánh giá cho tất khối nằm hàng từ đồ gradient độ sâu sau phân chia khối ngưỡng tương ứng θ 87.8 63.7 60 40 20 B=4x 100 88.5 87 Vaulted Kitchen Balls Canyon B = 16 x 16 95 88.292.1 88 87.6 83.7 balls Canyon 60 40 20 Street Hình 3.8 Tỷ lệ điểm mặt đất phát trước trình hiệu chỉnh theo cửa sổ w 95.9 96.3 94.8 94.1 B = x B = 16 x 16 98.2 97.1 97.7 97.4 97.4 97.1 95.4 91.1 89.1 90 86.1 85 80 75 Street Vaulted Kitchen balls Canyon percentage of detected ground point 100 98.6 Vaulted Kitchen Hình 3.9 Tỷ lệ điểm mặt đất phát sau hiệu chỉnh theo kích thước khối B với cửa sổ w = 3 B=4x4 percentage of detected ground point 86.9 77 80 93.9 94.3 Street 95 B=8x 99.1 98 98.8 100 96.8 96.9 95.2 B=4x4 95.4 98.2 98 B = x B = 16 x 16 97.5 97.1 93.7 80 67.3 87.1 90 85.7 71 68.4 60 40 20 Street Vaulted Kitchen balls Canyon Hình 3.10 Tỷ lệ điểm mặt đất phát sau Hình 3.11 Tỷ lệ điểm mặt đất phát sau trình hiệu chỉnh theo kích thước khối B q trình hiệu chỉnh theo kích thước khối B với cửa sổ w = 5 với cửa sổ w =  Từ Hình 3.12 thấy hầu hết khối thuộc mặt đất có R lớn ngưỡng xác định θ thảo luận mục 3.3.2.3 trình tinh lọc cho hình ảnh Canyon Vaulted, tương ứng Trong trường hợp hình ảnh Canyon, hàng khối thứ 45 từ ảnh lên, khối 12 đến khối 69 phân loại thành mặt đất có phần trăm điểm mặt đất RCanyon vượt ngưỡng giới hạn 16 −Canyon 60% (Hình 3.10a, đường màu xanh biển) Và trường hợp hình ảnh Vaulted, hàng khối thứ 40 tính từ ảnh lên, số khối mặt đất nằm khoảng từ 12 đến 48 có số phần trăm điểm mặt đất RVaulted lớn ngưỡng giới hạn  −Vaulted 50% (Hình 3.12c, đường màu xanh biển) (a) (b) Hình 3.12 Đường cong biến đổi R đường ngưỡng tương ứng θ đồ gradient độ sâu sau phân chia khối Chú thích: (a) Bản đồ sâu Canyon đường cong R tương ứng θ tính cho hàng khối thứ 45 tính từ ảnh lên (đường màu xanh biển) (b) Bản đồ độ sâu Vaulted; (d) đường cong R tương ứng θ tính cho hàng khối thứ 40 tính từ ảnh lên (đường xanh biển) 3.3.4 Kết luận Kết thực nghiệm cho thấy thuật tốn đề xuất phát mặt phẳng mặt đất tất trường hợp từ đơn giản khơng có vật cản đến trường hợp mặt đất xuất nhiều vật chắn Dựa thuật toán đơn giản hiệu quả, cách tiếp cận đề xuất phù hợp để thực phần cứng nhúng Đối với tảng phẩn cứng rô-bốt di động trang bị máy ảnh thị giác nổi, thuật toán đề xuất triển khai để kiểm tra khả điều hướng rô-bốt 3.4 Phương pháp nhận dạng đối tượng mặt phẳng đất từ liệu độ sâu thực tế 3.4.1 Giới thiệu Phương pháp nhận dạng mặt đất trình bày mục Kết kinh nghiệm so sánh với cách tiếp cận cổ điển gần khác, chẳng hạn thuật toán RANSAC VDisparity nâng cao 3.4.2 Kiến trúc hệ thống trích mặt đất từ liệu độ sâu môi trường thực tế Sơ đồ khối hệ thống trích chọn mặt đất mơ tả Hình 3.13 Trong thuật tốn GDM đóng vai trị quan trọng để phát mặt phẳng ảnh thu thập máy ảnh RGB-D khối đầu vào Các mặt phẳng ứng cử cuối phát sau trình tinh chỉnh để loại bỏ mặt phẳng không đáng tin cậy Máy ảnh RGB-D Nhận dạng mặt đất dựa GDM Hiệu chỉnh mặt đất tập mặt đất Hình 3.13 Sơ đồ khối chức hệ thống trích mặt đất từ liệu độ sâu từ máy ảnh RGB-D 3.4.2.1 Kích thước điểm đồ độ sâu 17 Các thơng số hình học Kinect thể [89], khoảng cách từ máy ảnh đến đối tượng cho trước 0,8m Kích thước hình ảnh thu máy ảnh sau khoảng 87 cm theo chiều ngang 63 cm theo chiều dọc, tương đương với độ phân giải 1,3 mm/điểm 3.4.2.2 Hiệu chỉnh kết mặt đất Đây cơng đoạn bắt buộc nhằm mục đích làm cho kết nhận dạng mặt phẳng đất có độ tin cậy cao Các giải pháp đề xuất điền đầy đủ lỗ đen gây loại can nhiễu cách sử dụng cửa sổ làm mịn B Chương trình thử nghiệm với số kích thước cửa sổ làm mịn với mục đích tìm giá trị kích thước cửa sổ phù hợp 3.4.3 Kết thực nghiệm thảo luận Bộ liệu độ sâu môi trường thực tế tác giả cộng thu thập khu vực phòng thí nghiệm, Viện Điện tử Viễn thơng, trường Đại học Bách Khoa Hà Nội, theo kịch xây dựng điều kiện khác ánh sáng, tần suất xuất đối tượng vật cản Cụ thể, kết thực bốn đồ độ sâu thu thập từ môi trường thực tế với trường hợp có khơng có chướng ngại vật, nhiều trở ngại, đơn giản phức tạp, tương ứng biểu diễn Hình 3.15 Các ranh giới mặt đất nhận dạng đồng toàn mặt đất thực tế cảnh cho Trong kết minh họa, khu vực mặt đất phát mà không bị nhầm lẫn với chướng ngại vật xung quanh kích cỡ khác Bằng phương pháp trực quan, vùng đất phát hoàn toàn phù hợp với khu vực mặt đất thực tế Tuy nhiên, vài lỗ nhỏ xuất nơi mà thuật tốn coi vùng khơng phải mặt đất 18 (a) (b) (c) (d) Hình 3.15 Kết hình ảnh thử nghiệm nghiên cứu điển hình Chú thích: Theo hàng từ xuống dưới, hàng hình ảnh màu, hàng thứ hai hình ảnh sâu, hàng thứ ba đồ x-gradient, hàng thứ tư đồ y-gradient, hàng thứ năm nhận dạng mặt đất, hàng thứ sáu mặt đất phát thuật toán RANSAC hàng cuối mặt đất tham chiếu, tương ứng; Theo cột từ trái qua phải: cột (a): ảnh vật cản, (b) ảnh có vật cản, (c) ảnh có vật cản (d) ảnh có vật cản che phủ gần hết Để đánh giá hiệu phương pháp đề xuất, tỷ lệ phần trăm điểm đất phát R1 tỷ lệ phần trăm điểm mặt đất phát khơng xác R2 thường xác định kích thước cửa sổ làm mịn cho B Trong khuôn khổ nghiên cứu, ba cửa sổ làm mịn B có kích thước × 8, 16 × 16 32 × 32 tương ứng Hình 3.16 Trong trường hợp đồ độ sâu không chướng ngại vật, phương pháp đề xuất tốt với R1 lớn 96% giá trị R2 2% (xem Hình 3.17) Trong loạt đồ độ sâu có chứa chướng ngại vật mặt đất, tỷ lệ phần trăm điểm ảnh mặt đất phát xác R1 tốt ổn định kích thước cửa sổ B = 16 × 16 (xem Hình 3.16) Khi độ phức tạp trình phát đất tăng lên, giá trị R2 tăng lên khoảng 5% (xem Hình 3.17) Hình 3.16 Tỷ lệ điểm mặt đất phát R1 theo kích thước cửa sổ làm mịn B Hình 3.17 Tỷ lệ điểm mặt đất lỗi theo kích thước cửa sổ làm mịn B Hơn nữa, R1 R2 cơng trình nghiên cứu so sánh với kết thuật toán 3D RANSAC sử dụng phương pháp [86] V-Disparity sử dụng [88] minh họa Hình 3.18 Hình 3.19 tương ứng Tỷ lệ R1 phương pháp đề xuất lớn R1 RANSAC 3D phương pháp V-Disparity nâng cao Những so sánh thực với kích thước tối ưu cửa sổ B = 16 × 16 Trong đó, tỷ lệ R2 phương pháp đề xuất thấp số phương pháp thực 3D RANSAC V-Disparity nâng cao 19 Hình 3.18 So sánh tỷ lệ điểm mặt đất phát Hình 3.19 So sánh tỷ lệ điểm mặt đất phát (R1) phương pháp quan tâm sai (R2) phương pháp quan tâm 3.4.4 Kết luận Trong mục 3.4, phương pháp nhận dạng mặt đất phẳng hiệu có tốc độ xử lý nhanh sử dụng thuật tốn GDM đề xuất Các kết chứng minh phương pháp tiếp cận đồ sâu có hiệu việc nhận dạng mặt đất với nhiều độ phức tạp khác Bằng cách so sánh với thuật tốn RANSAC V-Disparity nâng cao, mức trung bình tỷ lệ nhận dạng mặt đất luôn cao so với phương pháp so sánh hầu hết trường hợp R1 phương pháp tiếp cận đề xuất lớn phương pháp so sánh 2%, R2 phương pháp đề xuất nhỏ nửa so với R2 phương pháp so sánh Đề xuất phát triển ứng dụng xe tự lái môi trường off-road nhà 3.5 Tổng kết chương Trình bày phương pháp tiếp cận để nhận dạng mặt phẳng đất từ đồ độ sâu cung cấp máy ảnh RGB-D cụ thể Kinect Hệ thống đề xuất áp dụng giải thuật mạnh mẽ tính tốn đồ gradient độ sâu (GDM) có độ xác cao Sau phân vùng xác sử dụng để cung cấp tập hợp ứng cử viên cho khâu lựa chọn mặt đất Cuối cùng, lọc hiệu sử dụng để tìm mặt phẳng đất thật CHƯƠNG PHÁT TRIỂN PHƯƠNG PHÁP DẪN ĐƯỜNG CHO RƠ-BỐT DỰA TRÊN THUẬT TỐN NHẬN DẠNG MẶT ĐẤT 4.1 Giới thiệu chương Chương này tập trung phát triển hệ thống điều khiển chuyển hướng cho rô-bốt tự động nhỏ hoạt động môi trường văn phịng nhà điển hình Hệ thống kiểm soát bao gồm phương pháp lập kế hoạch đường định Phương pháp đề xuất giữ lại ưu điểm phương pháp tiếp cận [32] [33] [34] cách giới thiệu phương pháp điều hướng đơn giản mà khơng cần tích hợp trí tuệ nhân tạo rô-bốt di động 4.2 Phương pháp dẫn đường sử dụng phương pháp nhận dạng mặt đất 4.2.1 Mơ hình hoạt động rơ-bốt nhà Rơ-bốt bao gồm thành phần mô tả Hình 4.1 Hình 4.1 Mơ hình rơ-bốt sử dụng hệ thống dẫn đường dựa thị giác máy tính Hình 4.3 Mơ hình tốn học để tính tốn kích thước điểm sâu 20 4.2.2 Xác định kích thước 2D điểm sâu Đặt máy ảnh vị trí O, trục Oz trùng với trục quang máy ảnh, trục Oy hướng từ lên trên, trục Ox hướng từ phải sang trái, minh họa Hình 4.3 Để tính tốn kích thước điểm M dọc theo trục x với độ sâu định, sử dụng tương đồng hai tam giác OI’M’x OIMx Cuối cùng, ta nhận kích thước M không gian 3D Oxyz bao gồm (Mx, My, Mz) 4.2.3 Phương pháp dẫn đường AMSD đề xuất dựa khai thác liệu độ sâu Phương pháp bao gồm giai đoạn liên tiếp Hình 4.4 Bản đồ độ sâu Tăng cường chất lượng Nhận dạng mặt đất Bộ điều khiển cấu chấp hành Chiến lược định vị chọn đường Hình 4.4 Sơ đồ khối phương pháp dẫn đường dựa đồ độ sâu 4.2.3.1 Chiến thuật tránh vật cản 4) Chiến thuật tránh vật cản Khi chướng ngại vật xuất hiện, mặt đất nơi rô-bốt quan sát trở nên hẹp với ba khả xảy sau: Các chướng ngại vật phía trước; Các chướng ngại vật bên trái;3 Các chướng ngại vật bên phải 5) Chiến thuật tránh vật cản cải thiện Khi chướng ngại vật xuất phía trước, rơ-bốt quan sát thấy hình dạng mặt đất thu hẹp lại Có hai khả xảy sau: Rô-bốt bị cưỡng chuyển hướng: Cách xác định góc rẽ  khoảng cách ON dựa tính chất đồng dạng hai hình tam giác PMN PQO Hình 4.6a Nó dẫn đến cơng thức (4.3) (4.4) với MQ = xM − xQ , xM = xA − xB , OQ – MN = 75cm z A M Q B C D P N MN khoảng cách từ rô-bốt đến vạch kiểm tra chướng ngại vật, O có phân đoạn AB, CD Hình 4.6a Hình 4.6(a) Mơ hình toán học cải tiến lựa chọn hướng di chuyển rô-bốt   MQ  OQ − MN    = arctan  (4.3) ON = MQ2 + (OQ − MN)2 (4.4) Rô-bốt tiếp tục di chuyển phía trước: Điều xảy chướng ngại vật xuất bên trái bên phải xe 4.2.3.2 Triển khai chiến thuật định vị chọn đường Rô-bốt thử nghiệm áp dụng chiến thuật dẫn đường có tên “Ln di chuyển thẳng tới đích” (AMSD) Đầu tiên, hệ thống nhận dạng mặt đất từ đồ độ sâu cung cấp máy ảnh RGB-D để tìm phương hướng cho rơ-bốt (Hình 4.7) Nếu khơng có trở ngại nào, ln cố gắng di chuyển thẳng đến đích Nếu rơ-bốt “nhìn thấy” chướng ngại vật, chuyển sang chế độ tránh vật cản cải tiến để vượt qua chúng Nguyên tắc di chuyển luôn phấn đấu hướng thẳng tới mục tiêu để giảm thiểu qng đường từ vị trí rơ-bốt đến vị trí mục tiêu xác định trước Tuy nhiên, chiến lược bị tạm dừng rô-bốt bị chặn chướng ngại vật Từ thời điểm này, chiến thuật tránh chướng ngại vật có ưu tiên cao chiến thuật di chuyển thẳng đến mục tiêu Hình 4.7 Thuật tốn điều hướng cải thiện dựa đồ độ sâu cho rô-bốt di động nhà 21 4.3 Kết thực nghiệm phương pháp dẫn đường AMSD dựa nhận dạng mặt đất thảo luận 4.3.1 Kết thực nghiệm phương pháp tránh vật cản Rô-bốt hoạt động phạm vi 10mx8m Khoảng cách điểm xuất phát mục tiêu khoảng 9m Rơ-bốt đạt đến đích với tỷ lệ thành công 98%, nhiên thời gian lần thử nghiệm khơng giống Tồn tảng phần cứng điện tử gắn xe có 02 động để điều khiển hai bánh xe chủ động phía trước (Hình 4.8) 4.3.2 Kết thực nghiệm phương pháp tránh vật cản cải thiện Trong suốt thời gian thử nghiệm, có cảm biến RGB-D gắn xe rô-bốt để cung cấp thông tin hỗ trợ định vị tương đối, phát tránh chướng ngại vật Các thí nghiệm tiến hành môi trường thực tế với thiết lập chướng ngại khác để kiểm tra độ ổn định phương pháp đề xuất mơ tả Hình 4.11 Rơ-bốt tránh vật cản tĩnh đường di chuyển từ điểm xuất phát đến đích xác định trước định điều hướng đầy đủ di chuyển thẳng di chuyển sang phải di chuyển sang trái Ngồi ra, có xuất vật thể chuyển động tượng người vào tầm nhìn xe rô-bốt Cả video điều hướng dựa độ sâu video màu lưu Hình 4.8 Hệ thống xe rô-bốt thử nghiệm Khung ảnh màu Điều hướng dựa mặt phẳng đất (màu đỏ) (9) 10.39.34 (8) 10.39.30 (7) 10.39.03 Khung hình (10) 10.39.37 Điều hướng dựa mặt phẳng đất (màu đỏ) (3) 10.38.02 Khung ảnh màu (4) 10.38.28 (2) 10.37.57 (1) 10.37.52 Khung hình 22 (11) 10.40.14 (5) 10.38.42 (6) 10.38.53 Ảnh RGB Ảnh RGB Bản đồ mặt đất với hướng di chuyển rô-bốt Bản đồ mặt đất với hướng di chuyển rơ-bốt Hình 4.11 Kết thuật tốn điều hướng cải tiến Hình 4.12b minh họa kết theo dõi vị trí xe rơ-bốt với kịch có nhiều vật cản Rơ-bốt đạt điểm đến hai trường hợp với vật cản nhiều vật cản với góc điều chỉnh hướng gần vơ cấp Vì vậy, phương pháp điều hướng AMSD đề xuất thể tính linh hoạt mượt mà ba cơng trình khác gần so sánh trình bày Bảng 4.1 Tỷ lệ định hướng phân loại tình chiến thuật dẫn đường đề xuất so sánh với kết phương pháp khác (Bảng 4.2) Hình 4.12b Theo dõi vị trí rơ-bốt theo chiến thuật điều hướng cải tiến Bảng 4.1 So sánh hiệu phương pháp dẫn đường cho rô-bốt nhà Phương pháp (Tác giả) Bước lượng Sai số Phạm vi điều Số lượng hướng 0 tử ( ) lượng tử ( ) hướng (0) điều hướng Correa [32] (2012) 22.5 11.25 180 Zainuddin [69] (2014) XIN Jing [70] (2016) Phương pháp đề xuất AMSD 90 22.5 45 11.25 180 360 16 0.5 180 180 Bảng 4.2 So sánh tỷ lệ điều hướng thành công Phương pháp (Tác giả) (Correa) [32] Tỷ lệ định hướng/phân loại (%) (Biswas) [91] Phương pháp đề xuất AMSD 100 100 92 4.3.3 Kết luận Hệ thống rô-bốt nhà trang bị với máy ảnh RGB-D thực tốt với phương pháp điều hướng đề xuất, không bị ảnh hưởng cường độ ánh sáng môi trường hoạt động Kết thu hoạch chứng minh giải vấn đề điều hướng rô-bốt môi trường động chưa biết với phương pháp AMSD đề xuất Kinect phù hợp cho ứng dụng dẫn đường cục khả cung cấp liệu mạnh mẽ đáng tin cậy để tránh chướng ngại vật môi trường nhà 23 4.4 Tổng kết chương Chương trình bày phương pháp điều hướng AMSD cho rô-bốt di động môi trường nhà chưa biết sử dụng luồng liệu độ sâu Phương pháp điều hướng thời gian thực tích hợp hệ thống rơ-bốt tự xây dựng trang bị máy ảnh RGB-D có độ phân giải 640x480 Vấn đề điều hướng rô-bốt giải với mức tỷ lệ thành công phương pháp gần FSPF Hệ thống rô-bốt điều hướng mạnh mẽ linh hoạt phương pháp mạng nơ-ron với bước góc điều chỉnh 10 Các thử nghiệm độ ổn định độ xác thuật tốn điều hướng đề xuất lên đến 98,7% Thời gian xử lý phương pháp đề xuất điều hướng giảm thiểu để đáp ứng ứng dụng thời gian thực rô-bốt KẾT LUẬN VÀ KIẾN NGHỊ Kết luận Đóng góp khoa học luận án Luận án đề xuất thuật toán xác định mặt phẳng từ đồ độ sâu Bước đầu, đề xuất tăng cường thuật tốn tính đồ chênh lệch SAD Phương pháp thực tính toán tập điểm biên ảnh thị giác nổi, giúp giảm sâu khối lượng liệu cần xử lý Từ giảm thời gian tính tốn, đáp ứng phát triển ứng dụng thời gian thực Tiếp theo, luận án đề xuất phương pháp trích mặt phẳng từ đồ độ sâu sử dụng thuật toán Lọc gom nhóm hàng xóm (NGaF) có khả giảm độ phức tạp tính tốn tăng tốc độ xử lý Sau đó, luận án đề xuất phương pháp nhận dạng mặt đất áp dụng thuật toán Bản đồ gradient độ sâu (GDM) để khai thác đồ độ sâu Thuật toán nghiên cứu liệu cung cấp máy ảnh màu độ sâu (RGB-D) hệ thống thị giác Mục đích toán nhận dạng mặt đất phát triển ứng dụng dẫn đường dựa hệ thống thị giác cho hệ rô-bốt di động nhà Luận án đề xuất phương pháp dẫn đường cho rô-bốt môi trường trước dựa việc xác định mặt phẳng đất gọi Ln di chuyển thẳng tới đích (AMSD) Kế thừa kết nghiên cứu đạt toán nhận dạng mặt phẳng đất, luận án phát triển việc khai thác mặt đất để tìm hướng ngắn tới đích cho trước Ban đầu việc xây dựng mơ hình xe rơ-bốt thích hợp với môi trường thử nghiệm mà trang bị hệ cảm biến RGB-D Thuật tốn tìm mặt đất tích hợp hệ rô-bốt đáp ứng thời gian thực, giúp cho việc tìm phương hướng cách chắn nhanh chóng Đây giải tránh vật cản trở đạt hiệu cao Kiến nghị nghiên cứu Các kiến nghị nghiên cứu vấn đề cịn hạn chế luận án định hướng hoàn thiện đề tài Tăng cường chất lượng trích xuất mặt phẳng, nhận dạng mặt đất Xây dựng mô hình 3D theo thời gian thực có độ xác cao Tăng cường khai thác liệu độ sâu kết hợp với luồng liệu màu để mở rộng nhận dạng nhiều loại đối tượng ảnh Nghiên cứu theo định hướng tích hợp mơ hình trí tuệ nhân tạo để giải sâu toán nhận dạng Tích hợp hiệu hệ thống định vị nhà ngồi trời 24 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN A Các cơng trình cơng bố kết trực tiếp luận án D K Hoa, L Dung and N T Dzung, (2013), "Efficient determination of disparity map from stereo images with modified sum of absolute differences (SAD) algorithm", IEEE, 2013 International Conference on Advanced Technologies for Communications (ATC 2013), Ho Chi Minh City, 2013, ISBN Information: Electronic ISBN: 978-1-4799-1089-2, Print ISBN: 978-1-4799-1086-1, CD-ROM ISBN: 978-1-4799-1088-5, ISSN Information: Print ISSN: 2162-1020, Electronic ISSN: 2162-1039, doi: 10.1109/ATC.2013.6698196, http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6698196&isnumber=6698065, pp 657-660 Dang Khanh Hoa, Pham The Cuong, Nguyen Tien Dzung, (2016), “Gradient depth map based ground plane detection for mobile robot applications”, 8th Asian Conference on Intelligent Information and Database Systems, (ACIIDS 2016), Lecture Notes in Artificial Intelligence, Part I (LNAI 9621), subseri of Lecture Notes in Computer Science (LNCS), ISSN 0302-9743, ISBN 978-3-662-49380-9, ISBN 978-3-662-49381-6 (eBook), © Springer-Verlag Berlin Heidelberg 2016, pp 721-729 (ISI Conference Proceedings Citation Index, Scopus, Q1-2016) Dang Khanh Hoa, Bach Ngoc Minh, Nguyen Tien Dzung, (2017), “Effective Method For Detecting Multi Planes From Depth Maps”, VNU Journal of Science: Natural Sciences and Technology, ISSN 0866-8612, vol 33(1), pp 58-66 Dang Khanh Hoa, Pham The Cuong, Nguyen Tien Dzung, (2017), “An Effective Ground Plane Extraction using Depth Map Estimation from a Kinect Devide”, Journal of Science & Technology of Technical Universities, vol 123, ISSN 2354-1083, pp 19-25 Dang Khanh Hoa, Than Viet Duc, Vu Minh Hoang, Vu Song Tung and Nguyen Tien Dzung, (2018), “AN EFFECTIVE DEPTH MAP NAVIGATION FOR MOBILE ROBOT IN INDOOR ENVIRONMENTS”, JP Journal of Heat and Mass Transfer, Special Volume, Issue II, Advances in Mechanical System and ICT-convergence, ISSN: 0973-5763, pp 221 – 237 (Scopus, Q4-2017) Dang Khanh Hoa, Than Viet Duc, Do Trong Anh, Vu Song Tung, Le Dzung, Nguyen Tien Dzung, (2018), “An Improved Navigation Method for Robot in Indoor Dynamic Environment Based on Ground Extraction”, The Journal of Science & Technology of Technical Universities, submitted:13/9/2018, accepted: 26/11/2018, confirm published in the journal number 131 (11/2018) B Đề tài khoa học công nghệ công bố liên quan đến luận án Chủ nhiệm đề tài KH&CN cấp sở phân cấp mã số T2016-PC-108, (2017), “Nghiên cứu phát triển thuật tốn trích mặt phẳng đất vật cản dựa hệ thống cảm biến kinect ứng dụng hỗ trợ dẫn đường cho rô bốt di động” i ii ... tốn dẫn đường cho rô- bốt 1.2 Hệ thống dẫn đường cho rô- bốt nhà Hệ thống dẫn đường cho rô- bốt hệ thống kết hợp phần cứng phần mềm nhằm tính tốn đường cho rơ -bốt cách hợp lý Dựa theo nguyên tắc dẫn. .. sâu Thuật toán nghiên cứu liệu cung cấp máy ảnh màu độ sâu (RGB-D) hệ thống thị giác Mục đích tốn nhận dạng mặt đất phát triển ứng dụng dẫn đường dựa hệ thống thị giác cho hệ rô- bốt di động nhà. .. Hình 2.1 Hệ thống dẫn đường thị giác cho rô- bốt 1.3 Một số vấn đề hệ thống rô- bốt dẫn đường dựa thị giác 1.3.1 Phương pháp tính tốn đồ chênh lệch/độ sâu Vấn đề tương đồng ảnh thị giác tìm đối