Bài viết này trình bày một phương pháp phát hiện và ước lượng khoảng cách vật cản sử dụng camera duy nhất gắn trên robot ứng dụng trong trợ giúp dẫn đường cho người khiếm thị. Với vật cản tĩnh ít di chuyển vị trí trong môi trường, chúng tôi lưu trữ thông tin về loại vật cản, vị trí và hình ảnh của vật cản vào CSDL.
Nguyễn Quốc Hùng, Trần Thị Thanh Hải, Vũ Hải, Hoàng Văn Nam, Nguyễn Quang Hoan PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG PHÁT HIỆN VÀ ƯỚC LƯỢNG CÁCH VẬT CẢN, ỨNGỨNG DỤNG TRỢ KHOẢNG CÁCH VẬT CẢN, DỤNG TRỢGIÚP GIÚP DẪNDẪN ĐƯỜNG NGƯỜIKHIẾM KHIẾM ĐƯỜNGCHO CHO NGƯỜI THỊ THỊ ∗ Nguyễn Quốc Hùng∗† , Trần Thị Thanh Hải∗ , †Vũ Hải∗ , Hoàng Văn Nam∗ , Nguyễn Quang Quốc Hùng Nguyễn Hoan, ‡ Trần Thị Thanh Hải * , Vũ Hải * , Hoàng Văn Nam*-, 2954 - INP Grenoble Viện nghiên cứu quốc tế MICA, Trường ĐHBK HN - ‡CNRS/UMI Nguyễn Quang † Trường Cao đẳng Y tếHoan Thái Nguyên * Viện nghiên cứu‡ quốc tế MICA, Trường ĐHBK HN - CNRS/UMI - 2954 - INP Grenoble Trường Đại học sư phạm kỹ thuật Hưng Yên † Trường Cao đẳng Y tế Thái Nguyên ‡ Trường Đại học sư phạm kỹ thuật Hưng Yên Tóm tắt: Bài báo pháp Tóm tắt—Bài báonày nàytrình trìnhbày bàymột phương phương pháp phát ước lượng khoảng cách vật cản sử phát ước lượng khoảng cách vật cản sử dụng dụng camera gắn robot ứng dụng camera gắn robot ứng dụng trong trợ dẫn giúp đường dẫn đường cho người khiếm trợ giúp cho người khiếm thị thị Với Với vật vật cản tĩnh di chuyển vị trí mơi cản tĩnh di chuyển vị trí môi trường,trường, chúng chúng trữ thông loại vậtvịcản, lưutôi trữlưu thông tin tin loạivềvật cản, trí vị trí hình hình ảnh vật cản vào CSDL Trong trình di ảnh vật cản vào CSDL Trong trình di chuyển, thực đối sánh nhanh quan chuyển, thực đối sánh nhanh quan sát quan sát xác định định sát với với quan sát tương tương ứng ứng được xác giải thuật định vị [1] Sau có mặt vật giải thuật định vị [1] Sau có mặt vật cản quan sát CSDL kiểm tra cản quan sát CSDL kiểm tra xác định vị trí quan sát Với vật cản xác định vị trí quan sát Với vật cản động, cụ thể sử sử dụng dụng động, cụ thể là người người di di chuyển, chuyển, chúng giải thuật HOG-SVM phát người giải thuật HOG-SVM phát người hiệu hiệu quả đề đề xuất xuất bởi Dalal Dalal và các cộng cộng sự [2] [2] Việc Việc ước lượng khoảng cách từ camera tới vật cản chỉ ước lượng khoảng cách từ camera tới vật cản sử dụng camera RGB tốn khơng sử dụng camera RGB tốn khơng đơn Trong bài báo đề đề xuất xuất giải giải đơn giản giản Trong báo này, này, chúng pháp xây dựng đồ chênh lệch từ quan sát pháp xây dựng đồ chênh lệch từ quan sát cách và quan quan sát sát trước trước đó để để ước ước lượng lượng khoảng khoảng cách tương đối từ vật cản tới robot Các kết thực tương đối từ vật cản tới robot Các kết thực nghiệm tiến hành camera di chuyển nghiệm tiến hành camera di chuyển hành lang có chiều dài 60 m điều kiện hành lang có chiều dài 60m điều kiện chiếu sáng khác khác nhau cho cho thấy thấy phương phương pháp pháp phát phát chiếu sáng ước lượng khoảng cách vật cản đề xuất ước lượng khoảng cách vật cản đề xuất phù hợp, giúp cho người khiếm thị nhận biết phù hợp, giúp cho người khiếm thị nhận biết hiểm trong khi di di tránh tránh được các vật vật cản cản nguy nguy hiểm chuyển chuyển Từ Từ khóa: Phát vậtvậtcản; khóa—Phát cản;Ước Ướclượng lượng khoảng khoảng cách cách vật vậtcản; cản;Robot Robotdẫn dẫnđường đường Tác giả liên hệ: Nguyễn Quốc Hùng, Tác giả liên hệ: Nguyễn Quốc Hùng, email: Quocemail: Quoc-Hung.Nguyen@mica.edu.vn; Hung.Nguyen@mica.edu.vn; mobile: (+84) 912 251 253 mobile: (+84) 912 251 253 Đến tòa soạn: 12/2/2016, chỉnh sửa: 12/4/2016, chấp nhận Đến tòa soạn: 12/2/2016, chỉnh sửa: 12/4/2016, chấp nhận đăng: 12/5/2016 đăng: 12/5/2016 Một phần kết báo trình bày Một kết báo trình bày quốc quốcphần gia ECIT’2015 gia ECIT’2015 I GIỚI THIỆU Phát ước lượng khoảng cách vật cản chủ đề thu hút quan tâm nhà khoa học thời gian dài ý nghĩa tính ứng dụng toán dẫn đường tránh vật cản cho robot, xe tự hành Đã có nhiều phương pháp đề xuất sử dụng công nghệ khác GPS, LIDAR, RFID, Camera nhằm tăng độ xác phát hiện, giảm độ sai số ước lượng thời gian tính tốn Mục tiêu chúng tơi nghiên cứu phát triển hệ thống robot thơng minh di dộng, có khả trợ giúp dẫn đường cho người khiếm thị (NKT) môi trường nhà Các nghiên cứu liên quan đến việc biểu diễn môi trường, định vị, dẫn hướng trình bày báo trước [1] Trong báo này, trình bày phương pháp phát ước lượng khoảng cách vật cản nhằm hoàn thiện hệ thống cuối dẫn đường cảnh báo vật cản Phương pháp mà đề xuất sử dụng camera RGB gắn robot Hình ảnh thu nhận từ camera đối sánh để xác định vị trí robot đồ, sau xác định có mặt vật cản Để ước lượng khoảng cách từ vật cản đến đối tượng, chúng tơi đề xuất giải pháp sử dụng hai khung nhìn camera hai thời điểm khác để xây dựng đồ chênh lệch, từ ước lượng độ sâu vật cản II CÁC NGHIÊN CỨU LIÊN QUAN Trong phần này, chúng tơi trình bày số nghiên cứu liên quan đến phát ước lượng Số năm 2016 Tạp chí KHOA HỌC CƠNG NGHỆ 29 THÔNG TIN VÀ TRUYỀN THÔNG PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT TIN CẢN, ỨNG DỤNG TRỢ ĐƯỜNG CHO TẠP CHÍ KHOA HỌC CƠNG NGHỆ THƠNG VÀ TRUYỀN THÔNG, TẬP GIÚP 1, SỐ 1,DẪN THÁNG 6, NĂM 2016 khoảng cách vật cản ứng dụng dẫn đường cho robot Các hướng tiếp cận chia thành ba nhóm chính: (i) sử dụng 01 camera ; (ii) sử dụng camera kép (camera-stereo); (iii) sử dụng cảm biến ảnh độ sâu (RGB-D) 1) Hướng tiếp cận sử dụng 01 camera: Hướng tiếp cận sử dụng 01 camera phù hợp với toán phát đối tượng động tĩnh Tuy nhiên việc sử dụng camera gặp khó khăn việc dự đốn khoảng cách vật cản Jeongdae Kim 2012 [3] sử dụng 01 camera xây dựng đồ chênh lệch nhằm phát người di chuyển mơi trường cách dự đốn chuyển động vùng phát (Block-Based Motion Estimation) Taylor 2004 [4] đề xuất phương pháp ROP (Radial Obstacle Profile) xây dựng đồ vật cản sử dụng 01 camera nhằm xác định phạm vi vật cản gần hướng robot di chuyển Erik Einhorn 2009 [5] trình bày phương pháp sử dụng đặc trưng SIFT, SURF bất biến với phép biến đổi kết hợp với lọc kalman mở rộng (EKF) xử lý chuỗi hình ảnh chụp máy ảnh gắn phía trước robot di động nhằm tái tạo lại môi trường phục vụ cho toán phát đối tượng 2) Hướng tiếp cận sử dụng camera kép: Camera kép (camera-stereo) thiết bị chuyên dụng cho toán liên quan đến việc ước lượng khoảng cách Điểm mạnh loại thiết bị khả tái tạo xác khơng gian 3D đồ chênh lệch điểm ảnh Tuy nhiên thiết bị giá thành cao, việc hiệu chỉnh tương đối phức tạp Lazaros Nalpantidis 2009 [6] trình bày thuật toán định (Decision Making) tránh vật cản dựa vào thơng tin hình ảnh thu nhận từ camera-stereo Ming Bai 2010 [7] trình bày phương pháp phát vật cản cho phép robot tìm đường an tồn tình phức tạp sử dụng thơng tin hình ảnh thu thập từ camera-stereo Rostam Affendi Hamzah 2011 [8] sử dụng phương pháp xây dựng đồ chênh lệch từ hai quan sát nhằm ước lượng khoảng cách vật cản phía trước giúp robot tránh va chạm di chuyển Lagisetty 2013 [9] đề xuất phương pháp phát tránh vật cản sử dụng camerastereo gắn robot di động mơi trường có cấu trúc nhằm giải 02 toán xác định vị trí, hướng robot xác định kích thước, hình dạng, khoảng cách phạm vi vật Tạp chí KHOA HỌC CƠNG NGHỆ 30 THƠNG TIN VÀ TRUYỀN THƠNG cản có mơi trường 3) Hướng tiếp cận sử dụng cảm biến hình ảnh độ sâu (RGB-D): Các cảm biến cung cấp hình ảnh độ sâu Microsoft Kinect có giá thành rẻ sử dụng rộng rãi ứng dụng giải trí nghiên cứu Các cảm biến thường áp dụng cho mơi trường nhà Khi ngồi trời có ánh sáng tự nhiên (hành lang) thiết bị khơng thích hợp Diogo Santos 2012 [10] đề xuất phương pháp nhận dạng cấu trúc khác mơi trường nhà (con đường phía trước, bên phải, bên trái) sử dụng kỹ thuật mạng neuron nhân tạo liệu hình ảnh độ sâu thu từ cảm biến Kinect Sharon Nissimov 2015 [11] đề xuất mơ hình xe gắn cảm biến Kinect để phát vật cản phía trước sử dụng đồng thơng tin màu (RGB) độ sâu (Depth) Việc định vùng chứa vật cản thực cách sử dụng thông tin cường độ điểm ảnh nằm vùng độ dốc xác định so với điểm ảnh lân cận Brian Peasley 2013 [12] trình bày phương pháp phát vật cản sử dụng cảm biến Kinect cách chiếu điểm ảnh 3D lên mặt phẳng nhằm xây dựng đồ 2D cho phép xác định xem có tồn vật cản mơi trường Sau vận tốc tịnh tiến quay robot hiệu chỉnh để robot tránh vật cản Các thử nghiệm với nhiều kịch nhà bao gồm vật cản cố định di chuyển với độ cao khác nhau, đặc biệt hệ thống không phụ thuộc nhiều vào điều kiện môi trường ánh sáng hoạt động thời gian thực Căn vào phân tích đánh giá phía trên, ngữ cảnh trợ giúp NKT môi trường nhà, lựa chọn theo hướng tiếp cận sử dụng 01 camera với mục đích thu nhận hình ảnh có góc nhìn tốt thời gian tính tốn nhanh cho hai toán phát ước lượng khoảng cách Phần trình bày chi tiết phương pháp đề xuất III PHƯƠNG PHÁP ĐỀ XUẤT Việc phát ước lượng vật cản minh họa Hình Trong mơ hình này, robot gắn camera RGB thơng thường di chuyển với tốc độ Trong q trình di chuyển, robot gặp vật cản cố định mơi trường (chậu hoa, bình cứu hỏa, thùng rác) vật cản động xuất bất ngờ (người) Giả thiết Số năm 2016 Nguyễn Quốc Thị Thanh Hải, VũHIỆN Hải,VÀHoàng Văn Nam, Nguyễn Quang NGUYỄN QUỐC HÙNG et al.: Hùng, NGHIÊNTrần CỨU PHƯƠNG PHÁP PHÁT ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN Hoan toán robot di chuyển 01 mặt sàn phẳng Chuyển động robot theo lộ trình xác định Phần đây, chúng tơi trình bày chi tiết kỹ thuật phát ước lượng khoảng cách từ vật cản tới robot B Phát vật cản Ước lượng ~ 2.5 m ~ 2.5m ~ 1.5m Ước lượng ~ 1.5 m Ước lượng Phát vật cản ~ 0.5 m Vùng hình ảnh Robot Hình Mơ hình phát định vị vật cản ước lượng khoảng cách A Khung làm việc tổng quát Tại thời điểm k, camera robot thu nhận hình ảnh Ik Với hình ảnh này, vị trí robot môi trường xác định mô đun định vị (xem chi tiết báo [13]) Vị trí điểm P(x,y,z=0) hệ quy chiếu định nghĩa từ trước; z = giả thiết robot chuyển động mặt phẳng Bài toán phát ước lượng khoảng cách vật cản định nghĩa sau: + Đầu vào: Ảnh Ik , vị trí robot P(x,y,z=0) + Đầu ra: Tập vật cản vị trí hệ quy chiếu định nghĩa từ trước: Ok = {Ok (x, y), k ∈ [1, n]} Mơ hình phát vật cản đề xuất gồm hai pha minh họa Hình gồm: − Phát vật cản: Chúng tơi phân vật cản thành hai nhóm: vật cản tĩnh vật cản động Vật cản tĩnh đối tượng môi trường chậu hoa, bình cứu hỏa, thùng rác vật cản động đối tượng người di chuyển môi trường − Ước lượng khoảng cách vật cản: Chúng lấy ý tưởng dự đoán khoảng cách từ hệ thống camera kép mô đôi mắt người Tuy nhiên ngữ cảnh tốn chúng tơi sử dụng 01 camera gắn robot chuyển động, quan sát hình ảnh hai thời điểm khác 1) Phát vật cản cố định: Mục tiêu phát đồ vật xác nhanh Ý tưởng học trước vật cản vị trí chúng hệ quy chiếu định nghĩa, thông tin lưu lại CSDL biểu diễn môi trường Với ảnh đầu vào, sau xác định cách tương đối vị trí robot đồ giải thuật định vị trình bày [1], tương ứng với đối tượng môi trường Pha phát vật cản tĩnh kiểm tra định vị lại cho xác Trong hình 2, đồ mơi trường biểu diễn tập điểm quan trọng môi trường LN = {L1 , L2 , Li , LN } Với điểm Li , tương ứng ảnh Ii , đặc tả quan sát Z i tập tất đối tượng quan sát thời vị trí Li : {Oi1 , Oi2 , , Oini } Tại thời điểm k , camera thu nhận ảnh Ik , nhờ giải thuật định vị trình bày [1] [13], vị trí robot xác định tương ứng L∗k Tại vị trí L∗k này, tương ứng với quan sát robot Ik∗ , tập vật cản môi trường xác định lưu sẵn: {Ok1 , Ok2 , , Oknk } Các bước thực để phát có mặt vật cản thời điểm k sau: 1) Trích chọn đặc trưng hai ảnh Ik Ik∗ đối sánh điểm đặc trưng tương ứng hai ảnh 2) Xác định vật cản ảnh Ik từ kết đối sánh 3) Xác định vùng chứa đối tượng Phần đây, chúng tơi trình bày chi tiết kỹ thuật bước thực − Đối sánh điểm đặc trưng: Mục đích công việc xác định cặp điểm đặc trưng tương đồng hai ảnh Ik Ik∗ thông qua thủ tục đối sánh FLANN [14] Sau sử dụng ngưỡng để loại bỏ cặp điểm đối sánh sai nhằm tìm tập cặp điểm tương đồng Quá trình gồm bước sau: + Trích chọn đặc trưng mơ tả: báo sử dụng đặc trưng cục SIFT [15] SIFT loại đặc Số năm 2016 Tạp chí KHOA HỌC CƠNG NGHỆ 31 THÔNG TIN VÀ TRUYỀN THÔNG PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO TẠP CHÍ KHOA HỌC CƠNG NGHỆ THƠNG TIN VÀ TRUYỀN THÔNG, TẬP 1, SỐ 1, THÁNG 6, NĂM 2016 SƠ ĐỒ CÁC BƯỚC TÍNH TỐN LN Vị trí Lk : (thời gian) Lk = {(xk , yk ), Z k , (O1 , O2 , Ok )} Ảnh huấn luyện CSDL L Ảnh Ik∗ Ik Bản đồ môi trường N = {L1 , L2 , Lk , LN } Robot Phát vật cản tĩnh Quan sát Đối sánh điểm đặc trưng (Ik , Ik∗ ) Ảnh Ik Phát vật cản: Oi Phát người HoG-SVM (t: giây) Lk−t Ước lượng khoảng cách Quan sát trước t(giây) Ảnh Ik−t Xây dựng đồ chênh lệch Ik , Ik−t Lk L2 L1 Tính khoảng cách (từ Oi Robot) (t: giây) Hình Các bước phát ước lượng khoảng cách vật cản trưng chứng minh bất biến với thay đổi tỉ lệ, chiếu sáng, góc nhìn đối tượng ảnh Chi tiết kỹ thuật trích chọn đặc trưng SIFT có [15] + Đối sánh điểm đặc trưng: Ý tưởng giải thuật FLANN [14] tìm tập đặc trưng tương ứng hai ảnh Ik Ik∗ Giả sử Fk = {pk1 , pk2 , , pki } Fk∗ = {pk1∗ , pk2∗ , , pkj∗ } hai tập điểm đặc trưng trích chọn từ hai ảnh tương ứng Ik Ik∗ Trong i, j số điểm đặc trưng phát từ ảnh Khoảng cách Euclid không gian đặc trưng hai điểm pkm pkn∗ , quy ước D(pkm , pkn∗ ) Theo [14] hai điểm đặc trưng pkm pkn∗ coi giống D(pkm , pkn∗ ) nhỏ tỷ số khoảng cách nhỏ khoảng cách nhỏ ngưỡng cho trước + Loại bỏ cặp điểm sai sử dụng ngưỡng: Tạp chí KHOA HỌC CÔNG NGHỆ 32 THÔNG TIN VÀ TRUYỀN THÔNG Mỗi cặp điểm gọi matching yếu khoảng cách Euclid chúng nhỏ hai lần khoảng cách nhỏ số tất cặp điểm lớn ngưỡng cố định Tdist = 0.2 Hình minh họa kết đạt sau loại bỏ cặp matching yếu a) Quan sát (Ảnh I ) b) nh CSDL (I ) Hình Kết loại bỏ số cặp điểm đối sánh yếu − Phát vật cản từ kết đối sánh + Xác định cặp điểm tương ứng vật cản hai ảnh liên tiếp: Ảnh Ik∗ có thơng tin vật cản ảnh (được Số năm 2016 NGUYỄN QUỐC HÙNG et al.: Hùng, NGHIÊNTrần CỨU Thị PHƯƠNG PHÁP PHÁT ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN Hoan Nguyễn Quốc Thanh Hải, VũHIỆN Hải,VÀ Hoàng Văn Nam, Nguyễn Quang xác định bao đóng chữ nhật) Chúng thực khoanh vùng điểm đặc trưng nằm vùng chứa vật cản ảnh Ik∗ Sau tìm điểm tương ứng chúng ảnh Ik + Tính ma trận chuyển tọa độ H: Mục đích việc nhằm tính tốn tọa độ đối tượng quan sát thời Ik∗ dựa vào cặp điểm đặc trưng Cụ thể ∗ , pk ), với cặp điểm tương đồng (pkm n thực ước lượng ma trận chuyển đổi H dựa vào ràng buộc: ∗ pkn = H · pkm (1) xk n ∗ = Trong pkn = ykn ;pkm xkn∗ · w h11 h12 h13 yk∗ · w ; H = h21 h22 h23 n w h31 h32 h33 hij hệ số ma trận H , (xkm , ykm ) (xkn∗ , ykn∗ ) tọa độ cặp điểm tương đồng không gian ảnh, w �= thành phần thứ hệ tọa độ đồng pkn∗ Do ma trận H có bậc tự do, cặp điểm cho ta phương trình ràng buộc nên để giải ma trận H ta cần cặp điểm tương đồng [16] Tuy nhiên, thực tế chọn xác cặp điểm để xây dựng ma trận H gây sai số lớn có cặp đối sánh sai Điều hay xảy mơi trường tòa nhà có nhiều vị trí mà điểm đặc trưng có độ tương đồng lớn Vì vậy, kỹ thuật phổ biến thường hay sử dụng để khắc phục trường hợp xây dựng ma trận H kỹ thuật RANSAC [17] nhằm tìm cặp điểm tương ứng xây dựng nên đa giác, phương pháp hình học chuẩn hóa dạng hình chữ nhật bao lấy vùng chứa đối tượng − Xác định vùng chứa đối tượng Mục đích việc xác định vị trí đối tượng ảnh Ik quan sát Từ góc vật cản ảnh Ik , xác định góc vật cản ảnh Ik∗ thơng qua ma trận H vừa tính Kết xác định vật cản cố định minh họa hình 4, tâm đối tượng xác định sử dụng kỹ thuật đối sánh ảnh FLANN [14] xác định đối tượng ảnh thời a) Aûnh CSDL (I ) b) Quan sát (Ảnh I ) Hình Minh họa kết xác định vùng chứa đối tượng Hình 4(a) Minh họa ảnh Ik∗ chứa đối tượng với điểm đặc trưng trích chọn vùng chữ nhật khoanh đối tượng từ trước Hình 4(b) ảnh Ik với điểm đặc trưng tương ứng Kết hình chữ nhật màu đỏ khoanh vùng đối tượng chuẩn hóa bao lấy đối tượng sử dụng kỹ thuật biến đổi hình học để chuẩn hóa đa giác màu xanh 2) Phát vật cản động: Đối với vật cản động, đề xuất phát người (là người di chuyển với tốc độ trung bình với vận tốc v=1.4m/s [18]) đối tượng hay gặp tình thử nghiệm môi trường thực tế Đây chủ đề thu hút nhiều nghiên cứu thời gian gần [19] nhằm nâng cao hiệu nhận dạng C Ước lượng khoảng cách từ camera tới vật cản 1) Nguyên lý ước lượng khoảng cách từ hai camera: Mục đích việc dự đốn khoảng cách tái tạo lại khơng gian chiều (3D), mô lại hệ thống thị giác người thông qua việc lấy đồng thời ảnh từ hai camera quan sát khung cảnh từ góc nhìn khác Bằng phép biến đổi hình học tính tốn khoảng chênh lệch hai quan sát ảnh để từ ước lượng khoảng cách thực địa minh họa hình Trong đó: + SL SR hai camera đặt đồng trục mặt phẳng + B khoảng cách nối tâm hai camera; B1 khoảng cách từ tâm chiếu đối tượng tới camera thứ nhất, B2 khoảng cách đến camera thứ hai Số năm 2016 Tạp chí KHOA HỌC CÔNG NGHỆ 33 THÔNG TIN VÀ TRUYỀN THÔNG PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬTTIN CẢN, ỨNG DỤNG ĐƯỜNG CHO TẠP CHÍ KHOA HỌC CƠNG NGHỆ THÔNG VÀ TRUYỀN THÔNG,TRỢ TẬP GIÚP 1, SỐ 1,DẪN THÁNG 6, NĂM 2016 Thay giá trị tan(ϕ1 ), tan(ϕ2 ) công thức công thức vào công thức 3, khoảng cách D tính tốn sau: x0 D ϕ1 D= ϕ2 B1 B2 B f SL SR Hình Mơ hình ước lượng khoảng cách từ hai quan sát + ϕ0 góc quan sát đối tượng từ 02 camera, ϕ1 ϕ2 góc trục quang học camera đối tượng quan sát + f tiêu cự ống kính hai camera; x0 khoảng cách vùng quan sát camera Xuất phát từ khoảng cách đường nối tâm camera B xác định từ hai thành phần B1 B2 ta có: B = B1 + B2 = D tan(ϕ1 ) + D tan(ϕ2 ) B tan(ϕ1 ) + tan(ϕ2 ) Với x0 chiều rộng ảnh, (x1 − x2 ) chênh lệch (Disparity) vị trí đối tượng quan sát camera thứ thứ hai tính theo điểm ảnh Tuy nhiên, theo [20], [21], [22] chứng minh khoảng cách D tỷ lệ nghịch với hiệu (x1 − x2 ) để bù lỗi cho góc quan sát ϕ0 ϕ0 tương ứng với điểm ảnh cộng thêm đại lượng ∆ϕ Tiếp tục áp dụng nguyên lý đồng dạng hình học hình 6(c) ta có: tan(ϕ0 ) ∆D + D (7) = tan(ϕ0 − ∆ϕ) D (2) Do khoảng cách ước lượng từ camera đến đối tượng tính cơng thức sau: Sử dụng tính đồng lượng giác khoảng cách lỗi tính sau: (3) Để xác định khoảng cách này, phân tích hình ảnh đối tượng quan sát hoành độ ảnh x1 từ camera thứ hoành độ ảnh x2 từ camera thứ hai ∆D = x0 D2 tan(∆ϕ) B (8) Như vậy, khoảng cách dự đoán D công thức biến đổi thành: D= x1 (6) ϕ0 ϕ0 D= tan Bx0 (x1 − x2 ) ϕ0 x0 −x2 tan( ϕ20 Bx0 + ∆ϕ)(x1 − x2 ) (9) ∆D Từ công thức đưa biểu diễn dạng hàm mũ sau: ∆ϕ D D ϕ2 ϕ0 ϕ0 (10) ϕ0 SL (a) Góc thứ quan sát đối tượng D = k ∗ xd D ϕ1 B SR (b) Góc thứ hai quan sát đối tượng (c) Bù lỗi khoảng cách cho điểm ảnh Hình Hình ảnh đối tượng quan sát từ hai góc thu nhận Áp dụng ngun lý đồng dạng hình học mơ tả hình 6(a-b) ta có: x1 x0 −x2 x0 = tan(ϕ1 ) tan ϕ20 (4) = tan(ϕ2 ) tan ϕ20 (5) Tạp chí KHOA HỌC CƠNG NGHỆ 34 THƠNG TIN VÀ TRUYỀN THƠNG Trong đó: + k số tính sau: k= Bx0 tan( ϕ20 + ∆ϕ) (11) + x = (x1 − x2 ), d số xác định giá trị độ chênh lệch (Disparity) điểm ảnh từ hai quan sát tính tốn đồ chênh lệch điểm ảnh hai camera quan sát đối tượng góc khác Số năm 2016 Nguyễn Quốc Thanh Hải, VũHIỆN Hải,VÀ Hoàng Văn Nam, Nguyễn Quang NGUYỄN QUỐC HÙNG et al.: Hùng, NGHIÊNTrần CỨU Thị PHƯƠNG PHÁP PHÁT ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN Hoan 2) Xây dựng đồ chênh lệch: Như để xác định độ sâu đối tượng (khoảng cách từ đối tượng tới camera), đồ chênh lệch điểm ảnh hai quan sát phải tính tốn Nhiều thuật toán đề xuất để giải vấn đề [23], [24] nhằm cải thiện độ xác dự đốn khoảng cách Trong hệ thống đề xuất, theo hướng tiếp cận xác định đồ chênh lệch sử dụng 01 camera với bước sau: 1) Thu thập liệu: thu thập hình ảnh thời điểm khác nhau, định nghĩa hai quan sát mơ tả hình Trong đó: nh I + Đường epipolar lF lT đường nối hai điểm eT PT eF PF nằm hai mặt phẳng ảnh Chúng tơi thực tìm đường epipolar hai quan sát camera chuyển động, kết cho thấy đường epipolar tìm cắt qua điểm epipole e e′ chiếu lên mặt phẳng nằm ngang e ≡ e′ (hình 8) e’ e Aûnh I z L L L y x a) Mô hình camera chuyển động Quan sát L b) Tính toán hai quan sát trước sau Quan sát L Hình Minh họa thu thập liệu camera chuyển động Lk vị trí quan sát tại; Lk−δT vị trí quan sát trước đó, với δT khoảng thời gian xác định trước đủ để phân biệt hai ảnh Ik Ik−δT 2) Hiệu chỉnh ảnh: Việc hiệu chỉnh ảnh cần thiết để giảm độ phức tạp tính tốn điểm ảnh tương ứng hai quan sát Quá trình hiệu chỉnh gồm gồm có hai bước: (i) tính tốn tham số ngồi camera; (ii) hiệu chỉnh hình ảnh thu nhận sử dụng biến đổi tuyến tính xoay, dịch nghiêng hình ảnh cho đường epipolar hình ảnh liên kết theo chiều ngang − Tìm đường epipolar ảnh: tham số camera định nghĩa sau: + Gọi OF OT tâm chiếu hai camera, F T cặp mặt phẳng ảnh tương ứng + Điểm P giới thực có phép chiếu mặt phẳng ảnh F điểm PF mặt phẳng ảnh T điểm PT + Điểm eT gọi điểm epipole định nghĩa ảnh tâm chiếu OF lên mặt phẳng ảnh T ; eF ảnh tâm chiếu OT lên mặt phẳng ảnh F Hình Kết tìm đường eplipolar camera chuyển động − Hiệu chỉnh liên kết ngang epipolar: trình chiếu hình ảnh mặt phẳng cho đường epipolar hai điểm song song theo chiều ngang nhằm so sánh hai cặp hình ảnh + Tính tốn ma trận E (Essential matrix): xác định mối quan hệ điểm P hai điểm PF PT từ phép chiếu lên hai mặt phẳng ảnh F T xác định: Số năm 2016 PF = R(PT − T ) (12) Trong mặt phẳng ảnh F chứa vector PT T , chọn vector (PT × T ) vng góc với hai phương trình cho tất điểm PT qua T chứa hai vector xác định sau: (PT − T )T (T × PT ) = (13) Thay (PT − T ) = R−1 PF RT = R−1 vào cơng thức 13 ta có (RT PF )T (T × PT ) = (14) Khi thực phép nhân ma trận ln tồn đường chéo ma trận kết S nhận giá trị 0: T × PT = SPT (15) Tạp chí KHOA HỌC CƠNG NGHỆ 35 THÔNG TIN VÀ TRUYỀN THÔNG PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO TẠP CHÍ KHOA HỌC CƠNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG, TẬP 1, SỐ 1, THÁNG 6, NĂM 2016 −Tz Ty S = Tz −Tx −Ty Tx pháp tổng khác biệt tuyệt đối SAD [26]: � SAD(x, y, d) = |IT (x, y)−IF (x, y−d)| (16) x,y∈W Các công thức viết lại: (17) PFT EPT = Trong đó: IT IF hai ảnh đưa vào tính tốn; (x, y) tọa độ điểm ảnh; W cửa sổ qt có kích thước (3 × 3), (5 × 5), (7 × 7); phạm vi chênh lệch d < 120 Khi ma trân E tính tốn sau: E = RS + Tính tốn ma trận F (Fundamental matrix): Gọi MT MF tham số camera OT OF , PT PF tọa độ PT PF PT = MT PT (20) (18) PF = MF PF Áp dụng công thức 17 để triển khai với ma trận F, ta có: T (19) PF F PT = Khi F = (MF−1 )T EMT−1 = (MF−1 )T RSMT−1 ma trận Chúng áp dụng kỹ thuật Pollefeys [25] để hiệu chỉnh hai ảnh thu nhận từ hai quan sát trước sau camera chuyển động Hình 9(a) minh họa phương pháp chuyển đổi hình ảnh từ tọa độ đề thông thường tọa độ cầu cho hai điểm epiolar e e′ trùng Hình 9(b) xoay hai hình ảnh tọa độ cực cho đường epiolar song song với Quan sát trước ui’ Hình 10 Kết đối sánh ảnh sử dụng giải thuật SAD Kết hàm SAD cho biết tổng khác biệt khối liệu dò tìm ảnh thứ hai đưa vào tính tốn Hình 10 mơ tả q trình tính tốn trượt cửa sổ để tìm khối liệu phù hợp, giá trị lớn biểu đồ định vị trí đối sánh xác 4) Tính tốn độ sâu: Mục đích việc tìm độ sâu điểm ảnh đồ chênh lệch (Disparity map) dựa vào phép đổi hình học để tính tốn khoảng cách điểm ảnh tương ứng đường epipoline r Quan saùt sau 10 f r 6 d e’ d d f d d (a) Tọa độ cực ảnh (lượng tử hóa: mức theo r, 10 mức theo j ) a 10 1 b X e (b) Ảnh chuyển đổi quan sát sang tọa độ cực Z Hình Kết hiệu chỉnh hình ảnh (a) Dự đoán khoảng cách từ hai quan sát 3) Đối sánh hình ảnh: Mục đích tính tốn giá trị chênh lệch điểm vật lý hai ảnh IT IF chúng tơi sử dụng phương Tạp chí KHOA HỌC CÔNG NGHỆ 36 THÔNG TIN VÀ TRUYỀN THÔNG B (b) Tính tốn độ sâu ảnh khơng gian 3D Hình 11 Minh họa phương pháp tính độ chênh lệch Số năm 2016 Hình 11(a) mơ tả việc dự đoán khoảng cách Nguyễn Quốc Hùng, Trần Thị Thanh Hải, Vũ Hải, Hoàng Văn Nam, Nguyễn Quang Hoan NGUYỄN QUỐC HÙNG et al.: NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN từ quan sát e tịnh tiến đến quan sát e′ Các điểm nằm đường epipole dự đốn xác khoảng cách d tọa độ giới thực Hình 11(b) mơ tả chi tiết cách tính tốn khoảng cách từ hai quan sát đến vật thể, xuất phát từ cặp tam giác đồng dạng [25] (a) Khoanh vùng đối tượng (b) Tọa độ đối tượng Hình 13 Minh họa chuẩn bị liệu đánh giá phát IV ĐÁNH GIÁ THỰC NGHIỆM A Môi trường thử nghiệm thu thập liệu đánh giá Môi trường thử nghiệm tiến hành hành lang tầng 10 – Viện MICA – Trường Đại học Bách khoa Hà Nội, tổng chiều dài hành lang 60m mô tả hình 12 B Kết đánh giá 1) Độ đo đánh giá: + Phát vật cản: sử dụng độ triệu hồi (Recall) độ xác (Precision) định nghĩa công thức 21 22 để đánh giá hiệu phát vật cản Chính xác (P recision) = tp + f p (21) Viện nghiên cứu quốc tế MICA Triệu hồi (Recall) = • • • • Điểm A: Phòng ảnh Điểm B: Thang máy Điểm C: Nhà vệ sinh (WC) Điểm D: Lớp học Robot (Xuất phát) • Chậu hoa (22) gọi phát coi hệ số Jaccard Index [27] JI ≥ 0.5, hệ số tính tỷ lệ vùng giao vùng hợp hình chữ nhật phát giải thuật Bp vùng chữ nhật chứa đối tượng xác định tay Bgt Tuyến đường Khoảng cách: 60 m • Bình cứu hỏa • Thùng rác tp + f n • Người Hình 12 Mơi trường thử nghiệm robot dẫn đường Chúng gắn camera robot cho robot di chuyển ba vận tốc khác nhau: v1 = 100mm/s, v2 = 200mm/s, v3 = 300mm/s Lộ trình di chuyển robot từ A đến D hình 12 Tổng số ảnh thu ba lần di chuyển 2597 khung hình 1) Đo khoảng cách từ camera tới vật cản: Để đánh giá độ sai số ước lượng khoảng cách, khoảng cách thật từ camera tới vật cản phải đo tay sau dùng để đối sánh với kết đo tự động Với liệu thu thập được, tiến hành đo đánh dấu khoảng cách vị trí vật cản có mơi trường Khoảng cách đối tượng so với gốc tọa độ xác định 2) Chuẩn bị liệu phát đối tượng: Trên luồng liệu khung cảnh, khoanh vùng vật cản định nghĩa lưu vào CSDL biểu diễn mơi trường Q trình thực tay minh họa hình 13 JI = area(Bp ∩ Bgt ) area(Bp ∪ Bgt ) (23) Ngược lại f p phát sai JI < 0.5 f n không phát đối tượng Thuật toán phát đối tượng cài đặt lên Robot PCBOT914 cấu hình (CHIP Intel(R) Core(TM)2 T7200@ 2.00 GHz x 2, RAM 8GB), kích thước trung bình ảnh 640 × 480 điểm ảnh, tốc độ lấy mẫu 1Hz + Ước lượng khoảng cách vật cản: sử dụng độ đo sai số tiêu chuẩn (RMSE) RM SE = n n ˆ2 (θi − θ) (24) i=1 Trong θˆ khoảng cách đo thực địa tới vật cản; θ khoảng cách dự đoán đồ chênh lệch Số năm 2016 Tạp chí KHOA HỌC CƠNG NGHỆ 37 THƠNG TIN VÀ TRUYỀN THÔNG PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT TIN CẢN, ỨNG DỤNG TRỢ ĐƯỜNG CHO TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG VÀ TRUYỀN THÔNG, TẬP GIÚP 1, SỐ 1,DẪN THÁNG 6, NĂM 2016 2) Kết đánh giá phát vật cản: Bảng I trình bày chi tiết đánh giá phát vật cản phương pháp đề xuất Trên thực tế, kết phát vật cản tĩnh phụ thuộc vào kết đối sánh ảnh CSDL với ảnh Nếu điều kiện (thời điểm, chiếu sáng) thu thập liệu để biểu diễn mơi trường gần với điều kiện thử nghiệm kết tốt Trong thí nghiệm, CSDL xây dựng để biểu diễn môi trường vào buổi sáng, giải thuật đạt độ triệu hồi độ xác cao Bảng I KẾT QUẢ PHÁT HIỆN ĐỐI TƯỢNG PHƯƠNG PHÁP ĐỀ XUẤT Tên lớp Chậu hoa Bình cứu hỏa Thùng rác Người Recall(%) 98.30 94.59 85.71 92.72 Precision(%) 90.23 89.42 92.31 89.74 % 100 90 98% 95% 90% 89% 86% 76% 80 75% 71% 50 40 30 20 10 Chậu hoa Bình cứu hỏa Độ triệu hồi Recall (%) Thùng rác Độ xác Precision (%) Phương pháp đề xuất (Thời gian: 0.47 giây/ảnh) Độ triệu hồi Recall (%) Người Độ xác Precision (%) Phương pháp Haar-AdaBoost (Thời gian: 1.34 giây/ảnh) Hình 14 Biểu đồ so sánh hai phương pháp phát đối tượng nhanh 0.47 Một số kết phát đối tượng, hình 15(a) minh họa giải thuật phát vật cản đề xuất, hình chữ nhật màu xanh khoanh vùng đánh dấu từ trước chồng khít lên hình chữ nhật màu đỏ kết giải thuật phát trả Hình 15(b) minh họa kết phương pháp phát vật cản sử dụng Haar-AdaBoost, số khung hình xuất trường hợp phát nhầm Bpgt Bpgt Bpgt BBpgt BBpgt BBpgt BBpgt (a) Phương pháp đề xuất Bgt Times(s) Bp BBgtp 1.34 BBp gt Bp Bgt Bp p BB gt B Bpgt (b) Phương pháp Haar-AdaBoost Hình 15 Một số hình ảnh minh họa phát đối tượng Bảng II trình bày kết đánh giá phát lớp đối tượng Độ xác đạt P recision = 78.60%, độ triệu hồi đạt Recall = 81.32%, thời gian t = 1.34s Biểu đồ minh họa so sánh phương pháp đề xuất phát vật cản: Hình 14 minh họa kết đánh giá so sánh phương pháp, lớp đối tượng phương pháp đề xuất cao so với phương pháp Haar-AdaBoost thời gian tính tốn Tạp chí KHOA HỌC CÔNG NGHỆ 38 THÔNG TIN VÀ TRUYỀN THÔNG 82% 60 KẾT QUẢ PHÁT ĐÁNH GIÁ SO SÁNH VỚI PHƯƠNG PHÁP HAAR-ADABOOST Precision (%) 89.15 76.37 78.15 81.61 85% 70 Bảng II Recall (%) 82.52 71.22 75.49 85.16 90% 78% Times(s) Với việc phát vật cản động, mô đun sử dụng liệu huấn luyện cung cấp tác giả thuật toán gốc OpenCV, kết phát người có bị ảnh hưởng Sau để cải thiện hiệu giải thuật phát vật cản tĩnh, cần tính tốn đến yếu tố ảnh hưởng thực huấn luyện lại phát người với liệu thu thập thời gian tới Tiếp theo, đánh giá khả phát với phương pháp Haarlike-Adaboost [28] Tên lớp Chậu hoa Bình cứu hỏa Thùng rác Người 93% 92% 89% 83% 3) Kết đánh giá ước lượng khoảng cách: kết chi tiết có bảng đây: Đối với vật cản động (người) sai số tiêu chuẩn RM SE ∼ 0.4m giải thuật HoG-SVM phát người phát huy hiệu khoảng cách từ vị trí [9.85m 13.96m] so với gốc tọa độ Ngoài vùng quan sát gần xa không phát Đối với vật cản tĩnh lớp chậu hoa cho kết tốt lớp vật cản khác, lớp bình cứu Số năm 2016 Nguyễn Quốc Hùng, Trần Thị Thanh Hải, Vũ Hải, Hoàng Văn Nam, Nguyễn Quang Hoan NGUYỄN QUỐC HÙNG et al.: NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN Bảng III KẾT QUẢ ĐÁNH GIÁ SAI SỐ ƯỚC LƯỢNG KHOẢNG CÁCH khoảng cách vật cản Trong thực tế, robot di chuyển 26cm thực phát ước lượng khoảng cách lần VẬT CẢN Khoảng cách phát hiện(m) 2.22 3.75 4.04 4.12 Sai số tiêu chuẩn RMSE(m) 0.41 0.65 0.47 0.44 Tên lớp Chậu hoa Bình cứu hỏa Thùng rác Người RMSE(m) 7.5 7.22 7.03 6.85 7.0 6.66 Thực đòa 6.42 6.5 Dự đoán 6.05 6.39 6.0 5.80 6.22 6.06 5.55 5.90 5.5 5.37 5.18 5.68 4.94 5.35 5.0 4.75 5.13 4.57 4.91 4.5 4.38 4.75 4.59 4.06 4.37 4.0 3.73 4.21 4.04 hỏa có độ sai số lớn số lượng số điểm đặc trưng đối sánh hai ảnh chưa đủ định vùng chứa đối tượng, lớp thùng rác cho kết trung bình Phần trình bày chi tiết kết đánh giá ước lượng khoảng cách lớp vật cản − Lớp chậu hoa: Với khoảng cách 2.22m có 09 khung hình phát tổng số 37 khung hình thu nhận, thực tế robot di chuyển 24cm thực lần (vận tốc robot v = 300mm/s) 3.88 3.5 3.59 3.30 3.0 Khung hình 2.5 12 15 18 22 28 32 36 39 42 46 49 52 55 60 65 Hình 18 Vị trí ước lượng khoảng cách lớp bình cứu hỏa Kết ước lượng khoảng cách khung hình số 39 minh họa hình 19 RMSE(m) 6.5 5.96 6.0 5.84 5.59 5.5 Thực đòa a) Quan sát tạïi (nh Ik) Dự đoán b) Ước lượng khoảng cách 5.23 5.47 5.0 4.92 5.36 5.13 Hình 19 Minh họa ước lượng khoảng cách lớp bình cứu hỏa 4.55 4.79 4.5 4.18 4.51 4.0 3.93 3.75 4.17 3.83 3.5 3.61 3.44 3.0 Khung hình 12 18 23 29 35 39 42 Hình 16 Vị trí ước lượng khoảng cách thuộc lớp chậu hoa Kết phát ước lượng khoảng cách lớp chậu hoa khung hình số 18 minh họa hình − Lớp thùng rác: với khoảng cách 4.04m robot quan sát 89 khung hình, có 20 khung hình phát ước lượng khoảng cách, thực tế robot di chuyển 22cm thực phát ước lượng khoảng cách lần RMSE(m) 10 9.70 9.50 9.13 8.82 9.07 8.64 8.88 8.52 8.21 8.53 8.25 7.17 7.50 6.77 7.25 6.98 6.37 6.70 5.99 6.33 5.62 5.95 5.19 5.60 Dự đoán 7.47 7.96 7.67 Thực đòa 8.02 7.76 8.07 4.76 5.26 4.70 4.37 4.85 4.45 4.03 4.39 4.08 3.77 Khung hình a) Quan sát (nh Ik) 332 335 341 346 349 351 356 359 363 367 371 377 383 389 395 402 409 410 415 420 b) Ước lượng khoảng cách Hình 17 Minh họa ước lượng khoảng cách lớp chậu hoa − Lớp bình cứu hỏa: với khoảng cách 3.75m robot quan sát 61 khung hình có 16 khung hình phát dự đốn Hình 20 Vị trí ước lượng khoảng cách lớp thùng rác Kết ước lượng khoảng cách khung hình 409 minh họa hình 21, hình 21(a) quan sát thu thập hình ảnh Số năm 2016 Tạp chí KHOA HỌC CƠNG NGHỆ 39 THÔNG TIN VÀ TRUYỀN THÔNG PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT TIN CẢN, DỤNG TRỢ ĐƯỜNG CHO TẠP CHÍ KHOA HỌC CƠNG NGHỆ THƠNG VÀ ỨNG TRUYỀN THÔNG, TẬP GIÚP 1, SỐ 1,DẪN THÁNG 6, NĂM 2016 Ik , hình 21(b) ước lượng khoảng cách từ vật cản tới robot a) Quan sát tạïi (nh Ik) b) Ước lượng khoảng cách Hình 21 Minh họa ước lượng khoảng cách lớp thùng rác − Lớp người: Ở khoảng cách 4.12m robot quan sát 63 khung hình có 20 khung hình phát ước lượng khoảng cách RMSE(m) 8.5 7.82 7.64 7.45 7.5 7.19 6.93 7.24 6.79 7.07 6.5 Thực đòa 6.53 6.90 LỜI CẢM ƠN Cảm ơn đề tài “Trợ giúp định hướng người khiếm thị sử dụng công nghệ đa phương thức” mã số: ZEIN2012RIP19 - Hợp tác quốc tế trường Đại học Việt - Bỉ (VLIR) hỗ trợ q trình thực báo Dự đoán TÀI 6.33 6.66 6.13 6.42 5.93 6.29 5.79 6.04 5.5 pháp phát nhanh vật cản tĩnh sử dụng phương pháp đối sánh mẫu liệu vị trí quan trọng đánh dấu vị trí huấn huyện từ trước Kết phần làm tảng để dự đoán khoảng cách vùng phát phương pháp xây dựng đồ chênh lệch từ hai quan sát chuyển động tịnh tiến Phương pháp đề xuất đánh giá khả thi giúp cảnh báo cho NKT loại vật cản phía trước, kết góp phần quan trọng hệ thống định vị hình ảnh trợ giúp dẫn đường cho NKT sử dụng robot LIỆU THAM KHẢO 5.58 5.86 5.36 5.67 5.49 5.15 4.93 5.37 5.17 4.68 4.97 4.50 4.77 4.5 4.25 4.56 3.98 4.34 4.16 3.69 3.94 3.5 3.69 3.42 Khung hình 2.5 159 162 165 169 173 175 179 182 185 188 190 193 196 199 202 206 209 213 217 221 Hình 22 Vị trí ước lượng khoảng cách lớp Người Kết ước lượng khoảng cách khung hình 193 minh họa hình 23, hình 23(a) quan sát thu thập hình ảnh Ik , hình 23(b) ước lượng khoảng cách từ vật cản tới robot a) Quan sát tạïi (nh Ik) b) Ước lượng khoảng cách Hình 23 Minh họa ước lượng khoảng cách lớp Người V KẾT LUẬN Bài báo trình bày phương pháp phát ước lượng khoảng cách vật cản dựa vào kỹ thuật xử lý ảnh sử dụng camera (thông thường) Cơng việc nghiên cứu phương Tạp chí KHOA HỌC CÔNG NGHỆ 40 THÔNG TIN VÀ TRUYỀN THÔNG [1] Q.-H Nguyen, H Vu, T.-H Tran, and Q.-H Nguyen, “Developing a way-finding system on mobile robot assisting visually impaired people in an indoor environment,” Multimedia Tools and Applications, pp 1– 25, 2016 [2] N Dalal and B Triggs, Histograms of oriented gradients for human detection, 2005, vol [3] J Kim and Y Do, “Moving obstacle avoidance of a mobile robot using a single camera,” Procedia Engineering, vol 41, pp 911–916, 2012 [4] T Taylor, S Geva, and W W Boles, “Monocular vision as a range sensor.” International Conference on Computational Intelligence for Modelling, Control and Automation, 2004 [5] E Einhorn, C Schroeter, and H.-M Gross, “Monocular obstacle detection for real-world environments,” in Autonome Mobile Systeme 2009 Springer, 2009, pp 33–40 [6] L Nalpantidis, I Kostavelis, and A Gasteratos, “Stereovision-based algorithm for obstacle avoidance,” in Intelligent Robotics and Applications, 2009, vol 5928, pp 195–204 [7] M Bai, Y Zhuang, and W Wang, “Stereovision based obstacle detection approach for mobile robot navigation,” in Intelligent Control and Information Processing (ICICIP), 2010 International Conference on IEEE, 2010, pp 328–333 [8] R A Hamzah, H N Rosly, and S Hamid, “An obstacle detection and avoidance of a mobile robot with stereo vision camera,” in Electronic Devices, Systems and Applications (ICEDSA), 2011 International Conference on IEEE, 2011, pp 104–108 [9] R Lagisetty, N Philip, R Padhi, and M Bhat, “Object detection and obstacle avoidance for mobile robot using stereo camera,” in Control Applications (CCA), 2013 IEEE International Conference on IEEE, 2013, pp 605–610 Số năm 2016 Nguyễn Quốc Thị Thanh Hải, VũHIỆN Hải,VÀ Hoàng Văn Nam, Nguyễn Quang NGUYỄN QUỐC HÙNG et al.: Hùng, NGHIÊNTrần CỨU PHƯƠNG PHÁP PHÁT ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN Hoan 13 [10] D S O Correa, D F Sciotti, M G Prado, D O Sales, D F Wolf, and F S Osório, “Mobile robots navigation in indoor environments using kinect sensor,” in Critical Embedded Systems (CBSEC), 2012 Second Brazilian Conference on IEEE, 2012, pp 36–41 [11] S Nissimov, J Goldberger, and V Alchanatis, “Obstacle detection in a greenhouse environment using the kinect sensor,” Computers and Electronics in Agriculture, vol 113, pp 104–115, 2015 [12] B Peasley and S Birchfield, “Real-time obstacle detection and avoidance in the presence of specular surfaces using an active 3d sensor,” in Robot Vision (WORV), 2013 IEEE Workshop on IEEE, 2013, pp 197–202 [13] Q.-H Nguyen, H Vu, T.-H Tran, and Q.-H Nguyen, “A vision-based system supports mapping services for visually impaired people in indoor environments,” in Control Automation Robotics & Vision (ICARCV), 2014 13th International Conference on IEEE, 2014, pp 1518–1523 [14] M Muja and D G Lowe, “Scalable nearest neighbor algorithms for high dimensional data,” Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol 36, 2014 [15] D G Lowe, “Distinctive image features from scaleinvariant keypoints,” International journal of computer vision, vol 60, no 2, pp 91–110, 2004 [16] P S Heckbert, “Fundamentals of texture mapping and image warping,” Master’s thesis, University of California, 1989 [17] M A Fischler and R C Bolles, “Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography,” Communications of the ACM, vol 24, no 6, pp 381– 395, 1981 [18] R C Browning, E A Baker, J A Herron, and R Kram, “Effects of obesity and sex on the energetic cost and preferred speed of walking,” Journal of Applied Physiology, vol 100, no 2, pp 390–398, 2006 [19] T Santhanam, C Sumathi, and S Gomathi, “A survey of techniques for human detection in static images,” in Proceedings of the Second International Conference on Computational Science, Engineering and Information Technology, 2012, pp 328–336 [20] M A Mahammed, A I Melhum, and F A Kochery, “Object distance measurement by stereo vision,” International Journal of Science and Applied Information Technology (IJSAIT) Vol, vol 2, pp 05–08, 2013 [21] J Mrovlje and D Vrancic, “Distance measuring based on stereoscopic pictures,” in 9th International PhD Workshop on Systems and Control, Young Generation Viewpoint Izola, Slovenia, 2008 [22] A J Woods, T Docherty, and R Koch, “Image distortions in stereoscopic video systems,” in IS&T/SPIE’s Symposium on Electronic Imaging: Science and Technology International Society for Optics and Photonics, 1993, pp 36–48 [23] A Coste, “3d computer vision-stereo and 3d reconstruction from disparity,” Technical report, Tech Rep., 2013 [24] Y.-J Zhang, Advances in image and video segmentation IGI Global, 2006 [25] M Pollefeys, R Koch, and L Van Gool, “A simple and efficient rectification method for general motion,” in Computer Vision, 1999 The Proceedings of the Seventh IEEE International Conference on, vol IEEE, 1999, pp 496–501 [26] P Kamencay, M Breznan, R Jarina, P Lukac, and M Zachariasova, “Improved depth map estimation from stereo images based on hybrid method,” Radioengineering, vol 21, no 1, pp 70–78, 2012 [27] M Everingham, L Van Gool, C K Williams, J Winn, and A Zisserman, “The pascal visual object classes (voc) challenge,” International journal of computer vision, vol 88, no 2, pp 303–338, 2010 [28] P Viola and M J Jones, “Robust real-time face detection,” International journal of computer vision, vol 57, no 2, pp 137–154, 2004 OBSTACLE AND DISTANCE DISTANCE OBSTACLE DETECTION DETECTION AND ESTIMATION MONOCULARCAMERA CAMERA ESTIMATION USING USING MONOCULAR IN FORVISUALLY VISUALLY IN NAVIGATION NAVIGATION SERVIES SERVIES FOR IMPAIRED PEOPLE IMPAIRED PEOPLE Abstract - In this paper, we propose a method for obstacle detection and distance estimation us-ing monocular camera mounted on a mobile robot The proposed system aims to support visually impaired people navigating in indoor environ-ment The obstacles include static and dynamic objects on that encumber human mobility For static objects, supporting information such as type of object, positions, and corresponding images in relevant scenes are stored in database (DB) To detect them, the images captured during robot’s movements are compared with the corresponding images through a localization algorithm proposed in [1] Then the existing objects in DB will be identified and distances from them to current robot’s position is estimated For dynamic objects, such as movements of people in scenes, we use HOG-SVM algorithm [2] To estimate distance from camera to detected obstacles, we utilize a disparity map which is built from consecutive frames The experiments are evaluated in the hall of building floor of 60 meters under different lighting conditions The results confirm that the proposed method could exactly detect and esti-mate both static and dynamic objects This shows the feasibility to help visually impaired people avoiding obstacles in navigation Số năm 2016 Tạp chí KHOA HỌC CƠNG NGHỆ 41 THƠNG TIN VÀ TRUYỀN THÔNG PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO 14 TẠP CHÍ KHOA HỌC CƠNG NGHỆ THƠNG TIN VÀ TRUYỀN THÔNG, TẬP 1, SỐ 1, THÁNG 6, NĂM 2016 Nguyễn Quốc Hùng nhận thạc sĩ ngành Khoa học máy tính Đại học Thái Nguyên năm 2010, nghiên cứu viên Viện nghiên cứu quốc tế MICA Hướng nghiên cứu là: phân tích nhận dạng hình ảnh/video; điều khiển robot di động; định vị, xây dựng đồ môi trường, tương tác người- robot Trần Thị Thanh Hải nhận tiến sỹ ngành công nghệ thông tin Pháp năm 2006 Hiện giảng viên, nghiên cứu viên Viện nghiên cứu quốc tế MICA, Trường Đại học Bách Khoa Hà Nội Hướng nghiên cứu phân tích nhận dạng hình ảnh/ video, tương tác người - máy Tạp chí KHOA HỌC CƠNG NGHỆ 42 THƠNG TIN VÀ TRUYỀN THÔNG Số năm 2016 Vũ Hải nhận tiến sỹ ngành công nghệ thông tin Trường đại học Osaka - Nhật Bản năm 2009 Hiện giảng viên, nghiên cứu viên Viện nghiên cứu quốc tế MICA, Trường Đại học Bách Khoa Hà Nội Hướng nghiên cứu phân tích nhận dạng hình ảnh/video, xử lý ảnh Y tế, điều khiển mạng camera, kinect Nguyễn Quang Hoan nhận tiến sỹ ngành hệ thống thông tin Liên Xô năm 1973 Hiện giảng viên khoa công nghệ thông tin - Đại học sư phạm Hưng Yên Hướng nghiên cứu mạng nơ ron, mờ điều khiển Hoàng Văn Nam nhận kỹ sư ngành Kỹ thuật điều khiển tự động hóa Đại học Bách Khoa Hà Nội năm 2014 Hiện anh học thạc sỹ chuyên ngành Môi trường cảm thụ, đa phương tiện tương tác viện nghiên cứu quốc tế MICA, Đại học Bách Khoa Hà Nội Hướng nghiên cứu là: xử lý ảnh, học máy ...PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT TIN CẢN, ỨNG DỤNG TRỢ ĐƯỜNG CHO TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG VÀ TRUYỀN THÔNG, TẬP GIÚP 1, SỐ 1,DẪN THÁNG 6, NĂM 2016 khoảng cách vật cản ứng dụng dẫn. .. PHÁP PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN Bảng III KẾT QUẢ ĐÁNH GIÁ SAI SỐ ƯỚC LƯỢNG KHOẢNG CÁCH khoảng cách vật cản Trong thực tế, robot di chuyển 26cm thực phát ước lượng khoảng cách. .. THÔNG PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT TIN CẢN, DỤNG TRỢ ĐƯỜNG CHO TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG VÀ ỨNG TRUYỀN THÔNG, TẬP GIÚP 1, SỐ 1,DẪN THÁNG 6, NĂM 2016 Ik , hình 21(b) ước lượng khoảng