Luận án tiến sĩ nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị (TT)

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN QUỐC HÙNG NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ Chun ngành: Khoa học Máy tính Mã số: 62480101 TĨM TẮT LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội − 2016 Cơng trình hồn thành tại: Trường Đại học Bách khoa Hà Nội Người hướng dẫn khoa học: TS Trần Thị Thanh Hải PGS.TS Nguyễn Quang Hoan Phản biện 1: Phản biện 2: Phản biện 3: Luận án bảo vệ trước Hội đồng đánh giá luận án tiến sĩ cấp Trường họp Trường Đại học Bách khoa Hà Nội: Vào hồi giờ, ngày .tháng .năm Có thể tìm hiểu luận án thư viện: Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội Thư viện Quốc gia Việt Nam MỞ ĐẦU Tính cấp thiết, ý nghĩa khoa học luận án Năm 2013, theo cơng bố Tổ chức Y tế giới (WHO) giới có khoảng 285 triệu người suy giảm thị lực, 246 triệu người có thị lực mức độ vừa phải đến mức độ nặng 39 triệu người mù [19] Tại Việt Nam, theo số liệu Viện mắt Trung ương cung cấp, có khoảng 1.2 triệu người khiếm thị (NKT), 820.503 người khơng khả nhìn thấy ánh sáng Nếu tính người bị tật mắt cận viễn số lớn nhiều Số lượng NKT lớn, thân NKT gặp nhiều khó khăn sống nắm bắt hội việc làm Chính vậy, trợ giúp NKT vấn đề thu hút quan tâm nhiều nhà khoa học thời gian gần Trong số u cầu trợ giúp, trợ giúp định hướng cần thiết dẫn để giúp họ tránh vật cản đường hay đưa thơng báo mơi trường xung quanh Trên thực tế, nhiều phương pháp nghiên cứu triển khai nhằm hỗ trợ định hướng cho NKT, sử dụng gậy [8], chó dẫn đường [8], hay thiết bị điện tử [2] Mỗi phương pháp có ưu nhược điểm riêng: gậy dẫn đường bị hạn chế phạm vi phát vật cản theo kích thước gậy; chó dẫn đường thường có chi phí cao gây trở ngại tâm sinh lý người dùng; thiết bị điện tử điện cực đặt lưỡi gây tâm lý ngại ngần sử dụng Trong bối cảnh này, nghiên cứu phát triển hệ thống trợ giúp dẫn đường hiệu thân thiện trợ giúp NKT chủ đề đầy thách thức, động lực để NCS thực đề tài: “Nghiên cứu phát triển số kỹ thuật định vị dựa hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị” Mục tiêu thách thức Xuất phát từ ý tưởng tạo hệ thống hỗ trợ giống người bạn đồng hành có khả giao tiếp thân thiện hiệu Luận án hướng đến phát triển hệ thống trợ giúp định hướng cảnh báo vật cản cho NKT sử dụng robot di động Để đạt mục tiêu này, robot cần có khả nhận biết di chuyển vị trí mơi trường nhận dạng vật cản đường Do vậy, chúng tơi chia mục tiêu đạt thành ba tốn cụ thể: Biểu diễn mơi trường định vị: Với mục tiêu dẫn đường cho NKT từ vị trí đến vị trí mong muốn mơi trường, robot phải biết đâu mơi trường đường đến vị trí đích Để giải vấn đề này, đồ mơi trường phải xây dựng từ trước robot phải có khả định vị từ vị trí đồ Mặc dù có nhiều phương pháp đề xuất, hướng tiếp cận tổng qt bền vững với yếu tố mơi trường mục tiêu mà nhà khoa học theo đuổi Phát ước lượng khoảng cách vật cản: Trong q trình di chuyển, để đảm bảo an tồn cho NKT cho di chuyển robot, vật cản mơi trường bao gồm vật cản tĩnh động cần phải phát cảnh báo mức độ nguy hiểm gây Ngồi thách thức chung tốn phát đối tượng lĩnh vực thị giác máy tính điều kiện chiếu sáng thay đổi, che khuất, bóng, luận án phải giải với chất lượng ảnh khơng tốt rung lắc thiết bị, camera di chuyển ước lượng khoảng cách NKT vật cản thời gian thực Dẫn đường, điều khiển tương tác người robot: Trong ngữ cảnh tốn robot dẫn đường việc tìm đường tối ưu phần quan trọng, đặc biệt với việc dẫn đường cần phải thực với độ xác cao đảm bảo an tồn cho NKT Bên cạnh đó, điều khiển robot di chuyển hành trình, giảm sai số định vị thách thức lĩnh vực điều khiển động học Tương tác người-robot phải thân thiện, tự nhiên hiệu để NKT cảm nhận trạng thái hệ thống hoạt động đưa phản hồi kịp thời mà khơng giác quan tự nhiên tốn đòi hỏi nhiều thời gian thử nghiệm người dùng khiếm thị Những điểm luận án Để giải 03 tốn nêu trên, chúng tơi đề xuất cải tiến số phương pháp với đóng góp sau đây: Đề xuất mơ hình biểu diễn mơi trường theo hướng tiếp cận lai ngữ nghĩa đồ số liệu đồ topo tích hợp với thơng tin vật cản tĩnh mơi trường Nâng cao độ xác giải thuật xây dựng đồ định vị sử dụng hình ảnh, vốn thường thiết kế cho mơi trường ngồi trời gặp phải khó khăn hoạt động mơi trường nhà Đề xuất phương pháp phát số vật cản phù hợp với ngữ cảnh tốn robot dẫn đường Chứng minh thực nghiệm tính khả thi giải pháp đề xuất thơng qua việc phát triển ứng dụng trợ giúp định hướng NKT sử dụng robot Cấu trúc luận án Luận án gồm chương với nội dung tóm tắt sau: ◦ Chương 1: Tổng quan thống trợ giúp người khiếm thị giới thiệu số nghiên cứu ngồi nước trợ giúp định hướng NKT, phân tích ưu nhược điểm phương pháp đề xuất hệ thống “Trợ giúp dẫn đường cho NKT di chuyển mơi trường diện hẹp sử dung robot” ◦ Chương 2: Biểu diễn mơi trường định vị đề xuất mơ hình biểu diễn mơi trường định vị dựa hình ảnh Hai giải thuật với cải tiến giới thiệu giải thuật đo hành trình VO nhằm xây dựng đồ số liệu, giải thuật xây dựng đồ topo định vị FAB-MAP sử dụng hình ảnh ◦ Chương 3: Phát ước lượng khoảng cách vật cản trình bày phương pháp đề xuất cho việc phát vật cản dựa kỹ thuật đối sánh ảnh ước lượng khoảng cách vật cản dựa tính tốn ảnh sai khác từ quan sát khác 01 camera ◦ Chương 4: Thử nghiệm đánh giá hệ thống dẫn đường, trình bày hệ thống dẫn đường hồn chỉnh tích hợp thiết bị phần cứng phát triển thêm số chức khác tìm đường, điều khiển, tương tác người robot sử dụng kỹ thuật sẵn có Phần thử nghiệm đánh giá người dùng khiếm thị 100% khơng nhìn thấy ánh sáng 03 mơi trường khác CHƯƠNG TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP NGƯỜI KHIẾM THỊ 1.1 Đặt vấn đề 1.2 Các nghiên cứu liên quan 1.2.1 Các nghiên cứu giới 1.2.2 Các nghiên cứu nước 1.2.3 Thảo luận Các nghiên cứu phân tích cho thấy phương pháp trợ giúp NKT có số ưu nhược điểm sau: Các phương pháp sử dụng laser, lidar, siêu âm cho phép xác định nhanh trợ giúp cảnh báo thơng tin vật cản cho NKT hỗ trợ q trình lại Tuy nhiên nhóm phương pháp khơng xác định đối tượng vật cản gì, mức độ nguy hiểm khơng có khả dẫn đường NKT mơi trường Các phương pháp sử dụng hình ảnh đòi hỏi kỹ thuật xử lý hình ảnh phức tạp hơn, nhiên lượng tin nhiều hơn, cho phép phân loại đối tượng, xác định khoảng cách mức độ nguy hiểm Cho nên nhóm phương pháp gặp nhiều thách thức tốn thị giác máy tính, dẫn hướng sử dụng hình ảnh, v.v Trong tất phương pháp nêu trên, khơng có phương pháp thực dẫn đường cho NKT đến vị trí mong muốn mà hỗ trợ q trình lại Các phương pháp cảnh báo vật cản dừng lại cảnh báo có hay khơng mà khơng rõ đối tượng mức độ nguy hiểm 1.3 1.3.1 Mục tiêu nghiên cứu phương pháp đề xuất Mục tiêu phạm vi nghiên cứu Trong khn khổ LATS, chúng tơi theo hướng tiếp cận sử dụng cảm biến camera lượng thơng tin hình ảnh thu thập phong phú, cho phép đồng thời thực tốn dẫn đường phát vật cản Hơn nữa, cảm biến hình ảnh ngày có giá thành rẻ thơng dụng với người dùng Mục tiêu chúng tơi muốn hướng đến là: − Nghiên cứu phát triển số kỹ thuật định vị sử dụng thơng tin hình ảnh hiệu phù hợp với mơi trường nhà − Ứng dụng triển khai hệ thống trợ giúp dẫn đường cảnh báo vật cản cho NKT cách hiệu thân thiện Trong LATS này, trợ giúp dẫn đường hiểu dẫn NKT di chuyển đến vị trí mong muốn đồ với cảnh báo vật cản Khi thiết kế hệ thống, chúng tơi phải dựa số ràng buộc theo đặc thù mơi trường triển khai Mơi trường nhà hay ngồi trời có thách thức riêng Do chúng tơi giới hạn pham vi nghiên cứu mơi trường nhà diện hẹp ví dụ hành lang tòa nhà có gắn thiết bị (wi-fi), cảm biến (camera) cho phép thu thập tín hiệu mơi trường nhằm phục vụ cho ứng dụng khác Hệ thống đề xuất phục vụ 01 người dùng thời điểm 1.3.2 Phương pháp đề xuất Các thành phần hệ thống đề xuất mơ tả Hình 1.1 gồm robot di động có gắn camera thu nhận hình ảnh mơi trường, thực phép xử lý tính tốn để trả lời 02 câu hỏi chính: i) robot đâu? có vật cản gì? ii) làm để dẫn NKT đến vị trí mong muốn? NKT sử dụng điện thoại di động có kết nối khơng dây để điều khiển nhận phản hồi từ hệ thống Trong q trình dẫn, NKT bám vào điểm robot để theo • • Điện thoại thông minh Mạng Wireless • Camera Hình 1.1 Các thành phần hệ thống đề xuất Robot trợ giúp NKT Để trả lời câu hỏi đặt ra, tốn sau giải chương 2, 3, luận án: Biểu diễn mơi trường (chương 2): Do u cầu tốn dẫn đường hai vị trí nên đồ mơi trường cần phải xây dựng từ trước pha ngoại tuyến Định vị (chương 2): Để dẫn đường đến vị trí mong muốn, robot cần phải biết vị trí đâu đồ mơi trường Phát ước lượng khoảng cách vật cản (chương 3): Để cảnh báo vật cản, vật cản tĩnh động mơi trường phải phát khoảng cách từ robot đến vật cản phải ước lượng Tìm đường điều khiển di chuyển (chương 4): Để dẫn đường, robot phải tìm đường từ vị trí đến vị trí đích phải điều khiển để di chuyển hai vị trí Tương tác người - hệ thống (chương 4): u cầu người dùng đáp ứng hệ thống phải thực cách tự nhiên, thân thiện hiệu Trong phạm vi nghiên cứu luận án, chúng tơi tập trung nghiên cứu giải tốn 1, 2, phát triển ứng dụng hồn chỉnh Các tốn lại giải dựa cơng cụ có sẵn 1.4 Kết luận chương CHƯƠNG BIỂU DIỄN MƠI TRƯỜNG VÀ ĐỊNH VỊ 2.1 Giới thiệu chung 2.2 Những nghiên cứu liên quan 2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn mơi trường Xuất phát từ mục tiêu luận án nghiên cứu phương pháp định vị sử dụng hình ảnh hỗ trợ cho tốn trợ giúp dẫn đường cho NKT, chúng tơi đề xuất mơ hình biểu diễn mơi trường theo hướng tiếp cận lai ngữ nghĩa Ý nghĩa cụm từ lai ngữ nghĩa giải thích sau Bản đồ mơi trường cấu thành từ đồ số liệu đồ topo Ngồi ra, thơng tin vật cản tĩnh mơi trường vị trí đồ xác định đưa vào mơ hình biểu diễn mơi trường mơ tả Hình 2.1 đây: y(m) ĐỊNH NGHĨA CÁC THÀNH PHẦN: Hội trường ◦ Bản đồ biểu diễn theo cấu trúc topo gồm tập N điểm mơi trường cho tồn đường hai điểm kề cận: WC LN = {L1 , L2 , , LN } LN WC Phòng họp ◦ Mỗi điểm Li với i = 1, N chứa thơng tin sau: Phòng ngủ số Li = {Mi, Z i , Oi } Ii Trong đó: Phòng ngủ Mi = {xi , yi , zi } tọa độ điểm mốc hệ quy chiếu định nghĩa Tọa độ tính theo đơn vị (m) số Li Phòng ngủ số Z : Mơ hình quan sát vị trí Li i Oi = {Oi1 , Oi2 , Oij }: Tập vật cản xuất ảnh Ii Phòng ngủ số vị trí Li thu nhận Điểm mốc L1 (0, 0) Hình 2.1 Mơ hình biểu diễn mơi trường theo hướng tiếp cận lai ngữ nghĩa Để biểu diễn mơi trường theo mơ hình này, nhiệm vụ sau cần thực hiện: x(m) Xác định vị trí mốc mơi trường Li với i = 1, N Xác định tọa độ vị trí mốc mơi trường Mi = (xi , yi , zi ) Xác định vật cản Oi = {Oi1 , Oi2 Oij } ảnh Ii thu vị trí Li Tập vật cản Oi thuộc tập định nghĩa từ trước hình dạng vật cản khơng ảnh hưởng đến mơ hình biểu diễn, chi tiết phương pháp xác định vật cản trình bày CHƯƠNG III luận án 2.4 2.4.1 Phương pháp xây dựng đồ mơi trường Xây dựng đồ số liệu Bài tốn đo hành trình sử dụng hình ảnh phát biểu sau: Cho trước chuỗi hình ảnh liên tiếp thu thập từ camera I = {I1 , I2 , , IN } N tổng số ảnh thu thập Xác định vị trí camera q trình di chuyển P = {P1 , P2 , PN −1 } Nếu vị trí ban đầu biết trước, vị trí xác định phép biến đổi T trừ vị trí trước đến vị trí tại, T cấu thành từ chuyển động tịnh tiến tii−1 chuyển động i quay Ri−1 camera thời điểm i thời điểm trước i − i Ti−1 = i Ri−1 tii−1 (2.1) i i Ti−1 ∈ ℜ3×3 , tii−1 ∈ ℜ1×3 , Ri−1 ∈ ℜ2×3 Phương pháp VO Van Hamme đồng nghiệp đề xuất năm 2011 [13] đánh giá mơi trường ngồi trời với camera lắp đặt xe chạy với tốc độ 70km/h Khi áp dụng vào mơi trường nhà với camera gắn robot với tốc độ chậm, phương pháp gặp số khó khăn thách thức Trong phần đây, chúng tơi trình bày trước tiên phương pháp VO, thích nghi VO nhà gọi tắt VO* trình bày sau 2.4.1.1 Phương pháp đo hành trình hình ảnh sử dụng mơ hình khơng chắn Ý tưởng giải thuật VO đề xuất [13] sử dụng mơ hình khơng chắn chuyển động camera chuyển động xe để tính tốn tứ giác tương ứng với điểm đặc trưng khung hình chuyển động điểm đặc trưng khung hình trước Sau chuyển động camera hai khung hình liên tiếp ước lượng từ chồng lấp tứ giác Với chuỗi hình ảnh liên tiếp thu thập I = {I1 , I2 , , IN }, thuật tốn VO gồm N −1 bước lặp, bước lặp thứ i với i = 2, N thực bước: Trích chọn đặc trưng Harris Corner[14] khung hình Ii Chi tiết phương pháp trích chọn đặc trưng có PHỤ LỤC A.1 luận án [I(x + u, y + v) − I(x, y)]2 E(u, v) = (2.2) w Trong đó: E(u, v) hàm tương quan tính tốn ảnh I; u, v dịch chuyển điểm x, y hàm cửa số w, w nhận hai giá trị 0/1 thơng qua hàm Gaussian xác định giá trị cho w Kết thu tập Mi điểm đặc trưng {KPij } với j = 1, Mi Số điểm đặc trưng định ngưỡng θV O đưa vào tính Cơng thức (2.3) KPij phụ thuộc vào R việc lấy ngưỡng θV O (R ≥ θV O ) R đáp ứng góc tính sau: R = λ1 λ2 − k(λ1 + λ2 )2 (2.3) Tính tốn P UTij tương ứng với đặc trưng KPij dựa mơ hình khơng chắn camera Cụ thể P UTi j hình tứ giác bao quanh điểm KPi j Mỗi góc tứ giác xác định từ tổ hợp (góc ngẩng, góc nghiêng) camera Tính tốn MUTij tương ứng với đặc trưng Harris KPij dựa mơ hình chuyển động khơng chắn robot Cụ thể MUTij hình tứ giác bao quanh điểm KPij Mỗi góc tứ giác xác định từ tổ hợp (vận tốc, góc lái) robot Tạo ảnh tương đồng P UTij thời điểm i với MUTi−1 j thời điểm trước i − Ảnh thể mức độ tương đồng khơng gian góc lái vận tốc, Giá trị điểm ảnh lớn biểu thị tọa độ tương đồng PUT MUT lớn nhất, tương ứng với giá trị góc lái vận tốc cần xác định cho phép ước lượng tham số chuyển động camera, từ tái tạo lại hành trình di chuyển Bước lặp thứ i: Ii , M U Ti−1,k k = 1, Mi−1 Ii    E(u, v) =  Trích chọn đặc trưng Harris ảnh Ii w [I(x + u, y + v) − I(x, y)]2 R = λ1 λ2 − k(λ1 + λ2 )2     KPij R ≥ θV O j = 1, Mi PUT: Perspective Uncertainty Tetragons MUT: Motion Uncertainty Tetragon KeyPoint(Harris corners) Tính PUT ảnh Ii Tính MUT ảnh Ii P U Tij M U Tij j = 1, Mi j = 1, Mi M U Ti P U Ti Tính ảnh tương đồng từ P U Tij M U Ti−1 i = 1, Mi−1 j = 1, Mi 90 80 70 60 50 40 Xếp chồng P U Ti M U Ti Ảnh tương đồng Ước lượng tham số i i ; Ri−1 Ti−1 30 20 10 -10 -60 -50 -40 -30 -20 -10 10 Hành trình đo Hình 2.2 Các bước giải thuật đo hành trình thơng tin hình ảnh VO Khi triển khai giải thuật VO số mơi trường nhà khác (hành lang tòa nhà) hành trình tái tạo bị sai số nhiều so với thực tế, số vị trí robot thực phép quay (xem Hình 2.3) y(m) y(m) y(m) 140 140 140 120 120 60 100 100 50 80 80 40 60 60 40 Bản đồ 20 30 Thực đòa Thực đòa Bản đồ 40 20 -25 25 50 (a) Trường THCS Nguyễn Đình Chiểu Bản đồ 20 10 x(m) -50 Thực đòa x (m) x(m) -50 -25 25 50 (b) Thư viện Tạ Quang Bửu – ĐHBK Hà Nội -40 -30 -20 -10 10 (c) Viện nghiên cứu MICA – ĐHBK Hà Nội Hình 2.3 Một số trường hợp lỗi tích lũy xây dựng đồ 2.4.1.2 Thích nghi VO cho mơi trường nhà Để nâng cao độ xác đồ tái tạo, chúng tơi đề xuất giải pháp đơn giản dễ thực để nâng số điểm đặc trưng phát khung hình Cụ thể chúng tơi tạo điểm đánh dấu đường (xem Hình 2.4) với quy trình tạo điểm đánh dấu mặt sàn sau: (a) Tạo điểm đánh dấu dọc hành trình (b) Phóng to vùng đánh dấu Hình 2.4 Tạo điểm đánh dấu dọc hành trình − Số lượng điểm đánh dấu mặt sàn diện tích S = 1m2 có từ 16-20 điểm đánh dấu dán cách từ 15-20 cm (xem Hình 2.5) − Hình dáng điểm đánh dấu hình có góc cạnh chữ nhật, hình vng, bình hành (do ưu điểm đặc trưng Harris Corner [14] phát góc) Các mẫu khác hình tròn, elip khơng khuyến khích sử dụng số phát điểm đánh dấu (xem Hình 2.6d) − Khơng phân biệt màu sắc điểm đánh dấu trắng, đen, vàng, đỏ (xem Hình 2.6b) (a) Xác định cảnh phân biệt để giảm quan sát trùng lặp: Khi áp dụng FABMAP gốc vào mơi trường nhà với ngữ cảnh robot di chuyển với tốc độ chậm (300 mm/s), quan sát liên tiếp giống ảnh hưởng đến chất lượng từ điển khả xác định vị trí qua Bài tốn xác định khung cảnh phân biệt mơ tả sau: Giả thiết có chuỗi N khung hình liên tiếp I = {I1 , I2 , , IN } Xác định tập Id ∈ I với Id = {Ii1 , Ii2 , , Iid } khung cảnh Iij phân biệt Để xác định Iij với Iik phân biệt, kiểm chứng hàm khoảng cách D(Iij , Iik ) (2.4) D(Iij , Iik ) = ED(Gist(Iij ), Gist(Iik )) Trong ED khoảng cách hai vector khơng gian Việc xác định khung cảnh riêng biệt thực giải thuật sau Đầu vào chuỗi hình ảnh liên tiếp thu thập từ camera: I = {I1 , I2 IN } - Tính tốn sai khác hai khung hình liên tiếp Ii Ii−1 : Sai khác định nghĩa khoảng cách Euclid Di hai vector đặc trưng GIST tương ứng Fi , Fi−1 - Kiểm tra Di > θGist Ii lựa chọn khung hình phân biệt, θGist ngưỡng xác định trước thực nghiệm định số lượng khung hình giữ lại Theo [20], [18] đặc trưng GIST trích chọn thể tính chất quan trọng tính tự nhiên, tính mở, độ nhám, độ chắn, cho phép trình bày cấu trúc khơng gian cảnh Chi tiết đặc trưng GIST có PHỤ LỤC A.4 luận án Khoảng cách D 0.8 0.6 (a) θGist 0.4 0.2 Số khung hình 20 40 60 80 100 120 140 160 180 200 (b) Hình 2.8 Xác định khung cảnh có cấu trúc giống Để thực điều này, chúng tơi áp dụng ngun lý trích đặc trưng GIST dựa phép biến đổi Gabor [21] theo hướng, tần số khác tính theo Cơng thức (2.5): − 21 h(x, y) = e y2 x2 + δ2 δx y e−j2π(u0 x+v0 y) (2.5) Trong đó, tham số (δx , δy ) độ lệch chuẩn hàm Gauss theo hướng x, y; (u0 , v0 ) thành phần tần số trung tâm lọc Gabor Chúng tơi chuẩn hóa ảnh đầu vào đưa dạng vng, chia thành lưới (4 × 4) theo hướng tương ứng Do đó, vector GIST tính tốn sử dụng phổ lượng 32 đáp ứng Đồng thời tính tốn trung bình lưới (16 × 16) điểm ảnh đáp ứng, thể Như kích thước vector GIST giảm xuống 512 chiều Kết trích chọn đặc trưng GIST phục vụ việc phân loại khung cảnh minh họa Hình 2.8 11 (b) Chuyển pha trực tuyến FAB-MAP hoạt động ngoại tuyến để xây dựng tồn đồ mơi trường: Sau xác định cảnh phân biệt, ảnh đưa vào pha ngoại tuyến để xây dựng từ điển Chow Liu So với FAB-MAP, đầu vào FAB-MAP* tập ảnh thu thập từ trước hành trình khai phá đường mơi trường Việc chạy lần nhiều lần với liệu đường khác để làm giàu số vị trí đồ ✹✱✟✺ ✠✆✱✟✂ ✴  ✂✄☎ ✻✱✼✠ ✽ ✙✬✔✭ ☞✌ ✍✎✏ ✑ ☞✌ ✍✎✏ ✪ ✒✓✔ ✕✖✗✘✙ ✚✛ ✕✜✢ ✒✜★✙ ✚✗✘✦ ✒✓✔ ✕✖✗✘✙ ✩✛ ✕✜✢ ✒✜★✙ ✚✗✘✦ ✑ ✣✖✤✥✦✧ ✕✓✔ ✕✖✗✘✙ ✚✛ ✕✜✢ ✒✓✔ ✕✖✗✘✙ ✚✛ ✕✜✢ ✹✱✟✺ ✠✆✱✟✂ ✴  ✂✄☎ ✻✱✼✠ ✾ ✪ ✫✬✔✭ ✁  ✂✄☎ ✆✝✞✟✠ ✂✆✡☛✝ ✮✯✰ ✂✆✱✲✳ ✴  ✂✄☎ ✵✆✶✷✠✸ ✂✯✰ ✂✆✱✲✳ Hình 2.9 Minh họa bước thực cập nhật điểm mốc quan trọng 2.4.3 Bổ sung thơng tin đối tượng vật cản tĩnh đồ Bản đồ topo xây dựng từ giải thuật FAB-MAP* có thêm thơng tin tọa độ vị trí đồ từ giải thuật VO* Sau vị trí đồ, chúng tơi bổ sung thơng tin đối tượng vật cản tĩnh để thực dự báo khả có vật cản pha trực tuyến cách nhanh chóng Thơng tin tọa độ ảnh tọa độ thể giới thực lưu để sử dụng pha phát vật cản trình bày CHƯƠNG III luận án 2.5 Phương pháp định vị Sau xây dựng đồ topo số liệu pha ngoại tuyến, việc định vị pha trực tuyến trở nên thuận lợi Ở pha trực tuyến, camera thu nhận ảnh Ik , quan sát từ đầu đến thời điểm k Z k định nghĩa phần Thực tính xác suất mà quan sát Z k vị trí Li đồ LN = {L1 , L2 , , LN } với giá trị i = 1, N p Li |Z k = 2.6 p Zk |Li , Z N p Li |Z N p (Zk |Z N ) (2.6) Kết thực nghiệm Phần thực nghiệm tiến hành 03 mơi trường khác nhau: (i) Trường THCS Nguyễn Đình Chiểu Hà Nội; (ii) Thư viện Tạ Quang Bửu; (iii) Viện nghiên cứu quốc tế MICA - Trường Đại học Bách Khoa Hà Nội 2.7 Kết luận chương Kết chương cơng bố tại: Tạp chí KH&CN trường đại học kỹ thuật, số 101 tháng 7/2014; Hội nghị quốc tế ICCE lần thứ 5, tháng 8/2014; Hội nghị quốc tế ATC lần thứ 6, tháng 10/2003; Tạp chí quốc tế Multimedia Tools and Applications (ISI)- Springer, 01/2016 12 CHƯƠNG PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN 3.1 Định nghĩa tốn thách thức Bài tốn phát ước lượng khoảng cách vật cản phát biểu sau: + Đầu vào: Quan sát camera Ik Với quan sát này, chương trình bày phương pháp xác định vị trí tương đối robot Pk = (xk , yk , zk = 0) đồ mơi trường + Đầu ra: Tập n vật cản Ok = {Oi (xik , yik ), i = 1, n} với vị trí tương ứng đồ Thùng rác Chậu hoa Người ~ 2.5m ~ 1.5m Người Vật cản Chậu hoa Bình cứu hỏa Trường nhìn camera Robot Bình cứu hỏa Chậu hoa Hình 3.1 Định nghĩa tốn phát ước lượng khoảng cách Hình 3.1 minh họa ngữ cảnh tốn kết mong muốn đạt Trong ví dụ robot có gắn camera di chuyển mơi trường, chậu hoa, bình cứu hỏa, thùng rác vật cản tĩnh mơi trường, người vật cản động xuất bất ngờ 3.2 Những nghiên cứu liên quan 3.3 Đề xuất phương pháp phát ước lượng khoảng cách Trong luận án, chúng tơi thực hai cơng việc chính: (i) Phát vật cản nằm đường mà NKT di chuyển qua; (ii) Ước lượng khoảng cách vật cản tới robot nhằm đưa thơng tin cảnh báo 13 SƠ ĐỒ CÁC BƯỚC TÍNH TỐN LN Vị trí Lk : (thời gian) Lk = {(xk , yk ), Z k , (O1 , O2 , Ok )} Ảnh huấn lun CSDL L = {L1 , L2 , Lk , LN } Ảnh Ik∗ Quan sát Ảnh Ik Ik Bản đồ mơi trường Robot Lk Phát vật cản tĩnh Đối sánh điểm đặc trưng (Ik , Ik∗ ) Phát vật cản: Oi Phát người HoG-SVM (t: giây) Lk−t L2 L1 Dự đốn khoảng cách Quan sát trước t(giây) Ảnh Ik−t Xây dựng đồ chênh lệch Ik , Ik−t Tính khoảng cách (từ Oi ֌ Robot) (t: giây) Hình 3.2 Mơ hình phát ước lượng khoảng cách vật cản − Phát vật cản: Chúng tơi phân chia vật cản thành hai nhóm: vật cản tĩnh vật cản động Vật cản tĩnh đối tượng chậu hoa, bình cứu hỏa, thùng rác Vật cản động đối tượng di chuyển mơi trường (người) − Ước lượng khoảng cách vật cản: chúng tơi lấy ý tưởng dự đốn khoảng cách từ hệ thống camera-stereo, ngữ cảnh tốn chúng tơi sử dụng 01 camera thơng thường gắn robot chuyển động, quan sát hình ảnh hai thời điểm khác 3.4 3.4.1 Phát vật cản Phát vật cản cố định Như trình bày CHƯƠNG I II, đồ mơi trường biểu diễn tập điểm quan trọng mơi trường LN = {L1 , L2 , Lk , LN } Với điểm Li , tương ứng ảnh Ii , đặc tả quan sát Z i tập tất đối tượng quan sát thời vị trí Li : {Oi1 , Oi2 , , Oini } Tại thời điểm k, camera thu nhận ảnh Ik , nhờ giải thuật định vị trình bày CHƯƠNG II, vị trí robot xác định tương ứng L∗k Tại vị trí L∗k này, tương ứng với quan sát robot Ik∗ , tập vật cản mơi trường xác định lưu sẵn: {Ok1 , Ok2 , , Oknk } 14 Kết định vị Phương pháp đối sánh ảnh mẫu (template matching) Ảnh mẫu Ik∗ Phát Đối sánh điểm đặc trưng Đối tượng Xác định vùng chứa đối tượng Ảnh thời Ik Kết Hình 3.3 Sơ đồ bước thực phát vật cản cố định 3.4.2 Phát vật cản động Căn vào kết đánh giá, chúng tơi lựa chọn phương pháp sử dụng kết hợp HoGSVM [7] [5] cho tốn phát người tính phổ dụng tính hiệu nhiều ứng dụng Phần chúng tơi phân tích kỹ phương pháp Mơ hình Huấn luyện Huấn luyện Ảnh huấn luyện Tính tốn đặc trưng HoG Tiền xử lý Bộ phân loại SVM Tính tốn Gradient Tính HoG Cell Chuẩn hóa Block Ảnh nhận dạng Nhận dạng Kết Hình 3.4 Sơ đồ bước phát người sử dụng HoG-SVM 3.5 Uớc lượng khoảng cách vật cản 3.5.1 Ngun lý phương pháp ước lượng khoảng cách Gọi D khoảng cách từ vật cản tới camera tính sau: D= tan( ϕ20 Bx0 + ∆ϕ)(x1 − x2 ) (3.1) Từ Cơng thức (3.1) đưa biểu diễn dạng hàm mũ sau: D = k ∗ xd Trong đó: hệ số k = Bx0 ; ϕ tan( 20 +∆ϕ) (3.2) x = (x1 − x2 ); số d xác định giá trị độ chênh lệch (Disparity) điểm ảnh từ hai quan sát đồ chênh lệch 15 x0 D ϕ1 ϕ2 ϕ0 ϕ0 B1 B2 B f SL SR Hình 3.5 Mơ hình ước lượng khoảng cách vật cản từ hai quan sát Hình 3.6 Sơ đồ bước tính tốn đồ chênh lệch ước lượng khoảng cách 3.5.2 Xây dựng đồ chênh lệch Thu thập liệu Hiệu chỉnh cải thiện Đối sánh hình ảnh Tính tốn độ sâu 3.6 Kết đánh giá 3.7 Kết luận chương Kết chương cơng bố tại: Tạp chí KH&CN trường đại học kỹ thuật, số 95C tháng 7/2013; Hội nghị nghiên cứu ứng dụng cơng nghệ thơng tin lần thứ 6- FAIR6 - Huế 6/2013; Tạp chí Khoa học cơng nghệ Thơng tin Truyền thơng, Học viện Cơng nghệ Bưu Viễn thơng - PTIT JICS - Vol 1, No.1 6/2016 16 CHƯƠNG PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG 4.1 Hệ thống tích hợp 4.1.1 Kiến trúc tổng thể Tầng ứng dụng Chúng tơi đề xuất kiến trúc tổng thể hệ thống minh họa Hình 4.1 Lớp điều khiển thực thi Tầng chức Định vị Phát Ước lượng khoảng cách vật cản Điều khiển Robot Xây dựng đồ mơi trường Tìm đường Thu thập liệu (đường đi/ khung cảnh) Phân tích u cầu người dùng Biểu diễn mơi trường & Định vị Cảnh báo & Tìm đường Tầng logic Thu thập thơng tin Phản hồi người dùng Điều khiển & Tương tác Điều khiển Tầng vật lý Giao diện cảm biến/ thực thi Xe thu thập Camera Robot Truyền thơng Điện thoại di dộng MƠI TRƯỜNG Hình 4.1 Mơ hình tổng qt hệ thống đề xuất Kiến trúc gồm tầng: 17 − Tầng vật lý : bao thiết bị phần cứng, robot, xe thu thập, camera, wi-fi, điện thoại di động nhằm thực nhiệm vụ thu nhận xử lý tương tác với hệ thống − Tầng logic: có nhiệm vụ kết nối hai tầng vật lý tầng chức qua giao diện cảm biến đồng thời phản hồi lại u cầu từ hệ thống tới người dùng − Tầng chức năng: tầng quan trọng hệ thống dẫn đường với mơ đun như: Xây dựng đồ mơi trường; Định vị; Phát ước lượng khoảng cách vật cản; Tìm đường; Điều khiển robot; Tương tác người robot Ba mơ đun hệ thống xây dựng đồ mơi trường, định vị phát vật cản trình bày chi tiết chương II, chương III Để hệ thống dẫn đường hoạt động thực địa, mơ đun lại tìm đường, điều khiển robot, tương tác người máy cần phát triển Nội dung chương trình bày việc phát triển mơ đun tích hợp để hồn thiện thử nghiệm hệ thống − Tầng ứng dụng: có nhiệm vụ phát triển giao diện phần mềm cài đặt lên robot lên điện thoại di động; ngồi thư viện mã nguồn mở OpenCV, hàm API (Application Programming Interface) nằm điều khiểm M3 robot nhà sản xuất cung cấp cài đặt thêm tích hợp với mơ đun xây dựng 4.1.2 Tích hợp phần cứng Trong phần thực nghiệm, chúng tơi sử dụng robot PC-Bot914 tích hợp thêm số thiết bị ngoại vi như: Camera Axis kết nối với robot thơng qua địa TCP/IP có nhiệm vụ thu nhận hình ảnh với góc nhìn rộng sửa méo để ảnh thu nhận có chất lượng tốt hơn; điện thoại di động giúp NKT tương tác vào/ra với robot; số thiết bị khác (màn hình giao tiếp, ắc quy trì nguồn điện, phát sóng mạng wi-fi, khung giá đỡ ) Robot nguyên Màn hình tương tác Thu phát mạng không dây (Wi-fi) (PC-Bot 914) Mạng Wifi Nguồn phụ (Ắc quy) Khung giá đỡ Camera Axis 207 Điện thoại di động (b) Robot thiết kế hoàn chỉnh (a) Thiết bò tích hợp vào robot Hình 4.2 Tích hợp thiết bị phần cứng lên robot Hình 4.2(a) minh họa thiết bị phần cứng tích hợp thêm vào robot Hình 4.2(b) minh họa robot sau tích hợp phần cứng hồn chỉnh 18 4.2 4.2.1 Phát triển hệ thống dẫn đường sử dụng robot Tìm đường cho robot Cho trước đồ thị có trọng số G = {V, E}, V tập đỉnh, E tập cạnh f : E → R hàm trọng số có giá trị thực Cho trước đỉnh v thuộc V , tìm đường P từ v tới đỉnh v ′ thuộc V cho p∈P f (p) nhỏ tất đường nối từ v tới v ′ Như tốn tìm đường khn khổ LATS phát biểu đơn giản xác định đường từ vị trí Lb (vị trí robot đầu giải thuật định vị trình bày chương II) đến vị trí Le (vị trí mà người dùng u cầu ánh xạ đồ mơi trường) Theo lý thuyết đồ thị, đồ LN = {L1 , L2 , , LN } khái qt hóa dạng đồ thị đỉnh vị trí Li , cạnh tồn hai vị trí kề cận {Li , Li+1 } Khi đường ngắn hai vị trí Lb Le xác định theo giải thuật Dijkstra thơng thường Với mơi trường kịch thử nghiệm, đồ xây dựng ba mơi trường (Tầng Viện MICA, Khu nội trú tầng trường THCS Nguyễn Đình Chiểu, Tầng Thư viện Tạ Quang Bửu) đồ thị khơng rẽ nhánh, việc tìm đường trường hợp đơn giản giải thuật tìm đường tối ưu y(m) 30 A 25 20 Bản đồ môi trường Khả mở rộng đường 15 A B C D C 10 E Ví dụ số vò trí đích cần đến đồ D E B x(m) 10 15 20 25 30 Hình 4.3 Minh họa đường từ hai điểm biết trước đồ mơi trường Hình 4.3 minh họa đường robot tới vị trí mong muốn Trong hình vẽ A, D điểm nằm đồ; B, C, E điểm trường hợp mở rộng đồ mơi trường, q trình thực cách học lại vị trí mơi trường 4.2.2 Điều khiển robot 4.2.2.1 Điều khiển trực tiếp dựa đường xác định 4.2.2.2 Điều khiển theo dự báo hiệu chỉnh vị trí lọc Kalman 19 Bắt đầu Nghe lệnh người dùng & phân tích lệnh Xác định điểm xuất phát (Kết định vị hình ảnh) Đầu vào (Điểm xuất phát & điểm kết thúc) i=0 Xác định đường robot Ld = {Lb , Le } Thiết bị vào/ra Tính khoảng cách ∆ hai điểm Li Li+1 Phản hồi trạng thái vật cản nguy hiểm Đúng ∆[...]... 10/2014; 22 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN KẾT LUẬN Trong thực hiện luận án, NCS đã nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho NKT trong mơi trường diện hẹp, sử dụng robot để giải quyết một số bài tốn như: biểu diễn mơi trường và định vị; phát hiện và ước lượng khoảng cách vật cản; tìm đường và dẫn hướng điều khiển robot; tương tác người robot Với các... phát hiện người truyền thống (HoG-SVM) giảm thời gian phát hiện, phục vụ cho bài tốn ước lượng khoảng cách trên vùng phát hiện các đối tượng − Đóng góp 4: Chứng minh bằng thực nghiệm tính khả thi của giải pháp đề xuất thơng qua việc phát triển ứng dụng trợ giúp định hướng người khiếm thị sử dụng robot Cụ thể luận án thử nghiệm và đánh giá khả năng dẫn đường của robot đối với các em học sinh khiếm thị. .. các tín hiệu trạng thái của robot thành các tín hiệu rung theo tần số khác nhau 21 Một số vị trí của mơi trường đã được định nghĩa trên màn hình cảm ứng, khi muốn đến vị trí trên bản đồ NKT sẽ chạm vào ơ cửa sổ quy định với vị trí đã định nghĩa trước Trên thực tế, có thể đưa thêm nhiều vị trí hơn và sử dụng mơ đun đọc màn hình cho NKT để giúp lựa chọn đúng địa điểm cần đến Mạng khơng dây: có vai trò truyền... đường sử dụng robot Tìm đường cho robot Cho trước một đồ thị có trọng số G = {V, E}, trong đó V là tập đỉnh, E tập cạnh và f : E → R là hàm một trọng số có giá trị thực Cho trước một đỉnh v thuộc V , tìm một đường đi P từ v tới mỗi đỉnh v ′ thuộc V sao cho p∈P f (p) là nhỏ nhất trong tất cả các đường nối từ v tới v ′ Như vậy bài tốn tìm đường trong khn khổ của LATS được phát biểu đơn giản là xác định. .. về vật cản cũng sẽ được cảnh báo cho NKT thơng qua tín hiệu rung ⋄ Bước 5.2.4 : Thực hiện lặp lại bước 5 để kiểm tra ∆ và ǫ 4.2.3 Tương tác người- robot Khi di chuyển và tránh vật cản trong mơi trường, thính giác là giác quan giúp cho NKT cảm nhận về vật cản và định hướng trong mơi trường Qua nghiên cứu một số tài liệu và khảo sát thực tế trên một số học sinh khiếm thị thì thính giác là quan trọng đối... xác định đường đi từ một vị trí Lb (vị trí hiện tại của robot là đầu ra của giải thuật định vị đã được trình bày trong chương II) đến một vị trí Le (vị trí mà người dùng u cầu được ánh xạ trên bản đồ mơi trường) Theo lý thuyết đồ thị, bản đồ LN = {L1 , L2 , , LN } được khái qt hóa dưới dạng đồ thị trong đó đỉnh là các vị trí Li , cạnh chỉ tồn tại giữa hai vị trí kề cận {Li , Li+1 } Khi đó đường đi... cách học lại các vị trí mới của mơi trường 4.2.2 Điều khiển robot 4.2.2.1 Điều khiển trực tiếp dựa trên đường đi xác định 4.2.2.2 Điều khiển theo dự báo và hiệu chỉnh vị trí của bộ lọc Kalman 19 Bắt đầu Nghe lệnh của người dùng & phân tích lệnh Xác định điểm xuất phát (Kết quả định vị hình ảnh) Đầu vào (Điểm xuất phát & điểm kết thúc) i=0 Xác định đường đi robot Ld = {Lb , Le } Thiết bị vào/ra Tính khoảng... Ảnh mẫu Ik∗ 1 2 3 Phát hiện Đối sánh điểm đặc trưng Đối tượng Xác định vùng chứa đối tượng Ảnh hiện thời Ik Kết quả Hình 3.3 Sơ đồ các bước thực hiện phát hiện vật cản cố định 3.4.2 Phát hiện vật cản động Căn cứ vào kết quả đánh giá, chúng tơi lựa chọn phương pháp sử dụng kết hợp HoGSVM [7] [5] cho trong bài tốn phát hiện người bởi tính phổ dụng và tính hiệu quả của nó trong nhiều ứng dụng Phần dưới đây... nhìn thấy ánh sáng) ở ba mơi trường khác nhau: Trường THCS Nguyễn Đình Chiểu Hà Nội, Thư viện Tạ Quang Bửu và Viện nghiên cứu quốc tế đa phương tiện MICA - Trường Đại học Bách Khoa Hà Nội với các kịch bản dẫn đường từ đơn giản đến phức tạp Ngồi những đóng góp về mặt khoa học, luận án đã áp dụng một số kỹ thuật cơng nghệ nhằm giải quyết các bài tốn truyền thống như: áp dụng giải thuật tìm đường đi ngắn... gian, đơi khi xuất hiện một vị trí mới phải thiết kế và huấn luyện lại người dùng − Đối với việc triển khai trên người dùng: hệ thống mặc định đang hoạt động, người dùng khiếm thị khơng thể tự mình thao tác với hệ thống khi gặp các lỗi ngoại lai như mất điện, các phần mềm cài đặt bị treo hoặc trong một số trường hợp robot khơng đi đúng quỹ đạo HƯỚNG PHÁT TRIỂN Với các kết quả nghiên cứu đã trình bày sẽ