Dò tìm vật mốc để điều khiển xe lăn điện đến đích dùng stereo camera

v MC LC Trang tựa Trang Quyết định giao đề tài Lý lịch cá nhân i Lời cam đoan ii Lời cảm ơn iii Tóm tắt iv Mục lục v Danh sách các chữ viết tắt viii Danh sách các bảng ix Danh sách các hình x Chương 1: Tổng quan 01 1.1 Tổng quan về lĩnh vực nghiên cứu 01 1.2 Các kết quả nghiên cứu trong và ngoài nước đã công bố …. 02 1.3 Mục tiêu của đề tài… 04 1.4 Giới hạn đề tài… 04 1.5 Phương pháp nghiên cứu… 04 Chương 2: Cơ s lý thuyt 06 2.1 Thị giác máy tính 06 2.1.1 Giới thiệu 06 2.1.2 Hệ thống thị giác máy tính 07 2.1.3 Lĩnh vực ứng dụng của thị giác máy tính 08 2.2 Không gian màu RGB và phương pháp nhận dạng màu sắc sử dụng không gian màu RGB 08 2.2.1 Không gian màu RGB… 08 2.2.2 Phương pháp nhận dạng màu sắc sử dụng không gian màu RGB… 09 2.3 Không gian màu HSV và phương pháp nhận dạng màu sắc sử dụng không gian màu HSV 11 vi 2.3.1 Không gian màu HSV… 11 2.3.2 Phương pháp nhận dạng màu sắc sử dụng không gian màu HSV… 12 2.4 Các phương pháp nhận dạng vật thể 15 2.4.1 Phương pháp so khớp đặc điểm hình học 15 2.4.2 Phương pháp nhận dạng dựa trên diện mạo 15 2.4.3 Phương pháp nhận dạng dựa trên đặc điểm cục bộ 16 2.5 Tầm nhìn lập thể… 18 2.5.1 Mô hình Camera… 19 2.5.2 Hệ thống Stereo camera… 20 2.5.3 Hình học Epipolar… 21 2.6 Các tính toán cho ảnh 3D… 22 2.6.1 Block matching… 22 2.6.2 nh trái và ảnh phải… 23 2.6.3 Tính toán Stereo Disparity… 24 2.6.4 Tính toán độ sâu của ảnh 3D… 26 2.7 Thư viện OpenCV… 26 Chương 3: Phương pháp nhn dng vt mốc … 28 3.1 Phương pháp SURF nhận dạng vật mốc 28 3.1.1 Phát hiện điểm nổi bật 29 3.1.2 Bộ mô tả đặc điểm… 30 3.1.3 So khớp các bộ mô tả… 32 3.2 Thuật toán Homography… 34 3.3 Phương pháp xác định tâm vật mốc… 37 Chương 4: Tính toán điều khiển xe lăn đin… 38 4.1 Phương pháp tính toán khoảng cách và góc lệch 38 4.1.1 Tính toán khoảng cách… 38 4.1.2 Tính toán góc lệch… 39 4.2 Xây dựng bản đồ khoảng cách 2D về môi trường… 40 4.3 Thuật toán điều khiển xe lăn bám vật mốc… 42 4.3.1 Tính toán sự di chuyển của xe lăn khi không có vật cản… 42 vii 4.3.2 Tính toán sự di chuyển của xe lăn khi có vật cản… 46 4.3.2.1 Phát hiện vật cản và khoảng trống… 46 4.3.2.2 Tính toán tránh vật cản… 46 Chương 5: Mô hình xe lăn đin và kt qu thực nghim 51 5.1 Mô hình xe lăn điện… 51 5.2 Kết quả thực nghiệm… 54 5.2.1 Kết quả nhận dạng vật mốc… 54 5.2.2 Các tình huống thực hiện… 55 5.2.2.1 Xe lăn di chuyển trên đường đi không có vật cản… 56 5.2.2.2 Xe lăn di chuyển trên đường đi có vật cản… 57 Chương 6: Kt lun 62 6.1 Kết quả đạt được… 62 6.2 Hạn chế của đề tài… 62 6.3 Hướng phát triển của đề tài… 62 Tài liu tham kho 63 Phụ lục… 66 viii DANH SÁCH CÁC CH VIT TT AC Alternating Current BCI Brain – Computer Interface DC Direct Current DLL Dynamic Link Library EERUF Error Eliminating Rapid Ultrasonic Firing GPS Global Positioning System GPIO General - Purpose Input/Output HSV Hue – Saturation - Value LCD Liquid Crystal Display PCA Principal component analysis RGB Red – Green - Blue SAD Sum of Absolute Differences SVD Singular Value Decomposition SURF Speeded Up Robust Features VFH Vector Field Histogram VFF Virtual Force Field 3D Three - Dimensional 2D Two - Dimensional ix DANH SÁCH CÁC BNG BNG TRANG Bng 2.1 Bảng phân tích các màu thành phần RGB của một số màu cơ bản… 10 Bng 2.2 Mô tả một số thuật toán riêng biệt của thành phần CvAux… 27 Bng 5.1 Các giá trị của tín hiệu điều khiển xe lăn điện 54 x DANH SÁCH CÁC HÌNH HÌNH TRANG Hình 1.1 Sơ đồ khối biểu diễn quá trình thu thập dữ liệu từ stereo camera và xác định các thông số cho việc điều khiển xe lăn điện 03 Hình 2.1 Sự pha trộn màu sắc trong không gian màu RGB… 09 Hình 2.2 nh cần nhận dạng màu đỏ… 10 Hình 2.3 Nhận dạng màu đỏ với m = 20… 10 Hình 2.4 Không gian màu HSV… 11 Hình 2.5 Bố trí các màu cơ bản theo góc tọa độ… 12 Hình 2.6 Nhận dạng màu đỏ sử dụng không gian màu HSV… 13 Hình 2.7 Kết quả nhận dạng và giới hạn ngưỡng so sánh… 14 Hình 2.8 nh trái và phải chụp từ stereo camera … 19 Hình 2.9 Mặt phẳng hình ảnh ở phía sau của tâm C của camera … 19 Hình 2.10 Mô hình ảnh pinhole với mặt phẳng ảnh ở phía trước tâm camera C 20 Hình 2.11 “Bumblebee” stereo camera… 21 Hình 2.12 Kích thước của "Bumblebee" stereo camera… 21 Hình 2.13 Hình học Epipolar của mặt phẳng ảnh trái I L và phải I R … 22 Hình 2.14 Mối tương quan của hai cửa sổ 3×3 dọc theo các đường epipolar tương ứng để tìm kiếm các vùng so khớp tốt nhất… 23 Hình 2.15 nh trái và ảnh phải với 2 điểm A và B… 24 Hình 2.16 Bản đồ sự sai biệt stereo dựa trên ảnh trái và ảnh phải trong hình 2.15… 25 Hình 2.17 Tính toán độ sâu Z sử dụng tam giác đồng dạng… 26 Hình 2.18 Cấu trúc cơ bản của OpenCV… 27 Hình 3.1 Thuật toán SURF… 28 Hình 3.2 Cách tính Integral Image của ảnh… 29 Hình 3.3 Cách tính nhanh các giá trị mức xám của vùng D trên ảnh… 30 Hình 3.4 Vòng tròn bán kính 6s chứa các điểm lân cận… 31 xi Hình 3.5 Bộ lọc Haar Wavelet theo trục x và y tương ứng … 31 Hình 3.6 Mô tả các đáp ứng trong ảnh … 32 Hình 3.7 So sánh các điểm nổi bật để nhận dạng hình mẫu… 33 Hình 3.8 So sánh các điểm nổi bật để nhận dạng hình mẫu… 34 Hình 3.9 Mô tả phép ánh xạ giữa hai mặt phẳng ảnh 1 và ảnh 2 thông qua chuyển đổi Homography… 35 Hình 3.10 Xác định tọa độ tâm vật mốc O trong ảnh chụp từ camera… 37 Hình 4.1 nh trái và ảnh phải với hai tâm vật mốc O left , O right … 38 Hình 4.2 nh Disparity với tâm O… 39 Hình 4.3 Biểu diễn vật mốc trong miền tọa độ (XOZ)… 39 Hình 4.4 Bản đồ điểm 3D được lấy từ stereo camera… 40 Hình 4.5 Mô tả việc chuyển đổi bản đồ điểm 3D sang bản đồ 2D với độ cao Y jmin được định trước… 41 Hình 4.6 Bản đồ khoảng cách 2D theo trục X và trục Z được xây dựng từ bản đồ điểm 3D hình 4.4 42 Hình 4.7 Định vị xe lăn dựa vào vật mốc… 43 Hình 4.8 Trường hợp xe lăn ở bên trái của đường đi… 44 Hình 4.9 Các thông số mô tả cho việc di chuyển của xe lăn trong trường hợp 2 44 Hình 4.10 Trường hợp xe lăn ở bên phải của đường đi … 45 Hình 4.11 Các thông số mô tả cho việc di chuyển của xe lăn trong trường hợp 3… 45 Hình 4.12 Lưu đồ điều khiển xe lăn tránh vật cản… 47 Hình 4.13 Mô tả vật cản trên đường di chuyển của xe lăn… 47 Hình 4.14 Xe lăn di chuyển về khoảng trống bên phải và tránh vật cản … 48 Hình 4.15 Xe lăn di chuyển về khoảng trống bên trái và tránh vật cản … 49 Hình 5.1. Mô hình xe lăn điện… 51 Hình 5.2 Các thiết bị cần thiết trong một chiếc xe lăn di động… 52 Hình 5.3 Sơ đồ khối mô tả hoạt động của hệ thống xe lăn điện … 53 Hình 5.4 Biểu đồ so sánh khả năng nhận dạng vật mốc với góc lệch và khoảng cách giữa vật mốc và camera khác nhau… 54 Hình 5.5 Kết quả nhận dạng vật mốc: số 2 ở hình (a) và số 3 ở hình (b)… 55 xii Hình 5.6 Kết quả nhận dạng vật mốc: số 4 ở hình (a) và số 5 ở hình (b)… 55 Hình 5.7 Xe lăn nhận biết phía trước là vùng trống thông qua bản đồ 2D… 56 Hình 5.8 Xe lăn bám theo vật mốc để di chuyển ở giữa đường… 56 Hình 5.9 Xe lăn dừng lại khi đi đến vị trí vật mốc thứ 5 (điểm đích)… 57 Hình 5.10 Xe lăn phát hiện vật cản và các khoảng trống dựa vào bản đồ 2D… 57 Hình 5.11 Xe lăn phát hiện khoảng trống bên phải và di chuyển vượt qua vật cản… 58 Hình 5.12 Xe lăn phát hiện vật cản và các khoảng trống dựa vào bản đồ 2D… 59 Hình 5.13 Xe lăn phát hiện khoảng trống bên trái và di chuyển vượt qua vật cản… 60 Hình 5.14 Xe lăn dừng lại khi đi đến vị trí vật mốc thứ 5 (điểm đích)… 60  - 1 - Chương 1. TNG QUAN 1.1 Tổng quan chung về lĩnh vực nghiên cứu Xe lăn là phương tiện chủ yếu để người khuyết tật có thể di chuyển đến nơi mà mình mong muốn. Ngoài loại xe lăn cổ điển thì sự xuất hiện của loại xe lăn có trang bị động cơ đã giúp cho người sử dụng giảm được nhiều sự vận động. Cùng với sự phát triển của khoa học kỹ thuật, xe lăn cũng đã có nhiều phát triển. Đã có nhiều nghiên cứu nhằm tìm ra các phương thức điều khiển xe lăn áp dụng cho từng đối tượng người khuyết tật khác nhau. Xe lăn điện được trang bị các thiết bị công nghệ cao có thể giúp cho người khuyết tật di chuyển mà không cần sự trợ giúp. Đơn giản nhất là xe lăn điện được trang bị Joystick (một cần điều khiển) mà người sử dụng có thể điều khiển hướng di chuyển của xe lăn theo ý muốn của mình. Để hỗ trợ tốt hơn cho người khuyết tật, đã có nhiều hướng nghiên cứu điều khiển xe lăn điện dựa vào các hành vi của người sử dụng. Jin Sun Ju và các cộng sự đã sử dụng một camera nhận dạng các cử chỉ trên khuôn mặt của người sử dụng để điều khiển xe lăn đi thẳng, đi lùi, rẽ trái, rẽ phải [1]. Cũng sử dụng camera nhận dạng cử chỉ còn có nghiên cứu của Y. Zhang và các cộng sự [2]. Y. Zhang đã dùng camera để nhận dạng các cử chỉ của bàn tay để điều khiển hướng đi cho xe lăn điện. Ngoài ra, người khuyết tật có thể điều khiển xe lăn bằng cách giao tiếp tín hiệu não với máy tính (BCI) [3-5]. Tuy nhiên, trong một số trường hợp đặc biệt, khi mà khả năng vận động của người khuyết tật bị hạn chế hay nói cách khác là người khuyết tật không thể tự điều khiển được xe lăn theo ý muốn, xe lăn cần được điều khiển tự động. Chế độ tự động của xe lăn đồng nghĩa với việc xe lăn phải tự di chuyển đến đúng nơi mà người sử dụng mong muốn, đồng thời phải tránh được những vật cản trên đường đi. Trong những năm gần đây, đã có nhiều phương pháp được áp dụng để xe lăn tự hành như di chuyển theo đường đi đã được vạch sẵn [6], di chuyển theo tọa độ  - 2 - sử dụng định vị GPS và bộ lọc Kalman [7], sử dụng các cảm biến để định vị và điều khiển xe lăn [8-12]… Trong quá khứ cảm biến siêu âm và tia laser được lựa chọn cho các ứng dụng. Trong nhiều nghiên cứu, Johann Borenstein, Yoram Koren và các cộng sự đã sử dụng cảm biến siêu âm với nhiều phương pháp để điều khiển xe lăn điện thông minh tránh vật cản [13, 14], chẳng hạn như phương pháp loại bỏ nhanh các sai số của việc phát sóng siêu âm (EERUF), phương pháp biểu đồ trường véc tơ (VFH), phương pháp trường cưỡng bức ảo (VFF). Tuy nhiên khi lĩnh vực thị giác máy tính phát triển, nó trở thành một tiềm năng lớn. Camera ngày càng được sư ̉ dụng nhiều do khả năng cung cấp thông tin về môi trường chính xác hơn các loại cảm biến như siêu âm, tia laser. Camera có thể cung cấp các thông tin về màu sắc, thông tin 3D về môi trường trong khi các cảm biến như siêu âm, tia laser chỉ cung cấp thông tin 2D. Nhóm Don Murray đến từ Khoa khoa học máy tính trường đại học British Columbia [15] và nhóm của Nguyễn Thanh Hải [16] đã sử dụng camera với các thuật toán áp dụng vào việc phát hiện vật cản, tìm khoảng trống để xe lăn điện vượt qua vật cản. Hệ thống này có thể giúp người sử dụng cảm thấy an toàn hơn khi di chuyển trong khu vực có nhiều chướng ngại vật. Sự kết hợp giữa thuật toán phát hiện vật cản, tìm khoảng trống và định vị cho xe lăn bằng các vật mốc sử dụng camera mở ra một hướng nghiên cứu mới. Nhận dạng vật mốc cho xe lăn tự hành [17] được thực hiện để phát hiện và phân biệt các vật mốc trên đường đi của xe lăn, từ đó áp dụng vào việc xác định vị trí hiện tại của xe lăn trong quá trình di chuyển. Alcantarilla và các cộng sự đề xuất phương pháp mạnh mẽ và nhanh chóng định vị cho xe lăn dựa vào thị giác máy tính, trong đó các đặc trưng của hình ảnh được trích xuất, kết hợp với các thành phần bản đồ để đưa ra vị trí hiện tại của robot tự hành [18, 19]. Với các thuật toán này, xe lăn có thể tự động điều hướng, dọc theo đường đi từ vị trí bắt đầu đến vị trí đích. Sự kết hợp của một chiếc xe lăn điện và hệ thống stereo camera cho phép xe lăn di chuyển trong môi trường trong nhà linh hoạt hơn. Với hệ thống camera, xe lăn có thể xác định vật mốc và di chuyển dọc theo lối đi. Trong quá trình di [...]... thu thập dữ liệu từ stereo camera và xác định các thông số cho việc điều khiển xe lăn điện Với những ưu điểm của việc sử dụng camera cho xe lăn điện tự hành, để tài “ Dò tìm vật mốc để điều khiển xe lăn điện đến đích dùng Stereo camera được lựa chọn để nghiên cứu Stereo camera với "hai mắt" là một bộ phận của hệ thống xe lăn thông minh, cung cấp hình ảnh stereo Từ những hình ảnh stereo, hệ thống này...Chương 1: Tổng quan chuyển của xe lăn, khoảng cách và góc lệch giữa vật mốc và xe lăn được tính toán để đưa ra quyết định cho di chuyển của xe lăn như hình 1.1 nh vật mốc lấy từ Stereo camera Dữ liệu ảnh vật mốc lấy từ máy tính Nhận dạng vật mốc Tính toán tọa độ vật mốc từ ảnh chụp camera Xác định khoảng cách và góc lệch giữa xe lăn và vật mốc Tính toán điều khiển xe lăn Hình 1.1 Sơ đồ khối biểu diễn... Sydney  Xe lăn điều khiển bằng nhịp thở - Viện nghiên cứu Khoa học Weizman, Rehovot, Israel 1.3 Mục tiêu của đề tài Mục tiêu của đề tài là nhận dạng và dò tìm các vật mốc trong môi trường đã định sẵn sử dụng Stereo camera, từ đó xây dựng thuật toán điều khiển cho xe lăn điện đi đến đích theo yêu cầu của người sử dụng Trong quá trình di chuyển, xe lăn có khả năng phát hiện và tránh vật cản Việc tìm đường... và tránh vật cản Việc tìm đường và đích đến dựa vào các vật mốc được sắp đặt trên đường đi, kết hợp với thông tin 3D về vật mốc được cho bởi Stereo camera để tính toán vị trí vật mốc, từ đó xác định vị trí của xe lăn điện trên đường đi 1.4 Giới h n đề tài Môi trường thực hiện đề tài là môi trường trong nhà với điều kiện ánh sáng tốt Loại vật mốc và số lượng đích cần tìm chưa nhiều Các thí nghiệm được... chướng ngại vật và vùng trống bởi các thuật toán, sau đó chiếc xe lăn có thể tránh va chạm và đi qua vùng trống Thuật toán nhận dạng vật mốc SURF được áp dụng để phát hiện và phân biệt các vật mốc Các phép chiếu hình học và các công thức lượng giác được sử dụng để tính toán các thông số, phục vụ cho việc định vị cho xe lăn Xe lăn có thể di chuyển từ điểm xuất phát cho đến đích và tránh vật cản trên... Chương 1: Tổng quan các thuật toán nhận dạng vật mốc, phát hiện vật cản và khoảng trống để điều khiển xe lăn điện Bên cạnh đó, một xe lăn điện với hệ thống Stereo camera được sử dụng để tiến hành thực nghiệm trong môi trường trong nhà  Phương pháp đánh giá kết quả: so sánh kết quả thực nghiệm trong môi trường thực với các thông số tính toán của thuật toán để đưa ra mức độ chính xác của thuật toán -5-... cứu trong và ngoài nước: -3- Chương 1: Tổng quan  Xe lăn điện điều khiển bằng hướng nhìn (cử động mắt) - Nguyễn Hữu Cường (Bộ môn tự động hóa, khoa công nghệ Trường ĐH Cần Thơ), người từng đoạt giải nhất “Tuổi trẻ và tự động hóa” năm 2003, do Hội Tự động hóa VN tổ chức  Xe lăn điện điều khiển bằng nét mặt - Aachen, Đức  Xe lăn thông minh Aviator điều khiển bằng suy nghĩ - GS Nguyễn Tấn Hùng, Trưởng... và video Tìm khung của vật Tìm đường thẳng trung tâm của một vùng trong vật có thể đại diện cho vật đó 3D tracking Thuật toán tìm kiếm và bám theo vật mốc dựa vào thuật toán stereo vision Bảng 2.2 Mô tả một số thuật toán riêng biệt của thành phần CvAux - 27 - Chương 3: Phương pháp nhận dạng vật mốc Chương 3 PH NG PHÁP NH N D NG V T M C Chương 3 trình bày phương pháp cụ thể để nhận dạng vật mốc và xác... phía trước tâm camera C 2.5.2 H thống Stereo camera Hệ thống stereo camera có hai camera được sắp xếp đối xứng tuyệt đối Stereoscopic Camera cung cấp ảnh trái và ảnh phải về môi trường - 20 - Chương 2: Cơ sở lí thuyết Hình 2.11 “Bumblebee” stereo camera Hệ thống camera có 2 cổng kết nối với máy tính: kết nối 12 PIN GPIO và kết nối IEEE 1394A Hình 2.12 Kích thước của "Bumblebee" stereo camera 2.5.3 Hình... phương pháp cụ thể để nhận dạng vật mốc và xác đinh tâm vật mốc trong ảnh chụp từ camera Đây là cơ sở cho việc tính toán các thông số khoảnh cách của vật mốc trong môi trường thực, phục vụ cho việc tính toán điều khiển xe lăn điện trong chương sau 3.1 Phương pháp SURF nh n d ng v t mốc Herbert Bay và các cộng sự đề xuất phương pháp SURF [24] để xác định các đặc trưng của ảnh Phương pháp này gồm có . điểm của việc sử dụng camera cho xe lăn điện tự hành, để tài “ Dò tìm vật mốc để điều khiển xe lăn điện đến đích dùng Stereo camera được lựa chọn để nghiên cứu. Stereo camera với "hai. nh vật mốc lấy từ Stereo camera Dữ liệu ảnh vật mốc lấy từ máy tính Nhận dạng vật mốc Tính toán tọa độ vật mốc từ ảnh chụp camera Xác định khoảng cách và góc lệch giữa xe lăn và vật mốc Tính. các thuật toán nhận dạng vật mốc, phát hiện vật cản và khoảng trống để điều khiển xe lăn điện. Bên cạnh đó, một xe lăn điện với hệ thống Stereo camera được sử dụng để tiến hành thực nghiệm