(Luận văn thạc sĩ) ứng dụng xử lý ảnh điều khiển xe lăn điện

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐINH DUY KHÁNH ỨNG DỤNG XỬ LÝ ẢNH ĐIỀU KHIỂN XE LĂN NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S K C0 4 Tp Hồ Chí Minh, tháng 08/2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐINH DUY KHÁNH ỨNG DỤNG XỬ LÝ ẢNH ĐIỀU KHIỂN XE LĂN NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Tp Hồ Chí Minh, tháng 08/2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐINH DUY KHÁNH ỨNG DỤNG XỬ LÝ ẢNH ĐIỀU KHIỂN XE LĂN NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hướng dẫn khoa học: TS NGUYỄN THANH PHƯƠNG Tp Hồ Chí Minh, tháng 08/2014 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƢỢC: Họ & tên: Đinh Duy Khánh Giới tính: Nam Ngày, tháng, năm sinh: 27/06/1984 Nơi sinh: Biên Hoà Quê quán: Xã Tiên Ngoại, Duy Tiên, Hà Nam Dân tộc: Kinh Chỗ riêng địa liên lạc: 109/k1 đường Phan Chu Trinh, Phường Quang Vinh, Biên Hoà, Đồng Nai Điện thoại quan: Điện thoại nhà riêng: 0613941599 Fax: Email:khanhspkt2003@yahoo.com II QUÁ TRÌNH ĐÀO TẠO: Đại học: Hệ đào tạo: Cử Nhân Thời gian đào tạo từ 09/2003 đến 06/ 2008 Nơi học (trường, thành phố): Trường Đại Học Khoa học Tự Nhiên Thành Phố Hồ Chí Minh Ngành học: Vật Lý Điện Tử Tên đồ án, luận án mơn thi tốt nghiệp: Xử lý tín hiệu số Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: 15/06/2008 III Q TRÌNH CƠNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Trung tâm Ứng dụng Tiến Bộ Khoa Học Công nghệ Tỉnh Đồng Nai HVTH: Đinh Duy Khánh Trang Công việc đảm nhiệm Kiểm định viên đo lường Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tp Hồ Chí Minh, ngày 02 tháng năm 2014 Đinh Duy Khánh HVTH: Đinh Duy Khánh Trang Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương LỜI CẢM ƠN Tôi xin chân thành gửi lời cảm ơn đến thầy TS Nguyễn Thanh Phƣơng, người tận tình hướng dẫn giúp đỡ tơi suốt trình thực luận văn Tôi xin chân thành cảm ơn quý thầy cô khoa Điện- Điện Tử trƣờng Đại Học Sƣ Phạm Kỹ Thuật TP.HCM, cán phòng Đào Tạo giúp đỡ tơi nhiều suốt q trình học tập q trình hồn thành luận văn Tôi xin cảm ơn bạn bè đồng nghiệp giúp đỡ, động viên tạo điều kiện để tơi hồn thành luận văn Cuối tơi xin chân thành cảm ơn cha mẹ ngƣời thân bên động viên nhiều để tơi hồn thành khóa học Đinh Duy Khánh HVTH: Đinh Duy Khánh Trang Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương TÓM TẮT Ngày số người bị liệt toàn thể ngày gia tăng nhiều nguyên nhân tai nạn giao thông, nhồi máu tim, ….những người bị liệt khổng thể tự di chuyển được, họ phải phụ thuộc nhiều vào người chăm sóc cảm thấy gánh nặng cho gia đình người thân Nhằm giúp ích người bại liệt cử động tay, chân, chí đầu tự di chuyển xe lăn điện mà không cần hỗ trợ Trong luận văn “ Ứng dụng xử lý ảnh điều khiển xe lăn điện” chúng tơi nghiên cứu xây dựng thuật tốn điều khiển xe lăn điện mắt Trong luận văn webcame đặt cách mắt 10 cm để lấy tồn hình ảnh mắt mà khơng chứa lơng mày Ảnh mắt lưu lại xử lý ảnh để tìm vị trí tâm người vị trí hai hóc mắt Từ đó, tính tốn so sánh khoảng cách hình học vị trí hóc mắt trái, hóc mắt phải đến tâm ngươi, dựa vào đặc tính hình học để xác định hướng nhìn người điều khiển Từ đó, đưa tín hiệu xuống mạch điều khiển thơng qua cáp RS232, mạch điều khiển truyền tín hiệu điều khiển xuống hai động gắn xe lăn để di chuyển theo hướng nhìn người điều khiển HVTH: Đinh Duy Khánh Trang Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương ABSTRACT Nowadays, the number of whole-body paralysis increasing due to many reasons such as traffic accidents, heart attacks, paralysis who can not move themselves, they have to depend heavily on caregivers and felt a burden to family and loved ones In order to help people can not move an arm, leg or even head can move on electric wheelchair without assistance In the thesis "Application of image processing controller electric wheelchair," we study the construction algorithm electric wheelchair controlled by eye During this thesis webcam is placed 10 cm from the eye to be able to get the whole picture eyes that not contain eyebrows Picture saved eyes and image processing to locate the iris center and eye position two coner Since then, calculate the geometric distance comparable positions left eye coner, right eye coner to the iris center , based on geometric features to identify eye-gaze of the driver's Since then, put down the controller signal via RS232 cable, signal control circuitry to control two motors mounted on the wheelchair to move in the direction of eye-gaze HVTH: Đinh Duy Khánh Trang Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương MỤC LỤC Trang LÝ LỊCH KHOA HỌC LỜI CAM ĐOAN LỜI CẢM ƠN TÓM TẮT MỤC LỤC DANH SÁCH CÁC BẢNG 10 DANH SÁCH CÁC HÌNH 11 Chƣơng TỔNG QUAN 15 1.1 Đặt vấn đề 15 1.2 Tổng quan chung tình hình nghiên cứu 15 1.3 Các kết nghiên cứu nước công bố 20 1.4 Nhiệm vụ đề tài phạm vi nghiên cứu 21 1.5 Phương pháp nghiên cứu 21 Chƣơng PHƢƠNG PHÁP XỬ LÝ ẢNH 22 2.1 Tổng quan xử lý ảnh 22 2.1.1 Các khái niệm ảnh 22 2.1.1.1 Điểm ảnh 22 2.1.1.2 Mức xám ảnh 22 2.1.1.3 Độ phân giải ảnh 22 2.1.2 Các cách phân loại ảnh 22 2.1.3 Quan hệ điểm ảnh 23 HVTH: Đinh Duy Khánh Trang Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương 2.1.4 Phân đoạn ảnh 24 2.1.4.1 Phân đoạn ảnh theo ngưỡng 24 2.1.4.2 Phân đoạn ảnh theo nhóm 24 2.1.4.3 Phân loại theo phương pháp loan vùng 25 2.1.4.5 Phân đoạn ảnh dựa biên 25 2.1.4.6 Phân đoạn ảnh dựa vào phân hoạch đồ thị 25 2.1.5 Các phương pháp phát biên 25 2.1.5.1 Cơ sở việc tách biên 25 2.1.5.2 Bộ tách biên Sobel 28 2.1.5.3 Bộ tách biên Canny 30 2.1.5.4 Bộ tách biên Prewitt 32 2.1.5.5 Bộ tách biên Roberts 33 2.1.5.6 Bộ tách biên Laplace hàm Gauss (LoG) 33 2.2 Máy dị góc Harris 34 2.3 Biến đổi Hough (HT – Hough transform) 36 2.3.1 Tổng quan biến đổi Hough 36 2.3.2 Biến đổi Hough cho đường thẳng 37 2.3.3 Biến đổi Hough cho hình trịn 37 2.4 Tạo giao diện người dùng nhờ công cụ Guide Matlap 38 2.5 Toolbox thu ảnh (Image Acquisition Toolbox) 42 2.5.1 Nhiệm vụ Toolbox 42 2.5.2 Các bước thu thập hình ảnh với Toolbox 43 2.5.3 Toolbox xử lý ảnh (Image Processing Toolbox) 46 HVTH: Đinh Duy Khánh Trang Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Hình 5.475 Tâm bán kính mắt nhìn lên Hình 5.486 Tâm bán kính mắt nhìn sang trái HVTH: Đinh Duy Khánh Trang 101 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Hình 5.497 Tâm bán kính mắt nhìn sang phải 5.9 Xác định hƣớng nhìn Xác định hướng nhìn dựa vào khoảng cách hình học gồm bước sau Bước 1: Gán toạ độ A(x1,y1) toạ độ hóc mắt bên trái, B(x2,y2) toạ độ hóc mắt bên phải C (x3,y3) tâm ngươi, M (x4, ,y4) trung điểm AB Bước 2: Tính khoảng cách hình học đoạn AM, BC, AC Bước 3: Nếu AC > AM BC < AM hướng nhìn bên phải Nếu AC < AM BC > AM hướng nhìn bên trái Nếu AC > AM BC > AM (x3 – x4 ) < 100 hướng nhín hướng lên Nếu AC > AM BC > AM [x3 – x4] < - 100 hướng nhín hướng xuống Nếu AC > AM BC > AM -100 < (x3 – x4) < 100 hướng nhín hướng thẳng HVTH: Đinh Duy Khánh Trang 102 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương C A B Hình 5.508 Xác định hướng nhìn phải Hình 5.519 Xác định hướng nhìn trái HVTH: Đinh Duy Khánh Trang 103 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Hình 5.30 Xác định hướng nhìn xuống Hình 5.31 Xác định hướng nhìn lên HVTH: Đinh Duy Khánh Trang 104 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Hình 5.523 Xác định hƣớng nhìn thẳng 5.10 Thiết kế mạch điều khiển xe lăn điện Khi xác định hướng nhìn nhìn trái, nhìn phải, nhìn lên, nhìn xuống hay nhìn thẳng xuất tín hiệu điều khiển xe lăn điện thông qua vi điều khiển 89c51 sau sơ đồ khối mạch điều khiển xe lăn: Xác định hướng nhìn mắt Máy tính Mạch giao tiếp máy tính qua công com Điều khiển động Mạch cầu H Mạch điều khiển Hình 5.34 Sơ đồ khối thiết kế điều khiển xe lăn điện Giải thích sơ đồ: Khi xác định hướng nhìn mắt, hướng nhìn khác máy tinh xuất ký tự điều khiển xuống mạch điều khiển thông qua cơng com, mạch điều khiển có nhiệm vụ xuất tín hiệu để điều khiển mạch cầu H để điều khiển động gắn bánh xe xe lăn HVTH: Đinh Duy Khánh Trang 105 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Trong luận văn sử dụng IC Max232 để kết nối máy tính vi điều khiển 89c51 thơng qua cổng com Tín hiệu điều khiển kết nối với IC L298N thông qua port 1.1 đến port 1.5 vi điều khiển IC L298N gồm mạch cầu H, nên để điều khiển động ta sử dụng IC L298N Sau cấu tạo IC L298N Hình 5.35 Cấu tạo IC L298N Trong hình 5.35 ta thấy chân ENA lên mức cao, ENB xuống mức thấp mạch cầu H bên trái hoạt động với tín hiệu IN1 lên mức cao, IN2 xuống mức thấp OUT1 lên mức cao OUT2 xuống mức thấp điều khiển cho động quay theo chiều thuận, ngược lại IN2 lên mức cao cịn IN1 xuống mức thấp OUT2 lên mức cao, OUT1 xuống mức thấp nên điều khiển cho động quay ngược lại Tương tự ENA xuống mức thấp, ENB lên mức cao mạch cầu H bên phải hoạt động với tín hiệu IN3 lên mức cao, IN4 xuống mức thấp OUT3 lên mức cao OUT4 xuống mức thấp điều khiển cho động quay theo chiều thuận, ngược lại IN4 lên mức cao IN3 xuống mức thấp OUT4 lên mức cao, OUT3 xuống mức thấp nên điều khiển cho động quay ngược lại Sau bảng trạng thái IC L298N HVTH: Đinh Duy Khánh Trang 106 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Bảng 5.1 Bảng trạng thái IC L298N ENA 1 0 ENB 0 1 IN1 0 IN2 0 IN3 0 IN4 0 HVTH: Đinh Duy Khánh Trang 107 OUT1 OUT2 OUT3 OUT4 0 0 0 0 0 0 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Sơ đồ mạch giao tiếp mạch điều khiển Hình 5.36 Sơ đồ mạch giao tiếp điều khiển HVTH: Đinh Duy Khánh Trang 108 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Khi xác định hướng nhìn mắt, xuất ký tự ―a‖ tương ứng với hướng nhìn trái, ký tự ―b‖ tương ứng với hướng nhìn lên, ký tự ―c‖ tương ứng với hướng nhìn xuống, ký tự ―d‖ tương ứng với hướng nhìn qua phải xuống vi điều khiển thơng qua giao tiếp cổng com với vi điều khiển Max 232, sau vi điều khiển 89c51 có nhiệm kiểm tra tín hiệu đầu vào có phải ký tự a,b,c,d hay khơng xuất tín hiệu cổng P1.0, P1.1, P1.2, P1.3 điều khiển xe quẹo trái, phải, đỉ thẳng hay lùi lại thông qua mạch cầu H 5.11 Kết mơ Thuật tốn tìm tâm, bán kính hóc mắt mơ toolbox xử lý ảnh matlap với tỉ lệ thành công thể chi tiết bảng 5.2 minh hoạ hình 5.30, hình 5.31 Bảng 5.2 Bảng kết mơ Hướng nhìn Phải Trái Thẳng Lên Xuống Tổng Số ảnh 115 120 90 80 75 480 Số ảnh 95 100 85 75 50 405 Tỉ lệ 82,60 % 83,83 % 88 % 93,75 % 66,67 % 84,37 % HVTH: Đinh Duy Khánh Trang 109 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Hình 5.37 Xác định tâm bán kính người HVTH: Đinh Duy Khánh Trang 110 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Hình 5.38 Xác định hướng nhìn mắt HVTH: Đinh Duy Khánh Trang 111 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 6.1 Kết luận Luận văn nêu giải pháp để xác định vị trí hai hóc mắt, tâm ngươi, từ đó, xác định hướng nhìn áp dụng để điều khiển xe lăn điện Những phương pháp để điều khiển động gắn xe lăn điện, thi cơng mơ hình thu nhỏ điều khiển động Luận văn phân tích nêu rõ khó khăn hạn chế phương pháp để xác định vị trí hai hóc mắt, tâm người tìm thơng số thực nghiệm cần quan tâm ngưỡng chuyển ảnh màu sang ảnh nhị phân 0,3 bán kính nằm khoảng từ 80 đến 90 mm để tăng tốc độ điều khiển Do mặt thời gian kinh phí nên luận văn dừng lại việc mô phần mềm matlap xây dựng mơ hình điều khiển động nhỏ, chưa thí nghiệm xe lăn thực tế 6.2 Hƣớng phát triển Hướng phát triển luận văn tương lai thiết kế chạy mơ hình thực tế kiểm tra khả xác, đồng thời cải thiện tốc độ điều khiển Có thể mở rộng luận văn áp dụng cho trường hợp webcame đặt xa để điều khiển xe lăn điện HVTH: Đinh Duy Khánh Trang 112 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương TÀI LIỆU THAM KHẢO Anoop.K.J, Inbaezhilan, Sathish raj, Ramaseenivasan, and CholaPandian, Designing and Modeling of Voice Controlled Wheel Chair Incorporated with Home Automation, 2014, IJAREEIE, Vol 3, PP 53-60 Aleksandar Pajkanović and Branko Dokić, Wheelchair Control by Head Motion, 2013, Serbian journal of electrial engineering, Vol 10, No 1, PP 135-151 Masato Nishimori, Takeshi Saitoh and Ryosuke Konishi, Voice Controlled IntelligentWheelchair, SICE Annual Conference, 2007, PP 336-340 Sandesh Pai, Sagar Ayare, Romil Kapadia, Eye Controlled Wheelchair, 2012, International Journal of Scientific & Engineering Research, Vol Ericka Janet Rechy-Ramirez, Huosheng Hu and Klaus McDonald-Maier, Head movements based control of an intelligent wheelchair in an indoor environment, 2012, IEEE, PP 1464-1469 Dr Jens Peter Kaps, TONGUE DRIVE SYSTEM, 2012, A project report on A Yuille, P Hallinan, and D.Cohen, Feature Extraction from Faces Using Deformable Templates, 1992, Int‘1 J.Computer Vision,Vol 8, no.2, pp 99111 C Colombo and A.D Bimbo, Real-time Head Tracking from the Deformation of eye contours using a Piecewise Affine Camera, 1999, Pattern Recognition Letters, Vol.20, No.7, pp 721-730 G.C Feng and P.C Yuen, Variance Projecton Function and Its Application to Eye Detection Human Face Recognition, 1998, Int‘1J.Computer Vision, Vol 19, pp 899-906 10 Z Zheng, J Yang, M Wang and Y Wang, A novel Method for Eye Features Extraction, 2005, Lecture Notes in Computer Science, Vol 3314, pp 10021007 11 C Xu, Y Zheng and Z Wang ― Semantic feature extraction of accurate eye corner detection,‖ , 2008, Pattern Recognition, ICPR 2008, pp 1-4 12 Huỳnh Thái Hoàng, Nguyễn Hữu Cương, ―Eye-Gaze Detection with a Single WebCAM Based on Geometry Features Extraction‖, 2011, Int Conf Control, Automation, Robotics and Vision, pp 2057-2512 13 Jian-Gang Wang and Eric Sung, Study on Eye Gaze Estimation, 2002, IEEE transactions on systems, man, and cybernetics—part b: cybernetics, vol 32,pp 332-350 14 Jaroslav Borovicka, Circle Detection Using Hough Transforms, 2003, pp 28 15 Kaushal Kumar Dhruw and Aswin Kumar Tigga, Eye detection using varient of Hough transform, 2009, National Institute of Technology Rourkela, PP 98 HVTH: Đinh Duy Khánh Trang 113 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương 16 Kohei Arai and Ronny Mardiyanto, Eyes Based Eletric Wheel Chair Control System, 2011, International Journal of Advanced Computer Science and Applications, Vol 2, No 12, 17 Kyung-Nam Kim and R S Ramakrishna, Vision-Based Eye-Gaze Tracking for Human Computer Interface, 1999, Department of Information and Communications Kwangju Institute of Science and Technology, IEEE, pp 324-329 HVTH: Đinh Duy Khánh Trang 114 S K L 0 ... đầu tự di chuyển xe lăn điện mà không cần hỗ trợ Trong luận văn “ Ứng dụng xử lý ảnh điều khiển xe lăn điện? ?? nghiên cứu xây dựng thuật toán điều khiển xe lăn điện mắt Trong luận văn webcame đặt... LUẬN VĂN THẠC SĨ ĐINH DUY KHÁNH ỨNG DỤNG XỬ LÝ ẢNH ĐIỀU KHIỂN XE LĂN NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hướng dẫn khoa học: TS NGUYỄN THANH PHƯƠNG Tp Hồ Chí Minh, tháng 08/2014 Ứng dụng xử lý ảnh điều. .. nghiên cứu xe lăn điện thông minh giúp cho người khuyết tật HVTH: Đinh Duy Khánh Trang 15 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương điều khiển xe lăn điện mà không