(Luận văn thạc sĩ) ứng dụng xử lý ảnh điều khiển xe lăn điện

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐINH DUY KHÁNH ỨNG DỤNG XỬ LÝ ẢNH ĐIỀU KHIỂN XE LĂN NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S K C0 4 Tp Hồ Chí Minh, tháng 08/2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐINH DUY KHÁNH ỨNG DỤNG XỬ LÝ ẢNH ĐIỀU KHIỂN XE LĂN NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Tp Hồ Chí Minh, tháng 08/2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐINH DUY KHÁNH ỨNG DỤNG XỬ LÝ ẢNH ĐIỀU KHIỂN XE LĂN NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hướng dẫn khoa học: TS NGUYỄN THANH PHƯƠNG Tp Hồ Chí Minh, tháng 08/2014 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƢỢC: Họ & tên: Đinh Duy Khánh Giới tính: Nam Ngày, tháng, năm sinh: 27/06/1984 Nơi sinh: Biên Hoà Quê quán: Xã Tiên Ngoại, Duy Tiên, Hà Nam Dân tộc: Kinh Chỗ riêng địa liên lạc: 109/k1 đường Phan Chu Trinh, Phường Quang Vinh, Biên Hoà, Đồng Nai Điện thoại quan: Điện thoại nhà riêng: 0613941599 Fax: Email:khanhspkt2003@yahoo.com II QUÁ TRÌNH ĐÀO TẠO: Đại học: Hệ đào tạo: Cử Nhân Thời gian đào tạo từ 09/2003 đến 06/ 2008 Nơi học (trường, thành phố): Trường Đại Học Khoa học Tự Nhiên Thành Phố Hồ Chí Minh Ngành học: Vật Lý Điện Tử Tên đồ án, luận án mơn thi tốt nghiệp: Xử lý tín hiệu số Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: 15/06/2008 III Q TRÌNH CƠNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Trung tâm Ứng dụng Tiến Bộ Khoa Học Công nghệ Tỉnh Đồng Nai HVTH: Đinh Duy Khánh Trang Công việc đảm nhiệm Kiểm định viên đo lường Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tp Hồ Chí Minh, ngày 02 tháng năm 2014 Đinh Duy Khánh HVTH: Đinh Duy Khánh Trang Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương LỜI CẢM ƠN Tôi xin chân thành gửi lời cảm ơn đến thầy TS Nguyễn Thanh Phƣơng, người tận tình hướng dẫn giúp đỡ tơi suốt trình thực luận văn Tôi xin chân thành cảm ơn quý thầy cô khoa Điện- Điện Tử trƣờng Đại Học Sƣ Phạm Kỹ Thuật TP.HCM, cán phòng Đào Tạo giúp đỡ tơi nhiều suốt q trình học tập q trình hồn thành luận văn Tôi xin cảm ơn bạn bè đồng nghiệp giúp đỡ, động viên tạo điều kiện để tơi hồn thành luận văn Cuối tơi xin chân thành cảm ơn cha mẹ ngƣời thân bên động viên nhiều để tơi hồn thành khóa học Đinh Duy Khánh HVTH: Đinh Duy Khánh Trang Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương MỤC LỤC Trang LÝ LỊCH KHOA HỌC LỜI CAM ĐOAN LỜI CẢM ƠN TÓM TẮT MỤC LỤC DANH SÁCH CÁC BẢNG 10 DANH SÁCH CÁC HÌNH 11 Chƣơng TỔNG QUAN 15 1.1 Đặt vấn đề 15 1.2 Tổng quan chung tình hình nghiên cứu 15 1.3 Các kết nghiên cứu nước công bố 20 1.4 Nhiệm vụ đề tài phạm vi nghiên cứu 21 1.5 Phương pháp nghiên cứu 21 Chƣơng PHƢƠNG PHÁP XỬ LÝ ẢNH 22 2.1 Tổng quan xử lý ảnh 22 2.1.1 Các khái niệm ảnh 22 2.1.1.1 Điểm ảnh 22 2.1.1.2 Mức xám ảnh 22 2.1.1.3 Độ phân giải ảnh 22 2.1.2 Các cách phân loại ảnh 22 2.1.3 Quan hệ điểm ảnh 23 HVTH: Đinh Duy Khánh Trang Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương 2.1.4 Phân đoạn ảnh 24 2.1.4.1 Phân đoạn ảnh theo ngưỡng 24 2.1.4.2 Phân đoạn ảnh theo nhóm 24 2.1.4.3 Phân loại theo phương pháp loan vùng 25 2.1.4.5 Phân đoạn ảnh dựa biên 25 2.1.4.6 Phân đoạn ảnh dựa vào phân hoạch đồ thị 25 2.1.5 Các phương pháp phát biên 25 2.1.5.1 Cơ sở việc tách biên 25 2.1.5.2 Bộ tách biên Sobel 28 2.1.5.3 Bộ tách biên Canny 30 2.1.5.4 Bộ tách biên Prewitt 32 2.1.5.5 Bộ tách biên Roberts 33 2.1.5.6 Bộ tách biên Laplace hàm Gauss (LoG) 33 2.2 Máy dị góc Harris 34 2.3 Biến đổi Hough (HT – Hough transform) 36 2.3.1 Tổng quan biến đổi Hough 36 2.3.2 Biến đổi Hough cho đường thẳng 37 2.3.3 Biến đổi Hough cho hình trịn 37 2.4 Tạo giao diện người dùng nhờ công cụ Guide Matlap 38 2.5 Toolbox thu ảnh (Image Acquisition Toolbox) 42 2.5.1 Nhiệm vụ Toolbox 42 2.5.2 Các bước thu thập hình ảnh với Toolbox 43 2.5.3 Toolbox xử lý ảnh (Image Processing Toolbox) 46 HVTH: Đinh Duy Khánh Trang Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương 2.5.4 Các hàm xử lý ảnh MATLAB 47 2.5.4.1 Đổi màu loại ảnh 47 2.5.4.2 Xử lý hình học 48 2.5.4.3 Lọc nhiễu 48 2.5.4.4 Phân tích ảnh 48 2.5.4.4 Biến đổi ảnh 48 Chƣơng GIỚI THIỆU VỀ CHUẨN NỐI TIẾP RS232 50 3.1 Chuẩn nối tiếp RS232 50 3.1.1 Vài nét chuẩn nối tiếp RS232C 50 3.1.2 Ưu điểm nhược điểm chuẩn nối tiếp RS232 50 3.2 Chuẩn nối tiếp RS232C 51 3.2.1 Vài nét chuẩn nối tiếp RS232C 51 3.2.2.Đặc điểm chuẩn nối tiếp RS232C 53 3.2.2.1 Đặc điểm kỹ thuật điệm chuẩn nối tiếp RS232C 53 3.2.2.2.Cổng nối tiếp RS232C máy tính 55 3.3 Nguyên lý hoạt động chuẩn nối tiếp RS232C 59 3.3.1 Nguyên lý hoạt động 59 3.4 Sơ đồ ghép chân chuẩn nối tiếp RS232C 62 3.4.1 mạch chuẩn giao tiếp RS 232 dùng IC MAX 232 62 3.4.2 Mạch chuẩn giao tiếp RS232 dùng DS275 63 3.4.3 Mạch chuẩn giao tiếp RS232 dùng transitor 64 Chƣơng MẠCH CẦU H 65 4.1 Mạch cầu H (H-Bridge Circuit) 65 HVTH: Đinh Duy Khánh Trang Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương 4.2 Mạch cầu H dùng Rờ le (Relay) 67 4.3 Mạch cầu H dùng BJT công suất 70 4.4 Mạch cầu H dùng MOSFET 77 Chƣơng XÂY DỰNG THUẬT TOÁN ỨNG DỤNG ĐIỀU KHIỂN XE LĂN ĐIỆN 81 5.1 Khảo sát phương pháp xác định hướng nhìn 81 5.2 Lưu đồ thuật toán điều khiển xe lăn điện 83 5.3 Giải thích lưu đồ 84 5.4 Tính tốn khoảng cách từ webcame đến mắt 84 5.5 Tìm ngưỡng 88 5.6 Phát vị trí hốc mắt 91 5.7 Tìm biên mắt 95 5.8 Tìm tâm 95 5.9 Xác định hướng nhìn 102 5.10 Thiết kế mạch điều khiển xe lăn điện 105 5.11 Kết mô 109 Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 112 6.1 Kết luận 112 6.2 Hướng phát triển 112 TÀI LIỆU THAM KHẢO 113 HVTH: Đinh Duy Khánh Trang Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Hình 5.475 Tâm bán kính mắt nhìn lên Hình 5.486 Tâm bán kính mắt nhìn sang trái HVTH: Đinh Duy Khánh Trang 101 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Hình 5.497 Tâm bán kính mắt nhìn sang phải 5.9 Xác định hƣớng nhìn Xác định hướng nhìn dựa vào khoảng cách hình học gồm bước sau Bước 1: Gán toạ độ A(x1,y1) toạ độ hóc mắt bên trái, B(x2,y2) toạ độ hóc mắt bên phải C (x3,y3) tâm ngươi, M (x4, ,y4) trung điểm AB Bước 2: Tính khoảng cách hình học đoạn AM, BC, AC Bước 3: Nếu AC > AM BC < AM hướng nhìn bên phải Nếu AC < AM BC > AM hướng nhìn bên trái Nếu AC > AM BC > AM (x3 – x4 ) < 100 hướng nhín hướng lên Nếu AC > AM BC > AM [x3 – x4] < - 100 hướng nhín hướng xuống Nếu AC > AM BC > AM -100 < (x3 – x4) < 100 hướng nhín hướng thẳng HVTH: Đinh Duy Khánh Trang 102 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương C A B Hình 5.508 Xác định hướng nhìn phải Hình 5.519 Xác định hướng nhìn trái HVTH: Đinh Duy Khánh Trang 103 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Hình 5.30 Xác định hướng nhìn xuống Hình 5.31 Xác định hướng nhìn lên HVTH: Đinh Duy Khánh Trang 104 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Hình 5.523 Xác định hƣớng nhìn thẳng 5.10 Thiết kế mạch điều khiển xe lăn điện Khi xác định hướng nhìn nhìn trái, nhìn phải, nhìn lên, nhìn xuống hay nhìn thẳng xuất tín hiệu điều khiển xe lăn điện thông qua vi điều khiển 89c51 sau sơ đồ khối mạch điều khiển xe lăn: Xác định hướng nhìn mắt Máy tính Mạch giao tiếp máy tính qua cơng com Điều khiển động Mạch cầu H Mạch điều khiển Hình 5.34 Sơ đồ khối thiết kế điều khiển xe lăn điện Giải thích sơ đồ: Khi xác định hướng nhìn mắt, hướng nhìn khác máy tinh xuất ký tự điều khiển xuống mạch điều khiển thơng qua cơng com, mạch điều khiển có nhiệm vụ xuất tín hiệu để điều khiển mạch cầu H để điều khiển động gắn bánh xe xe lăn HVTH: Đinh Duy Khánh Trang 105 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Trong luận văn sử dụng IC Max232 để kết nối máy tính vi điều khiển 89c51 thơng qua cổng com Tín hiệu điều khiển kết nối với IC L298N thông qua port 1.1 đến port 1.5 vi điều khiển IC L298N gồm mạch cầu H, nên để điều khiển động ta sử dụng IC L298N Sau cấu tạo IC L298N Hình 5.35 Cấu tạo IC L298N Trong hình 5.35 ta thấy chân ENA lên mức cao, ENB xuống mức thấp mạch cầu H bên trái hoạt động với tín hiệu IN1 lên mức cao, IN2 xuống mức thấp OUT1 lên mức cao OUT2 xuống mức thấp điều khiển cho động quay theo chiều thuận, ngược lại IN2 lên mức cao IN1 xuống mức thấp OUT2 lên mức cao, OUT1 xuống mức thấp nên điều khiển cho động quay ngược lại Tương tự ENA xuống mức thấp, ENB lên mức cao mạch cầu H bên phải hoạt động với tín hiệu IN3 lên mức cao, IN4 xuống mức thấp OUT3 lên mức cao OUT4 xuống mức thấp điều khiển cho động quay theo chiều thuận, ngược lại IN4 lên mức cao IN3 xuống mức thấp OUT4 lên mức cao, OUT3 xuống mức thấp nên điều khiển cho động quay ngược lại Sau bảng trạng thái IC L298N HVTH: Đinh Duy Khánh Trang 106 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Bảng 5.1 Bảng trạng thái IC L298N ENA 1 0 ENB 0 1 IN1 0 IN2 0 IN3 0 IN4 0 HVTH: Đinh Duy Khánh Trang 107 OUT1 OUT2 OUT3 OUT4 0 0 0 0 0 0 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Sơ đồ mạch giao tiếp mạch điều khiển Hình 5.36 Sơ đồ mạch giao tiếp điều khiển HVTH: Đinh Duy Khánh Trang 108 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Khi xác định hướng nhìn mắt, xuất ký tự ―a‖ tương ứng với hướng nhìn trái, ký tự ―b‖ tương ứng với hướng nhìn lên, ký tự ―c‖ tương ứng với hướng nhìn xuống, ký tự ―d‖ tương ứng với hướng nhìn qua phải xuống vi điều khiển thông qua giao tiếp cổng com với vi điều khiển Max 232, sau vi điều khiển 89c51 có nhiệm kiểm tra tín hiệu đầu vào có phải ký tự a,b,c,d hay khơng xuất tín hiệu cổng P1.0, P1.1, P1.2, P1.3 điều khiển xe quẹo trái, phải, đỉ thẳng hay lùi lại thông qua mạch cầu H 5.11 Kết mô Thuật tốn tìm tâm, bán kính hóc mắt mô toolbox xử lý ảnh matlap với tỉ lệ thành công thể chi tiết bảng 5.2 minh hoạ hình 5.30, hình 5.31 Bảng 5.2 Bảng kết mơ Hướng nhìn Phải Trái Thẳng Lên Xuống Tổng Số ảnh 115 120 90 80 75 480 Số ảnh 95 100 85 75 50 405 Tỉ lệ 82,60 % 83,83 % 88 % 93,75 % 66,67 % 84,37 % HVTH: Đinh Duy Khánh Trang 109 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Hình 5.37 Xác định tâm bán kính người HVTH: Đinh Duy Khánh Trang 110 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Hình 5.38 Xác định hướng nhìn mắt HVTH: Đinh Duy Khánh Trang 111 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 6.1 Kết luận Luận văn nêu giải pháp để xác định vị trí hai hóc mắt, tâm ngươi, từ đó, xác định hướng nhìn áp dụng để điều khiển xe lăn điện Những phương pháp để điều khiển động gắn xe lăn điện, thi công mô hình thu nhỏ điều khiển động Luận văn phân tích nêu rõ khó khăn hạn chế phương pháp để xác định vị trí hai hóc mắt, tâm người tìm thông số thực nghiệm cần quan tâm ngưỡng chuyển ảnh màu sang ảnh nhị phân 0,3 bán kính nằm khoảng từ 80 đến 90 mm để tăng tốc độ điều khiển Do mặt thời gian kinh phí nên luận văn dừng lại việc mô phần mềm matlap xây dựng mơ hình điều khiển động nhỏ, chưa thí nghiệm xe lăn thực tế 6.2 Hƣớng phát triển Hướng phát triển luận văn tương lai thiết kế chạy mơ hình thực tế kiểm tra khả xác, đồng thời cải thiện tốc độ điều khiển Có thể mở rộng luận văn áp dụng cho trường hợp webcame đặt xa để điều khiển xe lăn điện HVTH: Đinh Duy Khánh Trang 112 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương TÀI LIỆU THAM KHẢO Anoop.K.J, Inbaezhilan, Sathish raj, Ramaseenivasan, and CholaPandian, Designing and Modeling of Voice Controlled Wheel Chair Incorporated with Home Automation, 2014, IJAREEIE, Vol 3, PP 53-60 Aleksandar Pajkanović and Branko Dokić, Wheelchair Control by Head Motion, 2013, Serbian journal of electrial engineering, Vol 10, No 1, PP 135-151 Masato Nishimori, Takeshi Saitoh and Ryosuke Konishi, Voice Controlled IntelligentWheelchair, SICE Annual Conference, 2007, PP 336-340 Sandesh Pai, Sagar Ayare, Romil Kapadia, Eye Controlled Wheelchair, 2012, International Journal of Scientific & Engineering Research, Vol Ericka Janet Rechy-Ramirez, Huosheng Hu and Klaus McDonald-Maier, Head movements based control of an intelligent wheelchair in an indoor environment, 2012, IEEE, PP 1464-1469 Dr Jens Peter Kaps, TONGUE DRIVE SYSTEM, 2012, A project report on A Yuille, P Hallinan, and D.Cohen, Feature Extraction from Faces Using Deformable Templates, 1992, Int‘1 J.Computer Vision,Vol 8, no.2, pp 99111 C Colombo and A.D Bimbo, Real-time Head Tracking from the Deformation of eye contours using a Piecewise Affine Camera, 1999, Pattern Recognition Letters, Vol.20, No.7, pp 721-730 G.C Feng and P.C Yuen, Variance Projecton Function and Its Application to Eye Detection Human Face Recognition, 1998, Int‘1J.Computer Vision, Vol 19, pp 899-906 10 Z Zheng, J Yang, M Wang and Y Wang, A novel Method for Eye Features Extraction, 2005, Lecture Notes in Computer Science, Vol 3314, pp 10021007 11 C Xu, Y Zheng and Z Wang ― Semantic feature extraction of accurate eye corner detection,‖ , 2008, Pattern Recognition, ICPR 2008, pp 1-4 12 Huỳnh Thái Hoàng, Nguyễn Hữu Cương, ―Eye-Gaze Detection with a Single WebCAM Based on Geometry Features Extraction‖, 2011, Int Conf Control, Automation, Robotics and Vision, pp 2057-2512 13 Jian-Gang Wang and Eric Sung, Study on Eye Gaze Estimation, 2002, IEEE transactions on systems, man, and cybernetics—part b: cybernetics, vol 32,pp 332-350 14 Jaroslav Borovicka, Circle Detection Using Hough Transforms, 2003, pp 28 15 Kaushal Kumar Dhruw and Aswin Kumar Tigga, Eye detection using varient of Hough transform, 2009, National Institute of Technology Rourkela, PP 98 HVTH: Đinh Duy Khánh Trang 113 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương 16 Kohei Arai and Ronny Mardiyanto, Eyes Based Eletric Wheel Chair Control System, 2011, International Journal of Advanced Computer Science and Applications, Vol 2, No 12, 17 Kyung-Nam Kim and R S Ramakrishna, Vision-Based Eye-Gaze Tracking for Human Computer Interface, 1999, Department of Information and Communications Kwangju Institute of Science and Technology, IEEE, pp 324-329 HVTH: Đinh Duy Khánh Trang 114 S K L 0 ... Trang 48 Ứng dụng xử lý ảnh điều khiển xe lăn điện - idct2: biến đổi ngược cosin rời rạc HVTH: Đinh Duy Khánh Trang 49 GVHD: TS Nguyễn Thanh Phương Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD:... nghiên cứu xe lăn điện thơng minh giúp cho người khuyết tật HVTH: Đinh Duy Khánh Trang 15 Ứng dụng xử lý ảnh điều khiển xe lăn điện GVHD: TS Nguyễn Thanh Phương điều khiển xe lăn điện mà không... nghiên cứu đề điều khiển xe lăn điện như: Thiết kế xe lăn điện sử dụng cần điều khiển gắn xe động gắn bánh xe giúp người bệnh điều khiển xe cách đẩy cần phia trước muốn tới, gạt cần điều khiển qua