NGHIÊN cứu THUẬT TOÁN NHẬN DẠNG NGƯỜI đi ĐƯỜNG, XE và CHƯỚNG NGẠI vật CHO ô tô CHẠY tự ĐỘNG

M CăL C Trang tựa TRANG Quy t định giao đề tài Lý lịch khoa học i L i cam đoan ii L ic m n iii Tóm tắt iv M cl c vi Danh sách chữ vi t tắt xi Danh sách hình xii Danh sách b ng xvi CH NGă1 T NG QUAN 1.1 Tổng quan chung lĩnh vực nghiên c u 1.1.1 Gi i thiệu 1.1.2 Nh n d ng ng i đ ng 1.1.3 Hệ thống c nh báo s m phát ng 1.1.4 Nh n d ng xe vƠ ch i đ ng xe ng ng i v t 1.1.5 Mô hình nh n d ng xe tổng quát 1.1.6 Hệ thống c nh báo va ch m (Forward Collision Warning) 1.1.7 Ph ng pháp nh n d ng ng i đ ng xe vƠ ch ng ng i v t xử lý nh 1.2 Các k t qu nghiên c u vƠ ngoƠi n 1.2.1 Các k t qu nghiên c u n c đƣ công bố c 1.2.2 Các k t qu nghiên c u quốc t 1.3 M c đích c a đề tài 10 1.4 Ph ng pháp nghiên c u 10 1.5 ụ nghĩa khoa học tính thực tiễn c a đề tài 11 1.6 Gi i h n đề tài 11 1.7 K ho ch thực 11 vi CH NG C ăS LÝ THUY T 12 2.1 Lý thuy t tổng quan xử lý nh 12 2.1.1 nh số gì? 14 2.1.2 Hệ thống xử lý nh 15 2.2 Các vấn đề c b n xử lý nh 15 2.2.1 Biểu diễn mô hình hóa nh 15 2.2.2 Tăng c ng nh 17 2.2.3 Nắn chỉnh bi n d ng 17 2.2.4 Khử nhiễu 18 2.2.5 Chỉnh m c xám 18 2.2.6 Trích chọn đặc điểm 18 2.2.7 Đặc điểm biên vƠ đ ng biên 19 2.2.8 Nh n d ng 19 2.2.9 Nén nh 20 2.2.10 Đo kho ng cách pixels 21 2.3 Các mô hình màu 22 2.3.1 Mô hình màu RGB 23 2.3.2 Mô hình màu CMY 24 2.3.3 Mô hình HSV 24 2.3.4 Mô hình sáng 25 2.4 Đặc Tr ng Haar-like 25 2.5 Thu t toán AdaBoost 29 2.6 B phân l p Cascade 32 2.7 B phân l p Cascade of boosting 34 2.8 Đặc tr ng Histogram of Oriented Gradients 35 2.8.1 Nh p nh 36 2.8.2 Chuẩn hóa Gamma & Colour 36 2.8.3 Tính Gradient 37 2.8.4 Chia h ng & gom đặc tr ng t i m i nhóm cell 39 vii 2.8.5 Tính đặc tr ng cho khối chuẩn hóa 41 2.8.6 Tính vector đặc tr ng cho cửa sổ 42 2.9 Máy vector h tr (SVM) 43 2.9.1 Siêu phẳng - Hyperplane 43 2.9.2 SVM n tính 43 2.9.3 Các điều kiện Karush-Kuhn-Tucker (KKT) 45 2.9.4 Gi i thu t SMO 45 CH NGă3 THU T TOÁN NH N D NG 48 3.1 Gi i thiệu MATLAB 48 3.1.1 Kh i đ ng Matlab 48 3.1.2 M t số lệnh thông d ng Matlab 49 3.1.3 L p trình MATLAB 50 3.1.4 Matlab GUIDE 50 3.2 Nh n d ng ng i đ ng sử d ng HOG SVM 52 3.2.1 T o liệu m u huấn luyện âm m u huấn luyện d ng 52 3.2.2 Huấn luyện SVM 56 3.2.3 Nh n d ng ng 3.3 Nh n d ng xe vƠ ch i đ ng 58 ng ng i v t 64 3.3.1 T o b huấn luyện nh n d ng m u nh n d ng xe vƠ ch ng ng i v t 64 3.3.2 Ho t đ ng c a b xử lý phơn lo i 65 3.3.3 T o nhƣn nh n d ng cho m u 66 3.3.4 Sử d ng TrainCascadeObjectDetector t o m u 70 3.3.5 Nh n d ng đối t ng từ m u huấn luyện 73 3.4 Đo kho ng cách từ camera t i đối t ng 77 3.4.1 Mô hình đo kho ng cách nh 77 3.4.2 Kỹ Thu t camera calibration 79 CH NGă4 TH C NGHI MăVĨăĐÁNHăGIÁ 83 4.1 Thực nghiệm 83 4.1.1 Thông số Webcam 83 viii 4.1.2 K t qu thực nghiện 88 4.2 Đánh giá 101 4.2.1 Đ xác 101 4.2.2 Tốc đ thu th p 103 CH NG K T LU NăVĨăĐ NGH 104 5.1 K t qu đ t đ c 104 5.2 Những vấn đề tồn t i 104 5.3 H ng phát triển 105 TÀIăLI UăTHAMăKH O 106 PH L C 109 ix DANH SÁCH CÁC CH ăVI TăT T MATLAB Maxtrix Laboratory CMU Carnegie Mellon University MIT Massachusetts Institute of Technology DARPA Defense Advanced Research Projects Agency HDTV High-definition television ROI Regions of Interest RGB Red, Green, Blue HSL Hue, Saturation, Luminance 2D Two Demension 3D Three Demension TIFF Targed Image File Format JPEG Joint Photographics Experts Group GIF Graphics Interchange Format BMP Window Bitmap PNG Portable Network Graphics XWD X Window Dump PCX Personal Computer Exchange CMY HOG SIFT PCA CBC SVM DAB AdaBoost RAB Cyan, Magnenta, Yellow Histograms of Oriented Gradients Scale-Invariant Feature Transform Principal component analysis Cascade of boosting Classifier Support Vector Machine Discrete AdaBoost Real AdaBoost Gentle AdaBoost True Positive False Positive True Negative False Negative GAB TP FP TN FN x DANH SÁCH CÁC HÌNH HÌNH Hình 1.1: TRANG ng d ng c a s n phẩm TMPV760 [1] Hình 1.2: Nh n d ng ng Hình 1.3: Phát ng i đ i đ ng [2] 2 ng công nghệ không dây [3] Hình 1.4: Mô hình tổng quát gi i quy t toán nh n d ng xe [6] Hình 1.5: C nh báo va ch m sử d ng camera c m bi n [6] Hình 1.6: Nh n d ng xe ph Hình 2.1: nh t ng pháp khác [6] ng tự nh số [17] 14 Hình 2.2: Hệ thống xử lý nh [17] 15 Hình 2.3: a, nh th t, b, nh zoom, c, ma tr n điểm [17] 16 Hình 2.4: nh thu nh n nh mong muốn [17] 17 Hình 2.5: Mô hình màu [17] 23 Hình 2.6: Hệ tọa đ màu RGB [17] 24 Hình 2.7: Mô hình màu HSV [17] 25 Hình 2.8: Đặc tr ng Harr-like c b n [18] 26 Hình 2.9: Các đặc tr ng m r ng c a đặc tr ng Haar-like c s [18] 26 Hình 2.10: Cách tính Integral Image c a nh [18] 27 Hình 2.11: Ví d cách tính nhanh tổng điểm nh c a vùng D nh 27 Hình 2.12: Cách tính nhanh tổng điểm nh c a vùng D nh v i đặc tr ng xoay 45o [18] 28 Hình 2.13: Ví d cách tính nhanh tổng điểm nh c a vùng D nh [18] 28 Hình 2.14: L 29 c đồ c b n c a AdaBoot [18] Hình 2.15: Thu t toán học AdaBoot [18] 30 Hình 2.16: B phân lo i cascade of classifiers [19] 34 Hình 2.17: B phân l p cascade of boosted classifiers [19] 34 Hình 2.18: S đồ rút trích đặc tr ng HOG [20] 36 Hình 2.19: Hình nh miêu t S đồ rút trích đặc tr ng HOG [20] 37 xi Hình 2.20: Đặc tr ng HOG lo i R-HOG C-HOG [20] 40 Hình 2.21: Đặc tr ng Centre-Surround HOG [20] 40 Hình 2.22: Đ l n c a bin [20] 41 Hình 2.23: Các đ 43 ng phân chia hai t p liệu mang đặc tr ng khác nhau[22] Hình 2.24: Các siêu phẳng H1 H2 phân chia m u tích cực th đ ng thành hai l p khác [22] 44 Hình 3.1: Cửa sổ làm việc Matlab 49 Hình 3.2: Cửa sổ GUI File 51 Hình 3.3: Giao diện fig 51 Hình 3.4: T p m u nh âm 53 Hình 3.5: T p m u nh d ng 55 Hình 3.6: Xác định đặc tr ng HOG cho nh âm 56 Hình 3.7: Xác định đặc tr ng HOG cho nh d ng 56 Hình 3.8: Miêu t phân lo i v i máy học vector SVM 57 Hình 3.9: S đồ nh n d ng ng Hình 3.10: Phát ng i đ i đ Hình 3.11: Phát ba ng ng 61 ng từ phía sau 61 i ng i đ Hình 3.12: M t số k t qu nh n d ng ng ng 62 i đ ng 63 Hình 3.13: Mô hình đƠo t o phân lo i v i Computer Vision System Toolbox™ 64 Hình 3.14: Công c Training Image Labeler 67 Hình 3.15: Chèn hình m u nh xe vào Training Image Labeler 68 Hình 3.16: Chèn hình m u nh ch Hình 3.17: m u nh xe kích th Hình 3.18: M u xe kích th ng ng i v t vào Training Image Labeler 68 c 20x20 pixel 64x64 pixel 69 c 128x128 pixel 69 Hình 3.19: M u nh cọc tiêu đ ng 70 Hình 3.20: Dữ liệu data xuất từ Training Image Labeler 71 Hình 3.21: Hình trích xuất HOG từ vùng nh ROI c a xe 72 Hình 3.22: Trích xuất HOG từ vùng nh ROI c a ch ng ng i v t 73 Hình 3.23: K t qu nh n d ng xe 75 xii Hình 3.24: K t qu nh n d ng ch ng ng i v t 76 Hình 3.25: Mô hình đo kho ng cách nh [25] 77 Hình 26: Mô hình chuyển đổi tọa đ [25] 78 Hình 27: Chuyển đổi t o đ mặt phẳng nh 78 Hình 3.28: nh ch p Checkerboard 79 Hình 3.29: Xác định giao điểm ô vuông Checkerboard 79 Hình 3.30: Mô hình 3D nh Checkerboard 80 Hình 3.31: K t qu đo kho ng cách ng i đ ng 82 Hình 4.1: Webcam 84 Hình 4.2: Máy tính 84 Hình 4.3: Nguyên lý c a hệ thống nh n d ng xử lý nh 85 Hình 4.4: S đồ nh n d ng ng i đ ng, xe vƠ ch ng ng i v t 86 Hình 4.5: Webcam k t nối máy tính gắn xe ô tô ch y thực nghiệm 87 Hình 4.6: Nh n d ng m t ng i đ ng 88 Hình 4.7: Nh n d ng m t ng i đ ng 88 Hình 4.8: Nh n d ng nhiều ng i đ ng 89 Hình 4.9: Nh n d ng nhiều ng i đ ng 89 Hình 4.10: Nh n d ng l i ng i đ ng vƠ ng i điều khiển xe gắn máy 90 Hình 4.11: Nh n d ng l i ng i đ ng vƠ ng i điều khiển xe gắn máy 91 Hình 4.12: Nh n d ng xe m t xe kho ng cách gần 91 Hình 4.13: Nh n d ng xe m t xe kho ng cách gần 92 Hình 4.14: Nh n d ng xe kho ng cách xa 92 Hình 4.15: Nh n d ng xe kho ng cách xa 93 Hình 4.16: Nh n d ng xe góc khuất 93 Hình 4.17: Nh n d ng xe góc khuất 94 Hình 4.18: Nh n d ng nhiều xe kho ng cách gần 94 Hình 4.19: Nh n d ng nhiều xe kho ng cách xa 95 Hình 4.20: Nh n d ng xe l i kho ng cách gần 95 Hình 4.21: Nh n d ng xe l i kho ng gần 96 xiii Hình 4.22: Nh n d ng cọc tiêu đ ng 97 Hình 4.23: Nh n d ng cọc c nh báo phân 97 Hình 4.24: Nh n d ng cọc phơn lƠn đ ng 98 Hình 25: Đo kho ng cách ng i đ ng 99 Hình 4.26: Đo kho ng cách ng i đ ng 99 Hình 27: Đo kho ng cách xe 100 Hình 28: Đo kho ng cách xe 100 xiv DANHăSÁCHăCÁCăB NG B NG TRANG B ng 2.1: Các d ng thu t toán học huấn luyện AdaBoost [18] 31 B ng 2.2: Thu t toán Cascade training [19] 33 B ng 3.1: Cấu trúc file hl_mau_am.m 53 B ng 3.2:Cấu trúc file hl_mau_duong.m 54 B ng 3.3: Thông số nh n d ng ng i đ ng đặc tr ng HOG 56 B ng 3.4: Cấu trúc file phanloai.m 57 B ng 3.5: Cấu trúc file nguoididuong.mat 58 B ng 3.6: Cấu trúc file vung_nhan_dang.m 59 B ng 3.7: Cấu trúc file loai_bo_khong_cuc_tri.m 60 B ng 3.8: Cấu trúc file ROI.m 60 B ng 3.9: Cấu trúc file xe20x20.xml 71 B ng 3.10: Thu t toán đo kho ng cách ng B ng 3.11: K t qu đo kho ng cách ng B ng 4.1: K t qu ph ng 80 i b ng pháp nh n d ng ng B ng 4.2: So sánh ph B ng 4.3: Đánh giá ph i đ 81 i đ ng pháp nh n d ng ng ng i đ 101 ng [26] 102 ng pháp nh n d ng xe v i m u nh xe 20x20 pixel[27] 102 B ng 4.4: Đánh giá tốc đ thu th p nh 103 xv - V i kho ng cách xa xe ch y tốc đ cao yêu cầu camera tốc đ cao để xử lý 5.3 H ngăphátătriển Đề tài v n ch a áp d ng cho xe tham gia giao thông thực t Vì v y để áp d ng đ c vào thực t giao thông cần áp d ng thực ti p m t số n i dung sau đơy: - Nghiên c u thu t toán xử lý nh nh n d ng ng i đ ng, xe vƠ ch ng ng i v t vƠo ban đêm - Nghiên c u thu t toán xác định kho ng cách ng ch - i đ ng, xe ng ng i v t sử d ng hai camera Nghiên c u ch t o thi t bị c nh báo s m va ch m ng i, xe vƠ ch ng ng i v t - Nghiên c u thu t toán k t h p xử lý nh, điều khiển tự đ ng v i hệ thống lái để tránh đ c v t c n đ 105 ng TÀIăLI UăTHAMăKH O [1] Toshiba Launches New Line-up of Image Recognition Processors for Automotive Applications Internet: http://toshiba.semicon-storage.com, 20/03/2013 [2] Pedestrian Detection by Mobileye Internet: https://www.flickr.com/photos/mobileyeproducts/4614100229 , 22/03/2013 [3] Driver demand for connected cars grows Internet: http://electronicsmaker.com/driver-demand-for-connected-cars-grows, 28/03/2013 [4] Automotive night vision Internet: https://en.wikipedia.org/wiki/Automotive_night_vision, [5] Mona Saini, Survey on Vision Based On-Road Vehicle Detection, International Journal of u-and e-Service, Science and Technology, Vol 14 , Issue 4, pp 1773 ậ 1795, 2014 [6] Mohan M.Trivedi, Chair Serge Belongie,Sanjoy Dasgupta,Kenneth KreutzDelgado, Bhaskar Rao, Learning Modeling and Understanding Vehicle Surround UsingMulti-Modal Sensing, University of California San Diego, 2013 [7] Nguyễn Xuơn T ng Huy, Nguyễn HoƠng Vũ, Tìm hiểu kỹ thu t phát người video giám sát lớp học, LVĐH, Tr ng Đ i Học Khoa Học Tự Nhiên, 2010 [8] Vũ Hồng Phong, Nh n D ng Xe Trên Cơ Sở Thị Giác Máy Tính, LVThs, đ i học Bách Khoa Thành Phố Hồ Chí Minh, năm 2008 [9] Văn Ánh D ng, Nghiên Cứu Thu Th p Và Xử Lý nh Để Hỗ Tr Ô Tô Ch y Tự Động, LVThs, Tr ng Đ i Học S Ph m Kỹ Thu t Tp.HCM, 2015 [10] Navneet Dalal and Bill Triggs, Histograms of Oriented Gradients for Pedesttrian Detection, Computer Vision and Pattern Recognition, vol.1, pp.886 - 893, 2005 106 [11] Prisacariu VA, Reid ID, Fast HOG-A real-time GPU implementation of HOG Technical Report, 2009 [12] Jon Arróspide, Luis Salgado and Javier Marinas, HOG-like Gradient-based Descriptor for Visual Vehicle Detection, Intelligent Vehicles Symposium, vol 4, pp 223 ậ 228, June 2012 [13] Yinghong Li, Zhengxi Li, Hongfang Tian, Yuquan Wang, Vehicle Detecting and Shadow Removing Based on Edged Mixture Gaussian Model, IEEE Transactions on, pp 998 ậ 1007, 2011 [14] Zehang Sun, Bebis G and Miller R, On-road Vehicle Detection Using Evolutionary Gabor Filter Optimization, Intelligent Transportation Systems, Vol , Issue 2, pp 125 ậ 137, June 2005 [15] David G.Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, Vol 60, Issue , pp 91-110, 2004 [16] JAE.LIM, Nguyễn Văn Ngọ, Giáo trình xử lý nh, Đ i học Quốc Gia Hà N i, 2001, tr 31-40 [17] Đ Năng ToƠn, Ph m Việt Bình, Giáo trình xử lý nh, Đ i học Thái Nguyên, 2007, tr 41 [18] Julien Meynet Fast Face Detection Using AdaBoost EPFL-STUDENT, 16th July 2003, pp 10-31 [19] Berkin Bilgic, Berthold K.P Horn, and Ichiro Masaki, Fast Human Detection With Cascaded Ensembles On The GPU, IEEE Intelligent Vehicles Symposium University of California, vol.4, pp 325 ậ 332, June 2010 [20] Navneet DALAL, Finding People in Images and Videos, Institut National Polytechnique de Grenoble, Institut National Polytechnique De Grenoble, pp 14, 2006 [21] Võ Đ c Khánh, Hoàng Ki m, Giáo trình xử lý nh, Đ i học Quốc Gia Tp Hồ Chí Minh, 2008, tr 56 [22] Nguyễn Thanh H i, Xử lý nh, Đ i học Quốc Gia Tp Hồ Chí Minh, 2014,tr 159-163 107 [23] Phan Thanh T o, Giáo trình Matlab, Đ i học Bách Khoa ĐƠ Nẵng, 2004, tr 14 [24] vision.CascadeObjectDetector System object Internet: http://www.mathworks.com/help/vision/ref/vision.cascadeobjectdetectorclass.html?refresh=true, 06/08/2014 [25] Chu Jiangwei, Ji Lisheng Guo, Lie Libibing, Wang Rongben, Study on Method of Detecting Preceding Vehicle Based on Monocular Camera, IEEE Intelligent Vehicles Symposium University of Parma Pama, pp.750-755, 2004 [26] Boguslaw Cyganek, Object Detection and Recognition in Digital Images Theory and Practice, AGH University of Science and Technology, Poland, pp 215, 2013 [27] Chin-Teng Lin, Sheng-Chih Hsu, Ja-Fan Lee, Chien-Ting Yang, Boosted Vehicle Detection Using Local and Global Features, Journal of Signal and Information Processing, vol.4, pp 243-252, 2013 [28] M.Bertozzi and A.Broggi, GOLD: A parallel real-time stereo vision system for generic obstacle and lane detection, IEEE Transaction on Image Processing, pp.199-213, 1998 [29] ZuWhan Kim, Realtime Lane Tracking of Curved Local Road, in IEEE Intelligent Transporation Systems, pp.1149-1155, 2006 [30] Y Wang, E.K.Teoh, and D.Shen, Lane detection and tracking using BSnake, Image and Vision Computing, vol 22, pp 269-280, 2004 108 PH L C Ch ngătrìnhăGuideănh n d ng function varargout = luanvannhandang(varargin) % LUANVANNHANDANG MATLAB code for luanvannhandang.fig % LUANVANNHANDANG, by itself, creates a new LUANVANNHANDANG or raises the existing % singleton* % H = LUANVANNHANDANG returns the handle to a new LUANVANNHANDANG or the handle to % the existing singleton* % LUANVANNHANDANG('CALLBACK',hObject,eventData,handles, ) calls the local % function named CALLBACK in LUANVANNHANDANG.M with the given input arguments % LUANVANNHANDANG('Property','Value', ) creates a new LUANVANNHANDANG or raises the % existing singleton* Starting from the left, property value pairs are % applied to the GUI before luanvannhandang_OpeningFcn gets called An % unrecognized property name or invalid value makes property application % stop All inputs are passed to luanvannhandang_OpeningFcn via varargin % *See GUI Options on GUIDE's Tools menu Choose "GUI allows only one % instance to run (singleton)" % See also: GUIDE, GUIDATA, GUIHANDLES % Edit the above text to modify the response to help luanvannhandang % Last Modified by GUIDE v2.5 22-Sep-2015 13:20:26 % Begin initialization code - DO NOT EDIT gui_Singleton = 1; 109 gui_State = struct('gui_Name', mfilename, 'gui_Singleton', gui_Singleton, 'gui_OpeningFcn', @luanvannhandang_OpeningFcn, 'gui_OutputFcn', @luanvannhandang_OutputFcn, 'gui_LayoutFcn', [] , 'gui_Callback', []); if nargin && ischar(varargin{1}) gui_State.gui_Callback = str2func(varargin{1}); end if nargout [varargout{1:nargout}] = gui_mainfcn(gui_State, varargin{:}); else gui_mainfcn(gui_State, varargin{:}); end % End initialization code - DO NOT EDIT % - Executes just before luanvannhandang is made visible function luanvannhandang_OpeningFcn(hObject, eventdata, handles, varargin) % This function has no output args, see OutputFcn % hObject handle to figure % eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA) % varargin command line arguments to luanvannhandang (see VARARGIN) % Choose default command line output for luanvannhandang % Choose default command line output for luanvan handles.output = hObject; load ('nguoididuong.mat’); detector = vision.CascadeObjectDetector('xe20x20.xml'); detector 1= vision.CascadeObjectDetector('xe64x64.xml'); detector 2= vision.CascadeObjectDetector('xe128x128.xml'); 110 detector 3= vision.CascadeObjectDetector('chuonggaivat.xml'); handles.video = videoinput('winvideo', 1, 'MJPG_640x480'); vidRes = get(handles.video, 'VideoResolution'); nBands = get(handles.video, 'NumberOfBands'); hImage = image( zeros(vidRes(2), vidRes(1), nBands),'Parent',handles.webcam); preview(handles.video,hImage); set(handles.video,'TimerPeriod', 0.05, 'TimerFcn',['if(~isempty(gco)),' 'handles=guidata(gcf);' % Update handles 'frame=getsnapshot(handles.video);,' 'imshow(rgb2gray(frame));,' 'set(handles.webcam,''ytick'',[],''xtick'',[]),' 'set(handles.hinhchup,''ytick'',[],''xtick'',[]),' % Remove tickmarks and labels that are inserted when using IMAGE 'else ' 'delete(imaqfind);' % Clean up - delete any image acquisition objects 'end']); triggerconfig(handles.video,'manual'); % Update handles structure guidata(hObject, handles); % UIWAIT makes luanvannhandang wait for user response (see UIRESUME) % uiwait(handles.figure1) % - Outputs from this function are returned to the command line function varargout = luanvannhandang_OutputFcn(hObject, eventdata, handles) % varargout cell array for returning output args (see VARARGOUT); % hObject handle to figure % eventdata reserved - to be defined in a future version of MATLAB 111 % handles structure with handles and user data (see GUIDATA) % Get default command line output from handles structure varargout{1} = handles.output; % - Executes during object creation, after setting all properties % Hint: place code in OpeningFcn to populate axes1 % - Executes on button press in NDxe function NDxe_Callback(hObject, eventdata, handles) % hObject handle to NDxe (see GCBO) % eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA) % Camera is on Stop camera and change button string frame=getsnapshot(handles.video); imwrite( frame, 'nhandangxe.png'); detector.MaxSize = [20 20]; detector1.MinSize = [20 20]; detector1.MaxSize = [64 64]; detector2.MaxSize = [128 128]; detector2.MinSize = [64 64]; I= imread('nhandangxe.png'); bboxes = step(detector,I); [n m]=size(bboxes); label_str = cell(n,1); b=[ ]; if n>=1 for i=1:n b(i,1)=abs(1.16/tan(atan((bboxes(i,4)+bboxes(i,2)-5-237.6)/635.1))); end 112 for i=1:n distanceAsString= sprintf('%0.2f meters', b(i,1)); label_str{i} = ['Xe ' distanceAsString ]; I=insertObjectAnnotation(I,'rectangle',bboxes(i,:), label_str{i},'Color', 'red','TextBoxOpacity',0.3,'FontSize',20); end end bboxes = step(detector1,I); [n m]=size(bboxes); label_str = cell(n,1); b=[ ]; if n>=1 for i=1:n b(i,1)=abs(1.16/tan(atan((bboxes(i,4)+bboxes(i,2)-5-237.6)/635.1))); end for i=1:n distanceAsString= sprintf('%0.2f meters', b(i,1)); label_str{i} = ['Xe ' distanceAsString ]; I=insertObjectAnnotation(I,'rectangle',bboxes(i,:), label_str{i},'Color', 'red','TextBoxOpacity',0.3,'FontSize',20); end end bboxes = step(detector2,I); [n m]=size(bboxes); label_str = cell(n,1); b=[ ]; if n>=1 113 for i=1:n b(i,1)=abs(1.16/tan(atan((bboxes(i,4)+bboxes(i,2)-5-237.6)/635.1))); end for i=1:n distanceAsString= sprintf('%0.2f meters', b(i,1)); label_str{i} = ['Xe ' distanceAsString ]; I=insertObjectAnnotation(I,'rectangle',bboxes(i,:), label_str{i},'Color', 'red','TextBoxOpacity',0.3,'FontSize',20); end end hImage = image(I,'Parent',handles.hinhchup ); % - Executes on button press in NDNGUOI function edit5_Callback(hObject, eventdata, handles) % hObject handle to edit5 (see GCBO) % eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA) % Hints: get(hObject,'String') returns contents of edit5 as text % str2double(get(hObject,'String')) returns contents of edit5 as a double % - Executes during object creation, after setting all properties function edit5_CreateFcn(hObject, eventdata, handles) % hObject handle to edit5 (see GCBO) % eventdata reserved - to be defined in a future version of MATLAB % handles empty - handles not created until after all CreateFcns called % Hint: edit controls usually have a white background on Windows % See ISPC and COMPUTER if ispc && isequal(get(hObject,'BackgroundColor'), get(0,'defaultUicontrolBackgroundColor')) set(hObject,'BackgroundColor','white'); 114 end function edit6_Callback(hObject, eventdata, handles) % hObject handle to edit6 (see GCBO) % eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA) % Hints: get(hObject,'String') returns contents of edit6 as text % str2double(get(hObject,'String')) returns contents of edit6 as a double % - Executes during object creation, after setting all properties function edit6_CreateFcn(hObject, eventdata, handles) % hObject handle to edit6 (see GCBO) % eventdata reserved - to be defined in a future version of MATLAB % handles empty - handles not created until after all CreateFcns called % Hint: edit controls usually have a white background on Windows % See ISPC and COMPUTER if ispc && isequal(get(hObject,'BackgroundColor'), get(0,'defaultUicontrolBackgroundColor')) set(hObject,'BackgroundColor','white'); end % - Executes on button press in NDNGUOI function NDNGUOI_Callback(hObject, eventdata, handles) % hObject handle to NDNGUOI (see GCBO) % eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA) frame=getsnapshot(handles.video); imwrite( frame, 'nhandangnguoi.png’); I = imread('nhandangnguoi.png'); [bboxes,scores,hog] = vung_nhan_dang (I, w, hogCellSize, scales) 115 scores(any([-1 ; -1 1] * boxes < 0)) = -inf ; keep = false(1, size(boxes,2)) ; while true [score, best] = max(scores) ; if score == -inf, break ; end keep(best) = true ; remove = boxinclusion(boxes(:,best), boxes, 'pascalFormat', true) >= 0.2 ; scores(remove) = -inf ; scores(best) = -inf ; ROI=bboxes'; [n m]=size(ROI) for j= 1:m ROI(j,4)=ROI(j,4)-ROI(j,2) ; ROI(j,3)=ROI(j,3)-ROI(j,1) ; End [n m]=size(ROI); label_str = cell(n,1); b=[]; if n>=1 for i=1:n b(i,1)=1.164/tan(atan((bboxes(i,4)+bboxes(i,2) -237.6)/635.1)); end for i=1:n distanceAsString= sprintf('%0.2f meters', b(i,1)); label_str{i} = ['nguoi di duong ' distanceAsString ]; I=insertObjectAnnotation(I,'rectangle',ROI(i,:),label_str{i},'Color', 'red','TextBoxOpacity',0.3,'FontSize',20); end end 116 hImage = image(I,'Parent',handles.hinhchup ); % - Executes on button press in CHUNGNGAIVAT function CHUNGNGAIVAT_Callback(hObject, eventdata, handles) % hObject handle to CHUNGNGAIVAT (see GCBO) % eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA) frame=getsnapshot(handles.video); imwrite( frame, 'chuongngaivat.png'); I= imread('chuongngaivat.png'); bbox = step(detector3,I); I = insertObjectAnnotation(I,'rectangle',bbox,'CHUONG NGAI VAT','TextBoxOpacity',0.9,'FontSize',20); hImage = image(I ,'Parent',handles.hinhchup ); % - Executes on button press in TONGHOP function TONGHOP_Callback(hObject, eventdata, handles) % hObject handle to TONGHOP (see GCBO) % eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA) frame=getsnapshot(handles.video); imwrite( frame, 'mau1.png'); I= imread('mau1.png'); bboxes = step(detector,I); I=insertObjectAnnotation(I,'rectangle',bboxes,'Color', 'red','TextBoxOpacity',0.3,'FontSize',20); imwrite( I, 'mau2.png'); I = imread('mau2.png'); [bboxes,scores,hog] = vung_nhan_dang (I, w, hogCellSize, scales) scores(any([-1 ; -1 1] * boxes < 0)) = -inf ; keep = false(1, size(boxes,2)) ; 117 while true [score, best] = max(scores) ; if score == -inf, break ; end keep(best) = true ; remove = boxinclusion(boxes(:,best), boxes, 'pascalFormat', true) >= 0.2 ; scores(remove) = -inf ; scores(best) = -inf ; ROI=bboxes'; [n m]=size(ROI) for j= 1:m ROI(j,4)=ROI(j,4)-ROI(j,2) ; ROI(j,3)=ROI(j,3)-ROI(j,1) ; End I = insertObjectAnnotation(I,'rectangle',ROI,'NGUOI DI DUONG','Color', 'red','TextBoxOpacity',0.9,'FontSize',20); imwrite( I, 'mau3.png'); detector = vision.CascadeObjectDetector('chuonggaivat.xml'); I= imread('mau3.png'); bbox = step(detector3,I); I= insertObjectAnnotation(B,'rectangle',bbox,'CHUONG NGAI VAT','TextBoxOpacity',0.9,'FontSize',20); hImage = image(I,'Parent',handles.hinhchup ); % - Executes during object creation, after setting all properties function axes1_CreateFcn(hObject, eventdata, handles) % handles empty - handles not created until after all CreateFcns called h=imread('C:\Program Files\MATLAB\R2013a\toolbox\vision\visiondata\LUAN VAN\nen.jpg'); imshow(h) 118 S K L 0 [...]... i lái xe thi u t p trung hoặc do xe ch y trong môi tr thì hệ thống phát hiện vƠ đ a ra c nh báo cho ng i đi đ ng Khi ng ô thị quan sát khó i lái xe tránh gây tai n n Hiện nay công nghệ giao ti p giữa tô v i ng i đi đ ng thông qua đi n tho i thông minh Ngay khi xác định kh năng s có m t va ch m x y ra v i m t ng i đi đ ng sắp cắt ngang qua phía tr c tô, hệ thống giao ti p trên xe s gửi m t thông báo... i, xe vƠ ch ng từ đó phán đoán hƠnh vi c a các đối ng để đi u khiển ô tô ch y tự đ ng 1.4 Ph ngăpháp nghiên c u Để thực hiện việc ng d ng xử lý nh để nh n diện ng ch b ng ng i ng ng i v t cho ô tô ch y tự đ ng, h i đi đ ng ti p c n c a đề tƠi đ ng, xe và c đề xuất các c nh sau: 1 Nghiên c u các c s lý thuy t về xử lý nh, xe ch y tự đ ng, tham kh o và ng d ng các ph m t ph ng pháp c a các công trình nghiên. .. thông tăng Việc lái xe trên đ Việt Nam vƠ các n ng dài gây mệt mỏi lƠm ng c trên th gi i ngày càng gia i tài x mất t p trung đi u đó d n đ n gây tai n n Công nghệ lái xe tự đ ng s an toƠn h n và xây dựng đ thống giao thông thông minh Việc nghiên c u thu t toán xây dựng ch nh n d ng ng i đi đ ng, xe vƠ ch c hệ ng trình ng ng i v t cho ô tô ch y tự đ ng là m c đích c a đề tài Đề tài xây m t thu t toán. .. ch nh Để H Tr Ô Tô Ch y ng pháp nh n d ng đối t ng ng i v t bằng xử lý nh, đo kho ng cách từ xe đ n đối t 8 ng ng bằng c m bi n siêu ơm Tuy nhiên, đề tƠi ch a phơn biệt từng đối t ng ng i, xe, ch ng ng i v t và thực nghiệm trên mô hình Do đi u kiện đ ng và c s h tầng Việt Nam còn thấp, nền công nghiệp ô tô ch a phát triển m nh so v i th gi i Do đó cho đ n th i đi m nƠy ch a có công trình nghiên c u về... gian ngắn và tốc đ xe Trongă môiătr ngă ô th : Nh n d ng ng rất khó khăn do có rất nhiều ng iđ ng trong môi tr i và nh bị nh h ng ô thị ng b i khung c nh xung quanh Nhi u d ngă ng đ iă đi đ ng: Ng i đi đ ng v i nhiều t th khác nhau nh ng Môiă tr ng: Nh n d ng ng i đi đ i đi đ ng có nhiều lo i nh ng i đi ng bị chồng lên nhau ng bị nh h ng b i môi tr ng nh tr i tối đòi hỏi camera hồng ngo i và việc xử... ngăng i đi đ Việc nh n d ng ng ng i đi đ ng là m t trong những vấn đề quan trong việc đ m b o an toàn cho xe ch y tự đ ng Việc nh n d ng ng i đi đ ng thông qua việc xử lý nh từ camera V i sự phát triển nhanh chóng c a tốc đ xử lý c a máy tính và camera tốc đ cao đ c ng d ng trên rất nhiều trên ô tô Từ việc ng d ng trong bài toán nh n d ng ng tiêu chính: Xác định đối t ng ng i đi đ i đi đ ng nhằm vào hai... bằng âm thanh và hình nh m t cách liên t c t i đi n tho i c a ng đang đi đ ng phía tr i c để nhắc nh Đồng th i, m t âm thanh c nh báo s vang lên kèm theo m t hình nh hiển thị lên màn hình trên b ng táp-lô c a xe 3 Hình 1.3: Phát hiện người đi đường bằng công nghệ không dây [3] Công nghệ không dây (Wireless) giữa xe vƠ đi n tho i s thi t l p m t kênh giao ti p v i nhau mà không cần m t đi m truy c p... ng cách từ xe đ n đối t ng từ ch i, xe vƠ ch ng ng i v t ng Phán đoán các hành vi ng trình đ a tín hiệu đi u khiển xe ch y tự đ ng 1.5 ụănghƿaăkhoaăh căvƠătínhăth căti năc aăđ ătƠi Đề tƠi ắNGHIÊNă C Uă THU Tă TOÁNă NH Nă D NGă NG Đ NG,ă XE VĨă CH giúp cho ng i tƠi x đ Đo kho ng cách ng đối t Iă ĐI NGă NG Iă V Tă CHO Ọă TỌă CH Yă T ă Đ NG” s c tho i mái khi xe ch y trên đ i đi đ ng, xe và ch ng cao... i, giúp ng i ng c đi u khiển tự đ ng ph c v tất c i không có kh năng lái xe Đƣ có rất nhiều nghiên c u t p trung vƠo bƠi toán an toƠn khi đi u khiển xe M t số thi t bị c nh báo vƠ đi u khiển h tr ng i lái xe đ c ra đ i Hãng Toshiba v i dòng s n phẩm TMPV760 sử d ng camera và vi xử lý tốc đ cao cho ra đ i các hệ thống h tr lái xe nâng cao Trong đó gồm có các hệ thống: c nh báo va ch m xe (Vehicle collision... giúp ng tr i lái xe ch đ ng đ c c các tình huống x y ra và nhằm gi m thiểu tối đa tai n n Năm 2013 hƣng xe Toyota ra mắt xe ch y tự đ ng Lexus AASRV Tuy nhiên trong lĩnh vực xe ch y tự đ ng ph i kể đ n hãng Google vào 10/2010 chi c Toyota Prius đ c ch y thử nghiệm thành công Ti p theo sau đó lƠ những phiên b n xe ch y tự đ ng đ c c i ti n để hoàn chỉnh h n Google đƣ cho ra đ i m u xe ch y tự đ ng riêng