(Luận văn thạc sĩ) nhận dạng biển báo giao thông dùng máy học

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN THỤY TƠ HỒI NGHI NHẬN DẠNG BIỂN BÁO GIAO THÔNG DÙNG MÁY HỌC NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 SKC005807 Tp Hồ Chí Minh, tháng 10/2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN THỤY TƠ HỒI NGHI NHẬN DẠNG BIỂN BÁO GIAO THÔNG DÙNG MÁY HỌC NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 Tp Hồ Chí Minh, tháng 10/2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN THỤY TƠ HỒI NGHI NHẬN DẠNG BIỂN BÁO GIAO THÔNG DÙNG MÁY HỌC NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 Hướng dẫn khoa học: TS LÊ MỸ HÀ Tp Hồ Chí Minh, tháng 10/ 2018 LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƯỢC: Họ & tên: NGUYỄN THỤY TƠ HỒI NGHI Giới tính: Nữ Ngày, tháng, năm sinh: 22/07/1991 Nơi sinh: Khánh Hòa Quê quán: Cam Lâm – Khánh Hòa Dân tộc: Kinh Chức vụ, đơn vị công tác trước học tập, nghiên cứu: Kỹ sư phân tích lỗi Cơng ty TNHH ON Semiconductor Vietnam Chỗ riêng địa liên lạc: 7B1, đường 278, phường Tăng Nhơn Phú A, quận 9, Tp Hồ Chí Minh Điện thoại nhà riêng: 0356002243 E-mail: hoainghi.dvt09@gmail.com AI QUÁ TRÌNH ĐÀO TẠO Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ 09/2009 đến 09/2013 Nơi học (trường, thành phố): Đại học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh Ngành học: Cơng nghệ điện tử viễn thông Tên đồ án, luận án môn thi tốt nghiệp: Cải tiến mô mạch WILKINSON Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: 07/2013, Đại học Sư Phạm Kỹ Thuật TP HCM Người hướng dẫn: Th.S Lê Minh Thành Thạc sĩ: Hệ đào tạo: Chính quy Thời gian đào tạo từ 09/2016 đến 10/2018 Nơi học (trường, thành phố): Đại học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh Ngành học: Kỹ thuật điện tử Tên luận văn: Nhận dạng biển báo giao thông dùng máy học Ngày & nơi bảo vệ luận văn: 10/2018, Đại học Sư Phạm Kỹ Thuật TP HCM Người hướng dẫn: TS Lê Mỹ Hà Trình độ ngoại ngữ (biết ngoại ngữ gì, mức độ): Anh văn, Trung cấp Học vị, học hàm, chức vụ kỹ thuật thức cấp; số bằng, ngày & nơi cấp: Kỹ sư, Kỹ sư công nghệ điện tử viễn thông; 198006, 26/09/2013, Đại học Sư Phạm Kỹ Thuật Tp.HCM BI Q TRÌNH CƠNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC Thời gian 3/2014 – 11/2014 11/2014 – LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tp Hồ Chí Minh, ngày 30 tháng 09 năm 2018 (Ký tên ghi rõ họ tên) Ngũn Thụy Tơ Hồi Nghi LỜI CẢM ƠN Học viên thực xin gởi lời cảm ơn chân thành đến thầy - Tiến sĩ Lê Mỹ Hà - người tận tình hướng dẫn, bảo tạo điều kiện thuận lợi để học viên thực hồn thành tốt đề tài Bên cạnh đó, học viên thực xin chân thành cảm ơn quý thầy cô khoa Điện - Điện tử nói chung thầy ngành kỹ thuật Điện tử nói riêng người dùng, anh chị học viên khoa, đặc biệt lớp Kỹ thuật Điện tử 2016B đóng góp ý kiến kinh nghiệm trình thực đề tài Tuy nhiên trình thực trình độ hiểu biết hạn chế, khả dịch tài liệu Anh văn chuyên ngành hạn hẹp nguồn lấy từ nhiều tư liệu khác nên xảy nhiều sai sót, nên kính mong q thầy anh chị, người dùng góp ý bổ sung để học viên thực đề tài hiểu biết phục vụ cho nghiên cứu khoa học sau Học viên thực đề tài lần xin chân thành cảm ơn TP Hồ Chí Minh, ngày 30 tháng 09 năm 2018 Học viên thực Ngũn Thụy Tơ Hồi Nghi i TĨM TẮT Trong thời đại giới với phát triển nhảy vọt trình độ khoa học kỹ thuật, người tạo nên phát triển nhiều cơng trình khoa học mang tính tầm cỡ Trong số khái niệm thị giác máy tính (Computer vision), mạng neural (neural network) đóng vai trò quan trọng sống Ngày nay, bên cạnh với phát triển bùng nổ neural network, đặc biệt nhánh deep learning – cơng nghệ nhân tạo đưa máy móc gần với người, có nhiều ứng dụng đạt thành khả quan lĩnh vực đời sống người, giải vấn đề dị tìm ung thư y học, ứng dụng quân cứu hộ, thuật tốn hay khái niệm cũ có cải tiến vượt trội, có kỹ thuật đặc trưng kênh tổng hợp (Aggregate Channel Features – ACF) (một kỹ thuật máy học – Machine Learning) Nói tình hình giao thơng có nhiều ngun nhân làm tăng số vụ tai nạn kể khách quan chủ quan trách nhiệm thuộc người tham gia giao thông chủ yếu Một phần người tham giao giao thông chưa hiểu biết cụ thể quy định tham gia giao thơng, phần cịn lại người tham gia giao thơng chưa phản ứng nhanh có cố đường Với lý học viên lựa chọn đề tài phát đường đối tượng tham gia giao thông cho hệ thống trợ lái môi trường đô thị Đề tài sử dụng kỹ thuật ACF với ưu điểm tốc độ nhận dạng xe máy ô tô q trình tham gia giao thơng tuyến đường khác nhau, bên cạnh học viên kết hợp nhận dạng đường dự đoán khoảng cách từ camera đến vật thể để hỗ trợ cho việc cảnh báo va chạm phía trước Kết mơ thể để minh họa cho tính hiệu phương pháp ii ABSTRACT In a world, where technology has taken giant leads, people have created and and developed many important sience projects In all of them, computer visison and neural network plays an important role in our lfe Nowaday, beside the rapid growth of neural net work, especially deep learning – a technology that brings machine and mankind closer together – has a lot application and gained success in many aspect like detecting cancer in medical, rescuing in military,… old computational algorithm also have some big improvement, and one of that is Aggregate Channel Features – ACF (this is a one of Machine Learning) Noticing the traffic big picture, many causes that lead to increasing in traffic accident have been found But most of it come from the people themselves Not fully understanding the traffic rules and not reacting quickly can lead to many unwanted accident With this reason, I have choosen the project as detecting traffic lane and object for the power assist steering in city This project used ACF with fast recognition advantage when driving in many different route Beside that, I have used lane recognition and distance prediction for supporting ahead impact warning and alarm Result of simulation is shown to illustrate the effectiveness of this method iii MỤC LỤC LỜI CẢM ƠN i TÓM TẮT ii ABSTRACT iii MỤC LỤC .iii DANH SÁCH HÌNH vi DANH SÁCH BẢNG viii DANH MỤC TỪ VIẾT TẮT ix Chương 1: TỔNG QUAN .1 1.1 Giới thiệu 1.2 Mục tiêu đề tài .6 1.3 Phương pháp đề tài 1.5 Bố cục Chương 2: LÝ THUYẾT VỀ PHÁT HIỆN LÀN ĐƯỜNG .8 2.1 Giới thiệu 2.2 Kĩ thuật mắt chim – Bird’s eye view mapping 2.2.1 Uốn cong tầm nhìn ảnh (WPM) 2.2.2 Đảo tầm nhìn hình ảnh (IPM) 2.3 Phát biên hình ảnh thu kỹ thuật mắt chim 11 2.4 Dự đoán khoảng cách từ camera đơn từ hình ảnh mắt chim .11 2.5 Thuật toám RANSAC 16 Chương 3: LÝ THUYẾT VỀ NHẬN DẠNG VÀ BÁM ĐỐI TƯỢNG 17 3.1 Phương pháp phát dựa màu sắc 17 3.2 Phương pháp phát dựa hình dạng 17 3.3 Thuật toán Support Vector Machine (SVM) 18 3.4 Trích xuất đặc trưng Histogram of gradient (HOG) 19 3.5 Phương pháp phát rút trích đặc trưng Haar 20 iii Biểu đồ lỗi lập lại dạng biểu đồ thanh, giúp người dùng xác định hình ảnh ảnh hưởng xấu đến hiệu chuẩn (hình 19) - Kiểm tra trực quan hóa tham số bên ngồi Hình ảnh 3D tham số bên cung cấp chế độ trung tâm t\từ máy ảnh mẫu chế độ xem trung tâm từ mẫu máy ảnh Kiểm tra vị trí tương đối mẫu máy ảnh để xác định xem chúng có khớp với người dùng mong đợi hay khơng (hình 20) - Xem hình ảnh sau hiệu chuẩn Để xem hiệu ứng việc loại bỏ biến dạng ống kính, nhấn Show Undistorted phần View thẻ Calibration Nếu hiệu chuẩn xác, đường méo hình trở thành thẳng (hình 21) Hình 19: Biểu đồ lỗi lặp lại Hình 20: Kiểm tra trực quan hóa tham số bên ngồi 45 Hình 21: Xem hình ảnh sau hiệu chuẩn Việc kiểm tra hình ảnh chưa phân loại quan trọng lỗi lập lại có tỉ lệ thấp Ví dụ: mẫu bao gồm tỷ lệ phần trăm nhỏ hình ảnh, ước lượng méo khơng xác, hiệu chuẩn dẫn đến vài lỗi tái phát Hình ảnh sau cho thấy ví dụ loại ước lượng khơng xác cho hiệu chuẩn máy ảnh (hình 22) Để cải thiện hiệu chuẩn, người dùng xóa hình ảnh có lỗi cao, thêm nhiều hình ảnh hơn, sửa đổi cài đặt hiệu chuẩn Cân nhắc thêm nhiều hình ảnh nếu:  Người dùng có 10 hình ảnh  Các mẫu khơng bao phủ đủ khung hình  Các mẫu khơng có đủ thay đổi hướng máy ảnh Xem xét xóa hình ảnh hình ảnh nếu:  Hình ảnh có lỗi lập lại trung bình cao  Các hình ảnh bị mờ  Các hình ảnh có bàn cờ góc lớn 45 độ so với mặt phẳng máy ảnh  Điều chỉnh thông số để cải thiện độ xác (nếu cần)  Xuất đối tượng tham số 46 Đối tượng chứa tham số nội bên máy ảnh hệ số méo xuất người dùng sử dụng đối tượng cho mục đích khác Hình 22: Ứơc lượng khơng xác [18] e Kết thực đề tài Sử dụng 11 ảnh chụp checkerboard để hiệu chỉnh camera, với khoảng cách từ camera tới vật thể trung bình 2m Kết xuất thông số camera hình 23, ghi nhận hai thơng số bên ngồi nội để sử dụng chương trình mơ phịng Hình 23: Các thơng số camera sau thực hiệu chỉnh 47 4.2.2 Tạo liệu huấn luyện Image Label Toolbox Sử dụng công cụ Image Label để xác định vị trí xe máy hay xe ảnh Từ tạo tập liệu có dạng “.mat” để tiến hành huấn luyện Matlab (hình 26 27) Tập liệu bao gồm: - Tập liệu huấn luyện xe máy: 207 ảnh có số ảnh có nhiều xe máy - Tập liệu huấn luyện xe hơi: 331 ảnh trong có số ảnh có nhiều xe Sau thực trích đặc trưng cho hai tập liệu ACF kêt sau: - Đối với tập liệu xe Hình 24: Tập đặc trưng liệu xe sau trích đặc trưng theo ACF - Đối với tập liệu xe máy Hình 25: Tập đặc trưng liệu xe máy sau trích đặc trưng theo ACF 48 Hình 26: Tracking đối tượng cho liệu huấn luyện xe Hình 27: Tracking đối tượng cho liệu huấn luyện xe máy 4.3 Kết Sử dụng camera điện thoại: Cảm biến camera có độ phân giải 13MP, độ f/2.2 kích thước cảm biến lớn 1/3inch  Video 1: đường Phạm Văn Đồng, quay lúc 12h trưa, với vị trí đặt camera khoảng 1m7 tính từ mặt đất, góc nghiêng khoảng 10 độ 49  Video 2: đường Khu Công Nghệ cao quận 9, quay lúc 16h, với vị trí đặt camera khoảng 2m tính từ mặt đất, góc nghiêng khoảng (-4) độ 50  Video 3: đường Lê Duẩn, điều kiện âm u (có mưa), quay lúc 16h, với vị trí đặt camera khoảng 2m tính từ mặt đất, góc nghiêng khoảng (4) độ  Video 4: đường Nam Kỳ Khởi Nghĩa, điều kiện âm u (có mưa), quay lúc 16h, với vị trí đặt camera khoảng 2m tính từ mặt đất, góc nghiêng khoảng (4) độ 51  Trường hợp nhận dạng chưa xác: đường bị phát chưa phụ thuộc vào cảm biến máy ảnh việc tạo hình ảnh mắt chim; nhận dạng sai phương tiện xe hay xe máy hay không liệu huấn luyện khơng nhiều Hình 28: Một số trường hợp nhận dạng chưa xác 4.4 Đánh giá độ xác Để đánh giá độ xác kết nhận dạng, học viên sử dụng thông số ROC ROC viết tắt Reciver Operating Characteristic, đường cong đặc trưng hoạt động thu nhận - để xác định phần nhận có tín hiệu nhiễu Giá trị ngưỡng định số lượng bao gồm: true positives, true negatives, false positives, false negatives Các thông số ROC ví dụ nhận dạng xe máy thể sau: 52 - True possitive (TP): Nếu kết từ dự đốn có xe máy giá trị thực tế có xe máy – Phân loại xác - True negatives (TN): Xảy kết dự đoán giá trị thực tế khơng có xe máy - False positives (FP): Nếu giá trị thực tế khơng có xe máy cho có xe máy – phân loại khơng xác - False negatives (FN): Khi kết dự đốn khơng có xe máy giá trị thực tế có xe máy Tỉ lệ độ xác tính theo cơng thức sau: fprate = (4 9) tprate = accuracy = (4 10) (4 11) Với N: tổng số phân loại negatives, P: tổng số phân loại positives Bảng 1: Thống kê độ xác video clip vấn đề nhận dạng xe hơi, xe máy đường (khảo sát khoảng 20 frames) Video Video Video Video 53 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 - Kết luận Đề tài ban đầu áp dụng kỹ thuật ACF nhận dạng vài đối tượng tham gia giao thơng xe máy xe số đoạn đường Việt Nam - Đề tài sử dụng kỹ thuật mắt chim đảo tầm nhìn hình ảnh – IPM để phát đường - Đề tài dự đoán khoảng cách từ camera đơn đến đối tượng phía trước - Đề tài sử dụng Camera Calibration Toolbox việc hiệu chỉnh camera Image Label Toolbox để tạo liệu huấn luyện - Ngoài ra, đề tài sử dụng thuật toán RANSAC việc loại bỏ nhiễu sử dụng thông số ROC để đánh giá độ xác 5.2 Hạn chế hướng phát triển 5.2.1 Hạn chế - Đề tài áp dụng cho video ghi lại camera, chưa thực camera thực tế tham giao thông (thực online) - Đề tài chưa thực vào ban đêm hay đường bóng (trong điều kiện thiếu ánh sáng) - Đề tài chưa mở rộng việc nhận dạng cho phương tiện khác xe tải, xe bán tải…, vật thể tham gia giao thông khác người bộ, biến báo… - Đề tài sử dụng camera điện thoại nên phần cảm biến máy ảnh thay đổi liên tục theo điều kiện chiếu sáng, camera chưa chống rung góc quay thay đổi liên tục nên gây có nhiều trường hợp nhận dạng chưa xác - Dữ liện huấn luyện hạn chế làm độ xác chưa cao - Phần dự đốn khoảng cách sử dụng camera đơn nên cần sử dụng stereo camera để có kết xác 54 - Tốc độ xử lý phụ thuộc nhiều vào chất lượng độ phức tạp hình ảnh 5.2.2 Hướng phát triển Với hướng nhận dạng biện báo giao thông này, người nghiên cứu phát triển nhiều hướng khác là: - Kết hợp training CNN ACF để tìm kiếm phương pháp tối ưu độ xác thời gian nhận dạng - Sử dụng camera chuyên nghiệp lưu thông đường có khả chống rung cảm biến cố định để nhận kết nhận dạng khả quan - Mở rộng thư viện nhận dạng: nhận dạng hầu hết loại phương tiện tham gia giao thông vật cản - Kết hợp nhận dạng thi hành nhiệm vụ sau nhận dạng là: stop, rẽ trái/phải, giảm tốc độ… 55 TÀI LIỆU THAM KHẢO [1] Yongzheng Xu, Guizhen Yu, Yunpeng Wang, Xinkai Wu, and Yalong Ma, “A Hybrid Vehicle Detection Method Based on Viola-Jones and HOG + SVM from UAV Images”, Sensors, 2016 [2] Nur Shazwani Aminuddin, Masrullizam Mat Ibrahim, Nursabillilah Mohd Ali, Syafeeza Ahmad Radzi, Wira Hidayat Mohd Saad & Abdul Majid Darsono, “A new approach to highway lane detection by using HOUGH transform technique”, Faculty of Electronic and Computer Engineering - Universiti Teknikal Malaysia Melaka, Malaysia, 2017 [3] Zhaojin Zhang, Cunlu Xu and Wei Feng, “Road Vehicle Detection and Classification based on Deep Neural Network”, IEEE, 2016 [4] Jeffrey de Deijn, “Automatic Car Damage Recognition using Convolutional Neural Networks”, Vrije Universiteit Amsterdam, 2018 [5] Qingpeng Li, Lichao Mou, Qizhi Xu, Yun Zhang and Xiao Xiang Zhu, “R -Net: A Deep Network for Multi-oriented Vehicle Detection in Aerial Images and Videos”, IEEE, 2018 [6] Daniel Neumann, Tobias Langner, Fritz Ulbrich, Dorothee Spitta and Daniel Goehring, “Online Vehicle Detection using Haar-like, LBP and HOG Feature based Image Classifiers with Stereo Vision Preselection”, IEEE, 2017 [7] Mathwork, “Visual Perception Using Monocular Camera”, Matlab link: https://www.mathworks.com/help/driving/examples/visual-perception-usingmonocular-camera.html, 2017 [8] Bin Yang, Junjie Yan, Zhen Lei, Stan Z Li, “Aggregate Channel Features for Multi-view Face Detection”, Center for Biometrics and Security Research & National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences, China, IEEE, 2014 [9] Piotr Doll, Ron Appel, Serge Belongie, and Pietro Perona “Fast Feature Pyramids for Object Detection, IEEE, 2014 56 [10] Ruyi Jiang, Mutsuhiro Terauchi, Reinhard Klette, Shigang Wang, and Tobi Vaudrey, “Low-level Image Processing for Lane Detection and Tracking”, Shanghai Jiao Tong University, Shanghai, China, Hiroshima International University, Japan, The University of Auckland, Auckland, New Zealand, 2009 [11] Yinghua He, Hong Wang, and Bo Zhang, “Color-Based Road Detection in Urban Traffic Scenes”, IEEE, 2004 [12] Hsu-Yung Cheng, Bor-Shenn Jeng, Pei-Ting Tseng, and Kuo-Chin Fan, “Lane Detection With Moving Vehicles in the Traffic Scenes”, IEEE, 2006 [13] G Loy, Nick Barnes, “Fast shape-based road sign detection for a driver assistance system”, IEEE/RSJ International Confrence on Intelligent Robots and System, pp 70-75, 2004 [14] Carlos Filipe Paulo, Paulo Lobato Correia, “Traffic Sign Recognition Based on Pictogram Contours”, IEEE, 2008 [15] D Gavrila, “Traffic sign recognition revisited”, DAGM-Symposium, pp 86 – 93, 1999 [16] Javad Sadri, Ching Y.Suen, Tien D.Bui, “Application of Support Vector Machines for Recognition of Handwritten Arabic/Persian Digits”, MVIP, 2003 [17] Paul Viola, Michael Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, Accepted Conference on Computer Vision and Pattern Recognition, 2001 [18] Mathworks, “Single Camera Calibrator App”, Matlab Link: https://www.mathworks.com/help/vision/ug/single-camera-calibrator-app.html , 2015 [19] Hồ Quốc Thiền, “Giám sát an ninh dùng kĩ thuật xử lý hình ảnh”, Đại học Sư [20] Alessandro Zamberletti, “Text Localization and Recognition in Natural Scene Images”, University of Insubria, 2015 57 ... TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN THỤY TƠ HỒI NGHI NHẬN DẠNG BIỂN BÁO GIAO THÔNG DÙNG MÁY HỌC NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 Hướng dẫn khoa học: TS... Kỹ Thuật Thành Phố Hồ Chí Minh Ngành học: Kỹ thuật điện tử Tên luận văn: Nhận dạng biển báo giao thông dùng máy học Ngày & nơi bảo vệ luận văn: 10/2018, Đại học Sư Phạm Kỹ Thuật TP HCM Người hướng...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN THỤY TƠ HỒI NGHI NHẬN DẠNG BIỂN BÁO GIAO THÔNG DÙNG MÁY HỌC NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203