(Luận văn thạc sĩ) xây dựng mô hình hệ thống cảnh báo tai nạn cho ô tô

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ BÙI QUANG SƠN XÂY DỰNG MƠ HÌNH HỆ THỐNG CẢNH BÁO TAI NẠN CHO Ô TÔ NGÀNH: KT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA – 8520216 SKC006114 Tp Hồ Chí Minh, tháng 04/2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ BÙI QUANG SƠN XÂY DỰNG MƠ HÌNH HỆ THỐNG CẢNH BÁO TAI NẠN CHO Ô TÔ NGÀNH: KT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA – 8520216 Hướng dẫn khoa học: PGS.GVCC.TS Nguyễn Minh Tâm Tp Hồ Chí Minh, tháng 4/2019 LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƯỢC: Họ & tên: BÙI QUANG SƠN Giới tính: Nam Ngày, tháng, năm sinh: 16/02/1983 Nơi sinh: Tp.Đà lạt Quê quán: Bắc Sơn – Đô lương – Nghệ An Dân tộc: Kinh Chỗ riêng địa liên lạc: Số 10 KQH Yersin – Phường – Tp.Đà lạt Điện thoại quan: Điện thoại nhà riêng: 0913697919 Fax: E-mail:buiquangson49@gmail.com II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Không Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ 09/2001 đến 05/2006 Nơi học (trường, thành phố): Trường ĐH Tơn Đức Thắng Ngành học: Tự động hóa Tên đồ án, luận án môn thi tốt nghiệp: Nhận dạng giọng nói Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: 10-11/04/2006 Người hướng dẫn: TS Nguyễn Thiện Thành III Q TRÌNH CƠNG TÁC CHUN MƠN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Từ T8/2006 – T8/2012 Từ T9/2012 – Nay i LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tp Hồ Chí Minh, ngày … tháng … năm 201… (Ký tên ghi rõ họ tên) Bùi Quang Sơn ii LỜI CẢM TẠ Đầu tiên Em xin gửi lời cảm ơn đến thầy PGS.GVCC.TS Nguyễn Minh Tâm – Giảng viên hướng dẫn Em Cảm ơn Thầy gợi mở, dành nhiều thời gian quý báu để hướng dẫn em suốt thời gian thực đề tài Bên cạnh đó Em xin gửi lời cảm ơn chân thành đến quý Thầy, Cô giảng dạy, chia kinh nghiệm, hỗ trợ Em trình thực luận văn suốt khoảng thời gian Giảng đường cao học Sau Em xin chúc quý Thầy, Cô nhiều sức khỏe nhiều niềm vui sống Trường ĐH Sư phạm Kỹ thuật TP.HCM Tháng năm 2019 Bùi Quang Sơn iii TÓM TẮT Ngày nay, với phát triển mạnh mẽ vượt bậc khoa học kỹ thuật, sản phẩm ứng dụng trí tuệ nhân tạo, thiết bị thông minh dần trở nên phổ biến sống thường ngày Các ngành nghề, hãng sản xuất lớn chạy đua, cạnh tranh công nghệ cách mạnh mẽ Hịa chung với nhịp độ phát triển hãng sản xuất ô tô không ngừng nghiên cứu phát triển thiết bị, hệ thống thông minh để trang bị ô tô Các thiết bị, hệ thống giúp cho người điều khiển phương tiện an tồn, tiện lợi thơng minh nhằm giảm thiểu rủi ro xảy an toàn nạn q trình tham gia giao thơng Tuy nhiên giá thành thương mại thiết bị, hệ thống thông minh lại cao Cuộc sống ngày để sở hữu xe vấn đề khó khăn người, nên ngày có nhiều tơ lưu thơng đường Điều dẫn đến tỉ lệ rủi ro an toàn tai nạn ngày cao với nhiều lý chủ quan khách quan Xuất phát từ vấn đề trên, học viên có ý tưởng xây dựng mơ hình cảnh báo tai nạn cho ô tô tham gia giao thông Mô hình thực phát đường, giám sát, nhận dạng đối tượng phía trước hướng lưu thơng đưa cảnh báo cho người điều khiển phương tiện cần thiết Để giải toàn nhận dạng đối tượng có nhiều phương pháp giải thuật nghiên cứu, số phương pháp rút trích đặc trưng Haar – like kết hợp với thuật toán AdaBoost Viola Jone cho kết tốt mặt nhận dạng tốc độ xử lý để thiết bị chạy realtime Chính ưu điểm này, nên học viên chọn phương pháp rút trích đặc trưng Haar – like để thực việc nhận dạng đối tượng xe tơ cho mơ hình, kết hợp với phát đường đưa cảnh báo iv MỤC LỤC QUYẾT ĐỊNH GIAO ĐỀ TÀI LÝ LỊCH KHOA HỌC LỜI CAM ĐOAN LỜI CẢM TẠ TÓM TẮT MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH Chương TỔNG QUAN 1.1 Giới thiệu 1.2 Mục tiêu đề tài 1.3 Phương pháp đề tài 1.4 Phạm vi đề tài 1.5 Bố cục đề tài Chương LÝ THUYẾT XÂY DỰNG MÔ HÌNH HỆ THỐNG CẢNH BÁO TAI NẠN CHO ƠTƠ 2.1 Lý thuyết nhận dạng đối tượng 2.1.1 Phương pháp dựa tr 2.1.2 Phương pháp dựa t 2.1.3 Thuật tốn Support 2.1.4 Trích xuất đặc trưn 2.1.5 Rút đặc trưng v 2.1.6Phương pháp nhận 2.1.7Đặc trưng ACF 2.1.8Phương pháp phát 2.1.9So sánh ưu điểm v 2.2Lý thuyết phát đường 2.2.1Giới thiệu 2.2.2Kỹ thuật phân ngư 2.2.3Kỹ thuật ảnh mắt c Chương THỰC HIỆN VÀ KẾT QUẢ ĐẠT ĐƯỢC 3.1Các công cụ hỗ trợ 3.1.1Raspberry 3.1.2Thư viện OpenCV 3.1.3Ngôn ngữ Python 3.1.4Cascade trainger G 3.2Lưu đồ thực 3.3Hình ảnh thiết bị gắn lên xe để kiểm tra th 3.4Kết thực tế loại đường 3.5Đánh giá kết thực Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1Kết luận 4.2Hạn chế hướng phát triển đề tài 4.2.1Hạn chế 4.2.2Hướng phát triển TÀI LIỆU THAM KHẢO vi vii nhiều lần thị trường) cơng ty Ơng làm việc để hồn thiện sản phẩm Ơng cộng tác chọn Linux hệ điều hành cho Raspberry Pi đặc điểm địi hỏi cấu hình pc thấp, “nguồn mở” quan trọng có “tính lập trình” cao so với Windows Với nỗ lực Eben Upton đồng nghiệp, đến năm 2011, Raspberry Pi Model B, phiên hoàn thiện Raspberry Pi, thức tung thị trường Về nguồn gốc tên Raspberry Pi, phịng thí nghiệm máy tính đại học Cambridge thường đặt tên sản phẩm tên loại trái cây, “Raspberry” nghĩa “quả dâu” “Pi” ám “python” ngơn ngữ lập trình thức Raspberry Pi 3.1.1.2 Cấu hình Raspberry PI B+ Bảng 3.1: Bảng thơng số cấu hình Raspberry Pi B+ Thơng số SoC CPU GPU Memory USB 2.0 ports Video outputs Audio outputs Onboard storage Onboard network Low-level peripherals Power ratings Power source Size Weight Operating systems 3.1.2 Thư viện OpenCV OpenCV viết tắt từ Open Source Computer Vision Library: - OpenCV thư viện mã nguồn mở phục vụ cho việc nghiên cứu hay phát triển thị giác máy tính - OpenCV tối ưu hóa xử lý ứng dụng thời gian thực OpenCV giúp cho việc xây dựng ứng dụng xử lý ảnh, thị giác máy tính… cách nhanh - OpenCV có 500 hàm khác nhau, chia làm nhiều phần phục vụ công việc như: xử lý ảnh, an ninh, camera quan sát, nhận diện, robot… Thư viện viết ngơn ngữ C C++ chạy hệ điều hành Linux, Window MacOsX OpenCV thiết kế để nâng cao hiệu suất tính tốn nhấn mạnh đến hệ thống thời gian thực OpenCV đưa hệ thống đơn giản, dễ sử dụng giúp người nhanh chóng xây dựng ứng dụng thị giác máy, kể hệ thống kiểm tra nhà máy, ảnh lĩnh vực y học, bảo mật, robot học… Nó chứa lập trình xử lý ảnh đơn giản, kể thực thi hàm bậc cao dị tìm khn mặt, theo dõi khn mặt, nhận dạng khuôn mặt… OpenCV giới thiệu vào tháng 1/1999, OpenCV sử dụng nhiều ứng dụng, sản phẩm nghiên cứu như: lĩnh vực hàng không, sử dụng giảm nhiễu y học, phân tích đối tượng, an ninh, hệ thống dị tìm, theo dõi tự động hệ thống bảo mật , ngồi cịn sử dụng nhận dạng âm OpenCV cịn chìa khóa quan trọng robot sử dụng thị giác Stanford, Asimo 31 Cấu trúc OpenCV chia làm phần chính, số chia hình 3.1 Hình 3.1: Cấu trúc OpenCV - CV (computer vision) thành phần chứa xử lý ảnh sở thuật toán thị giác máy tính mức cao - MLL (machine learning library) thư viện machine learning, bao gồm nhiều lớp thống kê gộp công cụ xử lý HighGUI chứa thủ tục vào hàm dùng cho việc lưu trữ tải ảnh video - CXCore chứa cấu trúc nội dung liệu sở 3.1.3 Ngơn ngữ Python Python ngơn ngữ lập trình sử dụng phổ biến ngày để phát triển nhiều loại ứng dụng phần mềm khác chương trình chạy desktop, server, lập trình ứng dụng web Ngồi Python ngơn ngữ ưa thích ngành khoa học liệu (data science) ngôn ngữ phổ biến để xây dựng chương trình trí tuệ nhân tạo bao gồm machine learning Mục đích đời Python cung cấp ngơn ngữ lập trình có cấu trúc rõ ràng, sáng sủa, thuận tiện cho người học lập trình Python phát triển Guido Rossum Phiên phát hành vào năm 1991 Python lấy cảm hứng từ ABC, Haskell, Java, Lisp, Icon Perl Python ngôn ngữ thông dịch, đa tảng Một đặc điểm độc Python ngôn ngữ không dùng đến dấu chấm phẩy, dấu mở-đóng ngoặc {} để kết thúc câu lệnh hay khối lệnh, mà cách để nhận biết lệnh dấu lùi đầu dịng 32 Hiện Python có hai dịng phiên dòng 2.x 3.x Đặc điểm bật Python: - Python ngôn ngữ dễ học: Ngôn ngữ Python có cú pháp đơn giản, rõ ràng sử dụng số lượng khơng nhiều từ khố, Python đánh giá ngơn ngữ lập trình thân thiện với người học - Python ngôn ngữ dễ hiểu: Mã lệnh (source code hay đơn giản code) viết ngôn ngữ Python dễ đọc dễ hiểu - Có thư viện chuẩn module ngoài, đáp ứng tất nhu cầu lập trình - Python có tương thích cao (highly portable): Chương trình phần mềm viết ngơn ngữ Python chạy nhiều tảng hệ điều hành khác bao gồm Windows, Mac OSX Linux 3.1.4 Cascade trainger GUI Cascade training GUI chương trình ứng dụng xây dựng với mục đích làm cho trình huấn luyện liệu theo phương pháp rút trích đặc trưng Haar – like theo mơ hình cascade dễ dàng thân thiện hơn, chương trình có giao diện hình 3.2 Hình 3.2: Giao diện chương trình Cascade Trainger GUI Để thực việc huấn luyện người dùng cần chuẩn bị ảnh liệu hình 3.3 hay cịn gọi dataset sau: 33 n (negatvie): tập liệu ảnh không chứa hình ảnh đối tượng huấn luyện - p (positive): tập liệu ảnh có chứa hình ảnh đối tượng huấn luyện Sau thực xong trình huấn luyện chương trình tao file có tên cascade.xml cho mơ hình người dùng kiểm tra kết huấn luyện mơ hình trực tiếp phần mềm Hình 3.3: Hình ảnh tập liệu p n mơ hình 3.2 Lưu đồ thực Hình 3.4: Lưu đồ thực 34 3.3 Hình ảnh thiết bị gắn lên xe để kiểm tra thực tế: Sau lắp ráp, làm chân đế để thuận tiện cho việc cân chỉnh, thiết bị gắn định vị lên xe để kiểm tra hoạt động thực tế hình 3.5 Hình 3.5: Thiết bị gắn thực tế Các bước thực theo lưu đồ hình 3.4 kết bước lưu đồ thể cụ thể sau: Bước 1: Tiền xử lý frame ảnh đầu vào, resize kích thước frame 480x320 Hình 3.6: Hình ảnh đầu vào 35 Bước 2: Nhận dạng đối tượng (xe ô tơ) cảnh báo Hình 3.7: Kết nhận dạng đối tượng(xe ơtơ) ước lượng khoảng cách Hình 3.8: Thiết lập vùng cảnh báo Hình 3.9: Kết nhận dạng đối tượng đưa cảnh báo Bước 3: Chuyển đổi hình ảnh thành hình ảnh mắt chim - Xử lý hình ảnh chuyển thành ảnh nhị phân 36 Hình 3.10: Hình ảnh gốc hình ảnh nhị phân - Xác định vùng ROI tạo hình ảnh mắt chim Hình 3.11: Hình mắt chim vùng ROI Bước 4: Xác định đường Hình 3.12: Dùng cửa sổ trượt để xác định đường 37 Bước 5: Vẽ vùng đường Hình 3.13: Làn đường vẽ 3.4 Kết thực tế loại đường Hình 3.14: Kết thử nghiệm loại đường thứ Hình 3.15: Kết thử nghiệm cao tốc liên khương 38 Hình 3.16: Kết thử nghiệm đường trường Hình 3.17: Kết thử nghiệm đường khác Hình 3.18: Một số hình ảnh phát đường nhận dạng chưa xác 39 3.5 Đánh giá kết thực Để đánh giá kết phát đường, nhận dạng xe ô tô đánh giá độ xác mơ hình học viên thực cách so sánh số lượng nhận dạng tay(mắt thường) so với số lượng nhận đạng phần mềm , ba thông số đánh giá kết tính tốn thơng qua biểu thức [3] = = = + (3.1) + + + Trong đó: (3.2) - TP: số lượng trích xuất thực - FP số lượng trích xuất bị sai - FN số lượng trích xuất bị bỏ qua - Accuracy: tỷ lệ nhân dạng so với thực tế - Completeness: tỷ lệ nhận dạng xác - Quality: độ xác tổng thể mơ hình (3.3) Đường Cao tốc Cao tốc Cao tốc Cao tốc Bảng 3.2: Bảng đánh giá kết nhận dạng đối tượng xe ô tô Đường Cao tốc Cao tốc Cao tốc Cao tốc Bảng 3.3: Bảng đánh giá kết phát đường Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1 Kết luận - Đề tài thực tốt theo ý tưởng đặt ra, việc báo đường nhận dạng đối tượng tham gia giao thông xe đạt tỉ lệ cao kết bảng 3.2 bảng 3.3 Kết thực tốt so với kết phát đường nhận dạng đối tượng theo kỹ thuật ACF tác giả Nguyễn Tô Thụy Hoài Nghi[12] - Phương hướng thực theo mục tiêu để có sản phẩm chạy thực tế, sản phẩm nâng cấp để phục vụ cho việc góp phần hạn chế tai nạn, rủi ro q trình tham gia giao thơng cơng dân 4.2 Hạn chế hướng phát triển đề tài 4.2.1 Hạn chế - Đề tài áp dụng loại đường (cao tốc) thực điều kiện tương đối tốt, chưa thực thử nghiệm môi trường nhiễu trời tối, trời mưa… - Hiện trình thử nghiệm sử dụng camera kèm theo sản phẩm nên chất lượng hình ảnh chưa mong muốn dẫn đến số trường hợp có kết sai lệch 4.2.2 Hướng phát triển - Nâng cấp camera để có chất lượng tốt - Phát triển thêm hình hiển thị hệ thống cảnh báo rời (đèn, cịi, rung…) thay cảnh báo chữ hiển thị - Mở rộng thư viện nhận dạng đối tượng tham gia giao thông - Nâng cấp hệ thống hoạt động hiệu hơn, phát triển thêm cấu chấp hành can thiệp vào hệ thống thắng, ga phương tiện trường hợp xác định rủi ro cao xảy 41 TÀI LIỆU THAM KHẢO [1] Paul Viola, Michael Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, Accepted Conference on Computer Vision and Pattern Recognition, 2001 [2] Mohammad Mahdi Moghimi, Maryam Nayeri, Majid Pourahmadi, Mohammad Kazem Moghimi “ Moving vehicile deteciton using AdaBoost and Haar – like feature in surveillance videos ”, 2011 [3] Phillip Ian Wilson, Dr John Fernandez “Facial feature detection using Haar classifiers”, 2006 [4] Sri Kaushik Pavani, David Delgado, Alejandro F.Frangi “Haar – like features with optimal weighted rectangle for rapid object detection”, 2010 [5] Yinghua He, Hong Wang, and Bo Zhang, “Color-Based Road Detection in Urban Traffic Scenes”, IEEE, 2004 [6] Hsu-Yung Cheng, Bor-Shenn Jeng, Pei-Ting Tseng, and Kuo-Chin Fan, “Lane Detection With Moving Vehicles in the Traffic Scenes”, IEEE, 2006 [7] G Loy, Nick Barnes, “Fast shape-based road sign detection for a driver assistance system”, IEEE/RSJ International Confrence on Intelligent Robots and System, pp 70-75, 2004 [8] Carlos Filipe Paulo, Paulo Lobato Correia, “Traffic Sign Recognition Based on Pictogram Contours”, IEEE, 2008 [9] D Gavrila, “Traffic sign recognition revisited”, DAGM-Symposium, pp 86 –93, 1999 [10] Javad Sadri, Ching Y.Suen, Tien D.Bui, “ApplicationofSupport VectorMachinesfor RecognitionofHandwritten Arabic/Persian Digits”, MVIP, 2003 [11] Ma, “A Yongzheng Xu, Guizhen Yu, Yunpeng Wang, Xinkai Wu, and Yalong Hybrid Vehicle Detection Method Based on Viola-Jones and HOG + SVM from UAV Images”, Sensors, 2016 [12] Nguyễn Thụy Tơ Hồi Nghi, “Phát đường đối tượng tham gia giao thông cho hệ thống trợ lái”, ĐH SPKT Tp.HCM, 2018 42 ... Lý thuyết để xây dựng mô hình cảnh báo tai nạn cho ơtơ Chương 3: Thực kết đạt Chương 4: Kết luận hướng phát triển Chương LÝ THUYẾT XÂY DỰNG MƠ HÌNH HỆ THỐNG CẢNH BÁO TAI NẠN CHO ÔTÔ 2.1 Lý thuyết... viên có ý tưởng xây dựng mơ hình cảnh báo tai nạn cho ô tô tham gia giao thơng Mơ hình thực phát đường, giám sát, nhận dạng đối tượng phía trước hướng lưu thông đưa cảnh báo cho người điều khiển... TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ BÙI QUANG SƠN XÂY DỰNG MƠ HÌNH HỆ THỐNG CẢNH BÁO TAI NẠN CHO Ô TÔ NGÀNH: KT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA – 8520216 Hướng dẫn