Xây dựng ứng dụng tự động phát triển và nhận dạng biển báo giao thông đường bộ

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN THU MAI XÂY DỰNG ỨNG DỤNG TỰ ĐỘNG PHÁT HIỆN VÀ NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2017 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN THU MAI XÂY DỰNG ỨNG DỤNG TỰ ĐỘNG PHÁT HIỆN VÀ NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ Chuyên ngành : Khoa học máy tính Mã số : 60.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT Người hướng dẫn khoa học: TS TRẦN THẾ VŨ Đà Nẵng - Năm 2017 i LỜI CAM ĐOAN Tôi xin cam đoan kết luận văn cơng trình nghiên cứu riêng cá nhân hướng dẫn trực tiếp TS.Trần Thế Vũ Mọi tài liệu tham khảo luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian địa điểm cơng bố Các nội dung nghiên cứu, kết đề tài trung thực chưa cơng bố cơng trình khác Người cam đoan Trần Thu Mai ii TÓM TẮT LUẬN VĂN XÂY DỰNG ỨNG DỤNG TỰ ĐỘNG PHÁT HIỆN VÀ NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ Học viên: Trần Thu Mai Mã số: 60.48.01.01 Khóa: 31 Chuyên ngành: Khoa học máy tính Trường Đại học Bách khoa - ĐHĐN Tóm tắt - Ngày nay, cơng nghệ thơng tin phát triển ứng dụng rộng rãi nhiều lĩnh vực, có lĩnh vực giao thơng Hệ thống tự động phát nhận dạng biển báo giao thông áp dụng kỹ thuật xử lý ảnh thị giác máy tính nhiều nhà nghiên cứu quan tâm Trong luận văn, để đáp ứng yêu cầu toán phát nhận dạng biển báo giao thông phải thực thông qua nhiều giai đoạn Giai đoạn thứ thu thập liệu ảnh đầu vào cho việc nhận dạng cách chụp ảnh quay lại video có biển báo tuyến đường sau điều chỉnh hình ảnh kích thước 640x480 để tiện cho việc xử lý sau Hình ảnh sau điều chỉnh kích thước chuyển sang không gian màu HSV để xử lý phân đoạn màu dựa đặc trưng màu biển báo màu đỏ màu xanh lơ Trong giai đoạn phát biển báo, kỹ thuật dò biên phân tích hình dạng đặc trưng đối tượng áp dụng để tìm vùng có khả biển báo Tiếp theo vùng cắt phục vụ cho việc nhận dạng Để huấn luyện nhận dạng đối tượng mơ hình máy học xây dựng kết hợp với rút trích đặc trưng Surf gán điểm bật hướng cho đối tượng Sau có mơ tả phần tạo lập mục so khớp liệu áp dụng để nhận dạng loại biển báo danh sách liệu mẫu Trong luận văn huấn luyện nhận dạng khoảng 30 biển báo giao thơng thuộc nhóm: biển báo cấm, biển báo nguy hiểm, biển báo dẫn biển báo hiệu lệnh Kết đạt 90% loại biển báo Từ khóa - Tự động phát nhận dạng biển báo giao thơng; thị giác máy tính; không gian màu HSV; máy học; đặc trưng Surf iii BUILDING APPLICATION FOR TRAFFIC ROAD SIGN AUTOMATIC DETECTION AND RECOGNITION Abstract - Nowadays, information technology is developing and widely applied in many fields, including the field traffic The detection and recognition of traffic control signs system using handle image technique and computer vision have been attracted by many researchers In this thesis, the detection and recognition of traffic control signs problem is resolved through many phase The first phase, input image data is collected for recognition by the way taking a picture and video there are traffic signs on the routes, then the images are adjusted to the same size is 640x480 Images that are adjusted to the same size will be switched to the HSV color space to process the color segment based on the red and blue The traffic sign detection phase, the detection of object edge and analysis of the edge shape technique are used to figure out the image areas which are capable of the traffic signs Then these areas will be croped for for recognition To train and recognition object, machine learning model are built in conjunction with Surf feature to calculate keypoint and direction of objects Once a descriptor was created, the indexing and matching are applied to recognition the traffic sign in the sample data list In the thesis, have been trained and recognited about 30 traffic signs in the following groups: forbidden sign, hazardous sign, instructive sign, command sign Results of over 90% for each type of signs Keyworks - The detection and recognition of traffic control signs; computer vision; HSV color space; machine learning; Surf feature iv MỤC LỤC LỜI CAM ĐOAN i TÓM TẮT LUẬN VĂN ii MỤC LỤC iiiv DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT vii DANH MỤC CÁC BẢNG viii DANH MỤC CÁC HÌNH ix CHƯƠNG MỞ ĐẦU 1.1 Lý chọn đề tài 1.1.1 Bối cảnh chung .1 1.1.2 Phương pháp thực 1.2 Mục tiêu nhiệm vụ đề tài 1.2.1 Mục tiêu 1.2.2 Nhiệm vụ .3 1.3 Đối tượng phạm vi nghiên cứu 1.3.1 Đối tượng nghiên cứu .3 1.3.2 Phạm vi nghiên cứu 1.4 Phương pháp nghiên cứu .4 1.4.1 Phương pháp lý thuyết 1.4.2 Phương pháp thực nghiệm 1.5 Mục đích ý nghĩa đề tài .4 1.5.1 Mục đích 1.5.2 Ý nghĩa khoa học thực tiễn đề tài 1.6 Bố cục luận văn .5 CHƯƠNG NGHIÊN CỨU TỔNG QUAN 2.1 Báo hiệu giao thông đường 2.2 Tổng quan xử lý ảnh 2.2.1 Xử lý ảnh gì? .7 2.2.2 Một số khái niệm xử lý ảnh 2.3 Các mơ hình màu 2.3.1 Giới thiệu 2.3.2 Mơ hình màu RGB 2.3.3 Mơ hình màu HLS 10 2.3.4 Mơ hình màu IHLS .10 2.3.5 Mơ hình màu HSV 11 v 2.4 Lọc số ảnh 13 2.4.1 Lọc số ảnh gì? 13 2.4.2 Nhân chập ảnh với phép lọc số ảnh 13 2.4.3 Một số kỹ thuật lọc nhiễu .14 2.4.3.1 Lọc trung bình .14 2.4.3.2 Lọc trung vị [5] 15 2.4.3.3 Lọc thông thấp .16 2.4.3.4 Lọc thông cao 16 2.5 Các phép tốn hình thái học 16 2.5.1 Giới thiệu 16 2.5.2 Phép toán giãn nở (dilation) 16 2.5.3 Phép toán co (erosion) 17 2.5.4 Phép tốn mở đóng (opening, closing) 17 2.6 Phân vùng ảnh .17 2.6.1 Phân vùng theo ngưỡng biên độ 18 2.6.2 Phân vùng theo miền đồng 19 2.6.2.1 Phương pháp tách tứ phân 19 2.6.2.2 Phương pháp cục 21 2.6.2.3 Phương pháp tổng hợp 21 2.6.3 Phân vùng theo kết cấu bề mặt .21 2.6.4 Phân vùng dựa phân lớp điểm ảnh 22 2.6.4.1 Mơ hình tốn 22 2.6.4.2 Thuật toán 22 2.7 Phát biên 23 2.7.1 Phát biên trực tiếp 23 2.7.1.1 Kỹ thuật phát biên Gradient 23 2.7.1.2 Kỹ thuật phát biên Laplace [4] 25 2.7.1.3 Kỹ thuật phát biên Canny [4] 25 2.7.2 Phát biên gián tiếp .26 2.8 Máy học (machine learning) .27 2.8.1 Giới thiệu 27 2.8.2 Các loại giải thuật 27 2.9 Các hướng tiếp cận nhận dạng hình ảnh .28 2.9.1 Giới thiệu 28 2.9.2 Đặc trưng HOG .28 2.9.3 Đặc trưng Sift (Scale invariant feature transform) .30 vi 2.9.3.1 Xây dựng không gian tỉ lệ .30 2.9.3.2 Dị tìm cực trị cục .31 2.9.3.3 Loại bỏ keypoint có độ tương phản (contrast) thấp 31 2.9.3.4 Loại bỏ keypoint nằm biên cạnh 32 2.9.3.5 Gán hướng cho keypoint .33 2.9.3.6 Miêu tả đặc trưng 33 2.9.4 Đặc trưng Surf (Speed Up Robust Features) 33 2.9.4.1 Giới thiệu .33 2.9.4.2 Xác định điểm bật [12][17] .34 2.9.4.3 Gán hướng cho điểm bật mô tả đặc trưng Surf [12] 35 2.9.4.4 Lập mục so khớp .36 CHƯƠNG GIẢI PHÁP ĐỀ XUẤT XÂY DỰNG HỆ THỐNG 37 3.1 Sơ đồ tổng quát giải toán .37 3.2 Thu thập liệu 37 3.3 Xử lý liệu đầu vào 38 3.4 Phát nhận dạng đối tượng .39 3.4.1 Phát trích xuất vùng đặc trưng 39 3.4.1.1 Đặc trưng biển báo 39 3.4.1.2 Phương pháp phát biển báo 39 3.4.1.3 Trích xuất vùng đặc trưng .43 3.4.2 Nhận dạng đối tượng biển báo đặc trưng Surf .44 CHƯƠNG TRIỂN KHAI VÀ ĐÁNH GIÁ KẾT QUẢ 46 4.1 Môi trường triển khai 46 4.2 Kết thực nghiệm 46 4.3 Đánh giá 52 KẾT LUẬN 53 DANH MỤC TÀI LIỆU THAM KHẢO 54 QUYẾT ĐỊNH GIAO ĐỀ TÀI BẢN SAO KẾT LUẬN CỦA HỘI ĐỒNG, BẢN SAO NHẬN XÉT CỦA CÁC PHẢN BIỆN vii DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT CÁC CHỮ VIẾT TẮT: Adaboots Adaptive Boosting CMYK Cyan, Magenta, Yellow an Key HLS Hue, Luminance and Saturation HOG Histograms of Oriented Gradients HSV Hue, Saturation and Value IHLS Improved Hue, Luminance and Saturation OpenCV Open Source Computer Vision RGB Red, Green and Blue SIFT Scale-Invariant Feature Transform SURF Speed Up Robust Features viii DANH MỤC CÁC BẢNG Số hiệu bảng Tên bảng Trang 3.1 Bảng số biển báo cấm kí hiệu tương ứng 37 3.2 Bảng số biển báo nguy hiểm kí hiệu tương ứng 38 3.3 Bảng số biển báo hiệu lệnh dẫn 38 4.1 Tập liệu kiểm tra 46 53 KẾT LUẬN  Kết luận Qua thời gian dài nghiên cứu lý thuyết kết hợp với viết chương trình, luận văn tốt nghiệp “Xây dựng ứng dụng tự động phát nhận dạng biển báo giao thơng đường bộ” hồn thành đạt kết sau: o Về mặt lý thuyết: trình bày tổng quan tốn phát nhận dạng biển báo giao thơng đường Các lý thuyết xử lý ảnh phát biển báo giao thơng trình bày như: không gian màu RGB, HLS, IHLS HSV; phân đoạn ảnh; phát biên đối tượng ảnh; phương pháp trích đặc trưng Surf từ ảnh nhận dạng ảnh o Về mặt thực tiễn: hoàn thành “ứng dụng tự động phát nhận dạng biển báo giao thông đường bộ” dựa phương pháp đề xuất Từ tập tin ảnh chụp video quay biển báo giao thông đầu vào, ứng dụng phát nhận dạng biển báo giao thơng có ảnh video  Hạn chế Do thời gian kiến thức có hạn nên chương trình thực cịn số hạn chế Chương trình cho kết tốt với ảnh chứa biển báo giao thông không bị che khuất, màu trùng với màu muốn phân đoạn biển báo Chương trình thực nhận dạng số kiểu biển báo giao thơng cịn hạn chế nhận dạng ảnh có từ hai đối tượng biển báo giao thông trở lên  Hướng phát triển nghiên cứu Trong tương lai, tiếp tục nghiên cứu cải tiến phương pháp đề xuất luận văn, tăng số lượng mẫu huấn luyện kiểm tra, mở rộng phát nhận dạng thêm kiểu biển báo khác để tăng độ xác độ tin cậy hệ thống Nghiên cứu xây dựng thử nghiệm mô hình lái xe tự động phát nhận dạng biển báo giao thông đường với hệ thống xây dựng 54 DANH MỤC TÀI LIỆU THAM KHẢO Tiếng Việt [1] Trương Quốc Bảo, Trương Hùng Chen Trương Phúc Định (2015), “Phát nhận dạng biển báo giao thông đường sử dụng đặc trưng hog mạng nơ-ron nhân tạo”, Tạp chı́ Khoa học Trường Đại học Cần Thơ, (Số chuyên đề: Công nghệ Thông tin (2015)), 47-54 [2] Trần Quan Đức, “Bài giảng xử lý ảnh”, Đại học Bách khoa Hà Nội [3] Nguyễn Văn Thành (2013), “Phân tích số phương pháp phân đoạn ảnh có giám sát”, Luận văn thạc sĩ Công nghệ thông tin, Đại học Lạc Hồng [4] TS Đỗ Năng Tồn, TS Phạm Việt Bình (2007), “Giáo trình môn học xử lý ảnh”, Khoa Công nghệ thông tin, Đại học Thái Nguyên [5] PGS TS Đỗ Năng Toàn (2013), “Bài giảng Xử lý ảnh” Học viện Công nghệ bưu viễn thơng Tiếng Anh [6] Arturo de la Escalera, Luis E Moreno, Miguel Ángel Salichs and José María Armingol (1996), “Road Traffic Signs Detection and Classification” CICYT Project TAP94-0711-C03-02 [7] C Bahlmann, Y Zhu, V Ramesh, M Pellkofer, T Koehler (2005), “A System for Traffic Sign Detectiona, Tracking, and Recognition Using Color, Shape, and Motion Information”, Proceedings IEEE Intelligent Vehicles Symposium, [8] Dajun Ding, Jihwan Yoon and Chanho Lee (2012), “Traffic sign detection and identification using SURF algorithm and GPGPU” Pages 278–283 [9] D Kellmeyer and H Zwahlen (1994), “Detection of highway warning signs in natural video images using color image processing and neural networks.” In IEEE Proc.Int.Conf Neural Networks [10] G Piccioli, E D Michelli, and M Campani (1994), “A robust method for road sign detection and recognition.” In Proc European Conference on Computer Vision 1994, pages 495–500 [11] G Piccioli, E D Michelli, P Parodi, and M Campani (1994), “Robust road sign detection and recognition from image sequences.” In Proc Intelligent Vehicles’94, pages 278–283 55 [12] Herbert Bay, Andreas Ess, Tinne Tuytelaars and Luc Van Gool (2008), “Speeded-Up Robust Features (SURF)” [13] Jack Greenhalgh and Majid Mirmehdi (2012) “Real-Time Detection and Recognition of Road Traffic Signs” In IEEE transactions on intelligent transportation systems, vol 13, no [14] Luis David Lopez and Olac Fuentes (2007), “Color-Based Road Sign Detection and Tracking”, International Conference on Image Analysis and Recognition (ICIAR), Montreal, CA [15] M de Saint Blancard (1992), “Road sign recognition: A study of vision-based decision making for road environment recognition.” In Vision-based Vehicle Guidance, Springer Series in Perception Engineering SpringerVerlag [16] Md Safaet Hossain, Zakir Hyder (2015), “Traffic Road Sign Detection and Recognition for Automotive Vehicles” In International Journal of Computer Applications (0975 – 8887) Volume 120 – No.24 [17] Paul Viola, Michael Jones (2001), “Rapid Object Detection using a Boosted Cascade of Simple Features” in accepted conference on computer vision and pattern recognition [18] Richard Szeliski (2011), “Computer Vision: Algorithms and Applications”, Publisher: London ; New York : Springer Website [19] Thanh Hà 2016 “Hình ảnh, ý nghĩa loại biển báo giao thơng đường nhất” [Ngày truy cập: tháng 11 năm 2016] [20] Trần Trung 2015 “Mơ robocab, hệ xe tự hành” [Ngày truy cập: tháng 11 năm 2016] [21] Bộ giao thông vận tải 2017 “Thông tư số 06/2016/TT-BGTVT Quy chuẩn kỹ thuật quốc gia báo hiệu đường Quy định kỹ thuật quốc gia báo hiệu đường 2017”, [Ngày truy cập: 20 tháng năm 2017] 56 [22] “Artificial neural network.” [online] Available at: < https://en.wikipedia.org/wiki/Artificial_neural_network> [Ngày truy cập: tháng năm 2017] [23] Karpathy, Andrej 2015 “Neural Networks Part 1: Setting Up the Architecture.” http://cs231n.github.io/neural-networks-1 [Ngày truy cập: 29 tháng năm 2017] [24] John Greenough, BI Intelligence 2016 “10 million self-driving cars will be on the road by 2020” [Ngày truy cập: tháng 11 năm 2016] [25] Wikipedia, “HSL and HSV”, https://en.wikipedia.org/wiki/HSL_and_HSV [Ngày truy cập: tháng năm 2017] PHỤ LỤC Phụ lục 1: nhóm biển báo sử dụng đề tài Bảng PL1: Bảng biển báo sử dụng đề tài Nhóm biển báo Nhóm biển báo cấm Nhóm biển báo nguy hiểm Mẫu biển báo Kí hiệu biển báo Tên biển báo 103b Cấm xe ô tô rẽ phải 103c Cấm xe ô tô rẽ trái 111c Cấm xe ba bánh loại có động 123 Cấm rẽ trái 124a Cấm quay đầu xe 201a Chỗ ngoạt nguy hiểm 201b Chỗ ngoạt nguy hiểm 202 Nhiều chỗ ngoặt nguy hiểm liên tiếp 203a Đường bị thu hẹp 205a Đường giao 205b Đường giao 205c Đường giao 205d Đường giao 205e Đường giao 206 Giao chạy theo vịng xuyến 207a Giao với đường khơng ưu tiên 207b Giao với đường không ưu tiên 207c Giao với đường không ưu tiên 208 Giao với đường ưu tiên 215b Kè, vực sâu bên đường phía bên trái 224 Đường người cắt ngang 225 Trẻ em 233 Nguy hiểm 234 Giao với đường hai chiều 235 Đường đôi 236 Kết thúc đường đôi 239 Đường cáp điện phía Phụ lục 2: giao diện đề tài Hình PL1: Giao diện đề tài ... luyện nhận dạng khoảng 30 biển báo giao thơng thuộc nhóm: biển báo cấm, biển báo nguy hiểm, biển báo dẫn biển báo hiệu lệnh Kết đạt 90% loại biển báo Từ khóa - Tự động phát nhận dạng biển báo giao. .. lý Phát biển báo Trích xuất đặc trưng Nhận dạng Hình 3.1: Sơ đồ tổng quát giải toán 3.2 Thu thập liệu Giai đoạn xây dựng ứng dụng tự động phát nhận dạng biển báo giao thông đường bước thu nhận. .. ĐỀ XUẤT XÂY DỰNG HỆ THỐNG 3.1 Sơ đồ tổng quát giải toán Bài toán ? ?Xây dựng ứng dụng tự động phát nhận dạng biển báo giao thông đường bộ? ?? giải thông qua nhiều giai đoạn, cụ thể sau: Thu nhận hình