ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA - TRƯƠNG VĨNH PHÚC XÂY DỰNG GIẢI THUẬT NHẬN DIỆN VÀ PHÂN LOẠI BIỂN BÁO GIAO THÔNG DỰA VÀO MƠ HÌNH CONVOLUTIONAL NEURAL NETWORK Chun ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa Mã số: 60520216 LUẬN VĂN THẠC SĨ TP.HỒ CHÍ MINH, tháng 1, năm 2018 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG – HCM Cán hướng dẫn khoa học : TS Nguyễn Đức Thành Cán chấm nhận xét : Cán chấm nhận xét : Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 15 tháng 01 năm 2018 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Chủ tịch: TS Nguyễn Vĩnh Hảo Thư ký: TS Phạm Việt Cường Phản biện 1: TS Võ Công Phương Phản biện 2: TS Nguyễn Trọng Tài Ủy viên: PGS.TS Huỳnh Thái Hoàng Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: TRƯƠNG VĨNH PHÚC MSHV : 13153241 Ngày, tháng, năm sinh: 28/02/1990 Nơi sinh: Tiền Giang Chuyên ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa Mã số : 60520216 I TÊN ĐỀ TÀI: XÂY DỰNG GIẢI THUẬT NHẬN DIỆN VÀ PHÂN LOẠI BIỂN BÁO GIAO THƠNG DỰA VÀO MƠ HÌNH CONVOLUTIONAL NEURAL NETWORK II NHIỆM VỤ VÀ NỘI DUNG: - Tìm hiểu xây dựng hệ thống phát phân loại biển báo giao thông dựa phương pháp Convolutional Neural Networks (CNNs) Kết thông báo cho tài xế lái xe - Đánh giá kết thực nghiệm giải thuật phương pháp Convolutional Neural Networks việc phân loại biển báo giao thông - Thiết kế hệ thống xử lý gồm camera thu liệu hình ảnh kết nối với hệ thống xử lý máy tính cá nhân, kết hiển thị ảnh III NGÀY GIAO NHIỆM VỤ : 10/07/2017 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 03/12/2017 V CÁN BỘ HƯỚNG DẪN : TS Nguyễn Đức Thành Tp HCM, ngày 14 tháng 12 năm 2017 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TS Nguyễn Đức Thành TRƯỞNG KHOA (Họ tên chữ ký) TRƯƠNG VĨNH PHÚC LỜI CẢM ƠN Trong sống nghiên cứu khoa học, thành công dù lớn hay nhỏ cá nhân hay tập thể gắn liền với giúp đỡ trực tiếp gián tiếp từ người khác Để hoàn thành nghiên cứu luận văn xin gửi lời cảm ơn đến quý Thầy Cô Bộ môn Điều Khiển Tự Động, Khoa Điện - Điện tử, Trường đại học Bách Khoa - Đại học quốc gia TP Hồ Chí Minh với tri thức tâm huyết truyền đạt vốn kiến thức quý báu suốt thời gian học tập nghiên cứu trường Với lòng biết ơn sâu sắc đến TS Nguyễn Đức Thành người thầy nhiệt tình hướng dẫn bảo cho tơi kiến thức chia cho kinh nghiệm suốt khoảng thời gian thực nghiên cứu Tôi mong muốn gửi lời cảm ơn đặc biệt đến cha mẹ tơi dành nhiều tình cảm động viên để tơi hồn thành nghiên cứu Bên cạnh cha mẹ chỗ dựa vững mặt tinh thần cho đường nghiên cứu khoa học Tôi xin chân thành cảm ơn bạn học tơi nhiệt tình đóng góp ý kiến giúp tơi hồn thành luận văn tốt Một lần xin gửi lời cám ơn chân thành đến tất người TRƯƠNG VĨNH PHÚC Tóm Tắt Luận Văn Thạc Sĩ Với tiến khoa học kĩ thuật năm gần đây, giới giới thiệu sản phẩm công nghệ bật, hỗ trợ người tốt nhiều hồn cảnh khác nhau.Các hệ thống trở nên thơng minh hơn, có khả xử lí nhiều tác vụ thời gian ngắn Để làm điều đó, xu hướng huấn luyện để máy tính hiểu môi trường xung quanh ngày đẩy mạnh đạt bước tiến vượt bậc Kết hợp với việc phát triển hệ thống phần cứng, hệ thống máy học (Machine Learning) có khả thách thức người trò chơi đánh cờ, khả phân biệt đối tượng khác Với việc thực luận văn này, học viên muốn phát triển hệ thống machine learning sử dụng phương pháp Convolutional Neural Network có khả nhận diện, phân loại loại biển báo giao thông khác Hệ thống xây dụng máy tính cá nhân kết hợp camera thu thập liệu hình ảnh xung quanh, xử lý đưa kết qua thời gian thực Học Viên Trương Vĩnh Phúc TRƯƠNG VĨNH PHÚC LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ kết tham khảo từ cơng trình khác ghi rõ luận văn, cơng việc trình bày luận văn tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường trường khác Ngày 12/12/2017 Trương Vĩnh Phúc TRƯƠNG VĨNH PHÚC Mục Lục CHƯƠNG TỔNG QUAN VỀ MƠ HÌNH NHẬN DIỆN VÀ PHÂN LOẠI BIỂN BÁO GIAO THÔNG 11 1.1 ĐẶT VẤN ĐỀ 11 1.2 TỔNG QUAN CÁC CÔNG TRÌNH LIÊN QUAN ĐẾN ĐỀ TÀI 13 1.2.1 Các nghiên cứu liên quan đến phát nhận diện biển báo giao thông: 13 1.2.2 Các nghiên cứu liên quan đến đến phương pháp CNN 26 1.3 MỤC TIÊU NGHIÊN CỨU 29 1.4 CẤU TRÚC LUẬN VĂN 30 CHƯƠNG LÝ THUYẾT MẠNG NEURON TRONG NHẬN DIỆN VÀ PHÂN LOẠI… 31 2.1 LÝ THUYẾT VỀ MẠNG NEURON (NEURAL NETWORKS) 31 2.1.1 Mạng thần kinh nhân tạo: 31 2.1.2 Q trình xử lý thơng tin tế bào thần kinh: 32 2.1.3 Phân loại mạng thần kinh nhân tạo: 32 2.1.4 Phương pháp huấn luyện mạng thần kinh: 33 2.2 MƠ HÌNH CONVOLUTIONAL NEURAL NETWORK (CNNS) 36 2.2.1 Giới thiệu: 36 2.2.2 Các thành phần mạng CNNs: 37 2.2.2.1 2.2.2.2 2.2.2.3 2.2.2.4 Lớp Convolution: 37 Lớp Pooling: 41 Lớp ReLU: 42 Lớp Full-Connected: 43 2.3 VẬN DỤNG MẠNG CNNS VÀO HỆ THỐNG PHÂN LOẠI BIỂN BÁO GIAO THÔNG: 43 2.4 HỆ THỐNG KHÔNG GIAN MÀU SẮC: 44 2.4.1 Không gian màu RGB: 44 2.4.2 Không gian màu CMYK: 45 2.4.3 Không gian màu HSV: 47 2.5 BỘ LỌC TRUNG VỊ (MEDIAN FILTER): 48 CHƯƠNG XÂY DỰNG GIẢI THUẬT NHẬN DIỆN VÀ PHÂN LOẠI 49 3.1 THU THẬP DỮ LIỆU: 49 3.2 HUẤN LUYỆN MẠNG CNNS: 50 3.3 XÂY DỰNG GIẢI THUẬT NHẬN DIỆN VÀ PHÂN LOẠI BIỂN BÁO GIAO THÔNG: 53 3.3.1 Phân tích tốn nhận diện phân loại biển báo giao thông: 53 3.3.2 Giải thuật phát vùng biển báo giao thông: 54 3.3.3 Mơ hình phân loại biển báo giao thông: 57 3.3.4 Lưu đồ giải thuật hệ thống: 63 CHƯƠNG HỆ THỐNG THỰC NGHIỆM NHẬN DIỆN VÀ PHÂN LOẠI BIỂN BÁO GIAO THÔNG 64 4.1 PHẦN CỨNG HỆ THỐNG NHẬN DIỆN VÀ PHÂN LOẠI: 64 4.1.1 Máy tính: 64 4.1.2 Camera: 65 4.2 CHƯƠNG TRÌNH TRÊN MÁY TÍNH: 66 4.3 KẾT QUẢ: 67 4.3.1 Kiểm tra ảnh chứa biển báo ngẫu nhiên: 67 4.3.2 Kiểm tra ảnh đầu vào camera: 68 4.4 KẾT LUẬN 70 TRƯƠNG VĨNH PHÚC 4.4.1 4.4.2 Đánh giá kết luận văn 70 Hướng phát triển 70 Tài liệu tham khảo 71 TRƯƠNG VĨNH PHÚC Danh sách hình sử dụng luận văn Hình 1.1: Sơ đồ thiết kế dựa phân loại màu mạng Neural Hình 1.2: Ngõ vào SVM Hình 1.3: Cấu trúc phân loại DTBSVMs Hình 1.4: Sơ đồ thiết kế dựa phương pháp DTBSVMs Hình 1.5: Sơ đồ 49 điểm FOSTS Hình 1.6: Sơ đồ giải thuật HOG kết hợp SVM Hình 1.7: Vùng khơng gian màu “Đỏ, xanh dương, vàng” Hình 1.8: Ví dụ mối liên hệ vật thể gần Hình 1.9: Sơ đồ tiền xử lý ảnh đầu vào cho mạng thần kinh Hình 1.10: Mơ hình CNNs sử dụng GPUs Hình 1.11: Kết phân loại đối tượng nghiên cứu [8] Hình 1.12: Ví dụ kết phương pháp Bounding Box Hình 1.13: Kết phân loại theo dõi đối tượng nghiên cứu [10] Hình 2.1: Tế bào thần kinh nhân tạo Hình 2.2: Mơ hình phương pháp học có giám sát Hình 2.3: Mạng truyền thẳng lớp Hình 2.4: Mơ hình phương pháp CNN Hình 2.5: Ví dụ phép tốn tính chập Hình 2.6: Ví dụ áp dụng Conv Hình 2.7: Các thành phần Conv Hình 2.8: Các tầng Conv Hình 2.9: Ví dụ lớp Pooling Hình 2.10: Ví dụ lớp ReLU Hình 2.11: Khơng gian màu RGB Hình 2.12: Khơng gian màu CMYK Hình 2.13: Khơng gian màu HSV Hình 2.14: Cách xếp phần tử lọc trung vị Hình 3.1: Hình ảnh biển báo giao thơng dùng cho việc training Hình 3.2: Ảnh hưởng hệ số tốc độ học đến sai số TRƯƠNG VĨNH PHÚC Hình 3.3: Hình ảnh chứa biển báo giao thơng gốc Hình 3.4: Kết lấy ngưỡng HSV Hình 3.5: Ảnh sau lọc trung vị Hình 3.6: Ảnh sau lấy contour Hình 3.7: Ảnh sau phân loại CNNs Hình 3.8: Mơ hình sử dụng TensorFlow GPU cho việc training Hình 3.9: Mơ hình CNN kết huấn luyện Hình 3.10: Mơ hình CNN kết huấn luyện Hình 3.11: Mơ hình CNN kết huấn luyện Hình 3.12: Lưu đồ giải thuật hệ thống Hình 3.13: Kết trình nhận diện phân loại Hình 4.1: Máy tính Lenovo ThinkPad W540 Hình 4.2: Thơng số kĩ thuật máy tính Lenovo Hình 4.3: Camera Logitech Hình 4.4: Giao diện người dùng thể kết phân loại Hình 4.5: Ảnh ngẫu nhiên Hình 4.6: Kết phân loại ảnh ngẫu nhiên Hình 4.7: Một số kết nhận diện trực tiếp từ camera Hình 4.8: Kết phân loại ảnh bị nghiêng TRƯƠNG VĨNH PHÚC trong Convolutional Neural Networks (lớp Convolution, lớp Pooling, lớp ReLU lớp Full-Connected) đồng thời hỗ trợ xử lý nội lớp Hình 3.8: Mơ hình sử dụng TensorFlow GPU cho việc training Để thực việc phân loại biển báo giao thông dựa vào mạng CNN, nhiều mơ hình xây dựng Ứng với mơ hình khác nhau, lượng lớn liệu dùng để huấn luyện Kết huấn luyện đánh giá thông qua tập liệu riêng lẻ Luận văn xây dựng ba mơ hình khác nhằm đánh giá ảnh hưởng lớp tối ưu mơ hình Trong mơ hình, thông số huấn luyến thay đổi để kiểm chứng ảnh hưởng thông số đến kết huấn luyện TRƯƠNG VĨNH PHÚC 58 Mơ hình 1: Lớp Convolution [5,5,12] Ảnh RGB 32x32 Lớp Full-Connected (240) Lớp ReLU Lớp Max Pooling [2x2] Lớp Max Pooling [2x2] Lớp ReLU Lớp Convolution [5,5,32] Lớp Full-Connected (43) Lớp ReLU Epoch: η = 10-3 Accuracy: 93.71% Hình 3.9: Mơ hình CNN kết huấn luyện TRƯƠNG VĨNH PHÚC 59 Mô hình 2: Lớp Convolution [5,5,24] Ảnh RGB 32x32 Lớp Full-Connected (480) Lớp ReLU Lớp Max Pooling [2x2] Lớp Max Pooling [2x2] Lớp ReLU Lớp Convolution [5,5,64] Lớp Full-Connected (43) Lớp ReLU Epoch: 20 η = 10-3 Accuracy: 98.19% Hình 3.10: Mơ hình CNN kết huấn luyện TRƯƠNG VĨNH PHÚC 60 Mơ hình 3: Lớp Convolution [5,5,24] Ảnh RGB 32x32 Lớp Dropout (0.5) Lớp ReLU Lớp Full-Connected (480) Lớp ReLU Lớp Max Pooling [2x2] Lớp ReLU Lớp Max Pooling [2x2] Lớp Convolution [5,5,64] Lớp Full-Connected (43) Epoch: 500 η = 10-4 Accuracy: 99.73% Hình 3.11: Mơ hình CNN kết huấn luyện TRƯƠNG VĨNH PHÚC 61 Ta dễ dàng thấy được, mơ hình mơ hình cho kết huấn luyện tốt (99.73%) có số lượng vịng lặp nhiều Giá trị tốc độ học η giảm xuống so với mơ hình trên, tương ứng với bước nhảy việc cập nhật trọng số nhỏ hơn, góp phần nâng cao độ xác hệ thống Ngồi ra, lớp Dropout thêm vào nhằm hạn chế tượng overfitting Lớp Dropout sử dụng trình training Kết huấn luyện kiểm tra lại tập mẫu ảnh ngẫu nhiên tất loại biển báo, độ xác cụ thể trình bày bảng bên STT 10 11 12 14 16 17 19 21 22 23 25 29 31 32 33 34 35 Tên biển báo Toc toi da cho phep (20km/h) Toc toi da cho phep (30km/h) Ket thuc gioi han toc (80km/h) Toc toi da cho phep (100km/h) Toc toi da cho phep (120km/h) Cam oto vuot Giao voi duong khong uu tien Duong uu tien Dung lai Cam xe tai Cam nguoc chieu Cho ngoac nguy hiem vong trai Nhieu cho ngoac nguy hiem lien tiep Duong khong bang phang Duong tron Cong Truong Nguoi di xe dap cat ngang Thu rung vuot qua duong Het tat ca cach lenh cam Chi duoc re phai Chi duoc re trai Chi duoc di thang Chính xác 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% STT 36 37 38 39 40 41 42 13 15 18 26 28 30 20 24 27 Tên biển báo Chi duoc di thang va re phai Chi duoc di thang va re trai Huong di vong phai chuong ngai vat Huong di vong trai chuong ngai vat Noi giao chay theo vong xuyen Het cam vuot Het cam vuot Giao voi duong uu tien Toc toi da cho phep (70km/h) Toc toi da cho phep (80km/h) Cam vuot Toc toi da cho phep (60km/h) Toc toi da cho phep (50km/h) Duong cam Nguy hiem khac Giao co tin hieu den Tre em di qua duong Co Tuyet Cho ngoac nguy hiem vong phai Duong hep phia ben phai Nguoi di bo Chính xác 100% 100% 100% 100% 100% 100% 100% 99.77% 99.75% 99.74% 99.67% 99.65% 99.56% 99.22% 99.18% 99.18% 99.09% 98.91% 98.63% 98.18% 97.96% Bảng 3.2: Kết huấn luyện cho mơ hình TRƯƠNG VĨNH PHÚC 62 3.3.4 Lưu đồ giải thuật hệ thống: Camera Trích lọc frame RGB >HSV Lấy ngưỡng màu + Lọc Trích contour CNNs Kết phân loại Hình 3.12: Lưu đồ giải thuật hệ thống Hình 3.13: Kết trình nhận diện phân loại TRƯƠNG VĨNH PHÚC 63 Chương HỆ THỐNG THỰC NGHIỆM NHẬN DIỆN VÀ PHÂN LOẠI BIỂN BÁO GIAO THÔNG 4.1 Phần cứng hệ thống nhận diện phân loại: 4.1.1 Máy tính: Để tăng tốc độ trình xử lý, nghiên cứu sử dụng máy tính workstation Lenovo ThinkPad W540 Máy tính có chip xử lý Core i7 có nhân 3.3 Ghz card hình rời NVIDIA 2GB VRAM giúp tăng tốc độ tính tốn xử lý ma trận ảnh đáng kể nhờ vào kiến trúc song song nhiều nhân Với hỗ trợ card hình rời NVIDIA, ta sử dụng cơng cụ, thư viện hỗ trợ TensorFlow giúp tăng tốc trình huấn luyện xử lý trình chạy chương trình Hệ điều hành mở Linux sử dụng Hình 4.1: Máy tính Lenovo ThinkPad W540 TRƯƠNG VĨNH PHÚC 64 Hình 4.2: Thơng số kĩ thuật máy tính Lenovo ThinkPad W540 4.1.2 Camera: Để thu thập liệu hình ảnh thời gian thực, hệ thống sử dụng camera kết nối với máy tính Camera sử dụng camera Logitech với độ phân giải 720p Hình 4.3: Camera Logitech TRƯƠNG VĨNH PHÚC 65 4.2 Chương trình máy tính: Để tài sử dụng hệ điều hành Linux, lập trình GPU thư viện CUDA NDIVIA 8.0 CUDA Toolkit thư viện hỗ trợ việc lập trình cho GPU thông qua hàm giao tiếp ngôn ngữ Python Các hàm giúp tăng tốc trình tính tốn, tối ưu hệ thống xử lý thông tin lớn thực kiến trúc GPU Đồng thời thư viện OpenCV 3.2 sử dụng việc phát vùng chứa biển báo Luận văn thiết kế tồn mơ hình nhận diện phân loại CNNs ngơn ngữ Python Ngồi ra, giao diện người dùng thiết kế để thể kết bước phát vùng biển báo kết phân loại Kết phân loại thông báo giọng nói, tương tự hệ thống thực tế hỗ trợ tài xế lái xe Hình 4.4: Giao diện người dùng thể kết phân loại TRƯƠNG VĨNH PHÚC 66 4.3 Kết quả: Với mơ hình xây dựng, dựa vào độ xác trình huấn luyện, mơ hình sử dụng luận văn Mơ hình có độ xác đến 99.73% ứng với 8000 mẫu ảnh test GTSRB Để kiểm tra kết thực tế, luận văn sử dụng cách: kiểm tra ảnh riêng lẻ kiểm tra khả nhận diện, phân loại theo thời gian thực dựa ảnh đầu vào từ camera 4.3.1 Kiểm tra ảnh chứa biển báo ngẫu nhiên: 20 ảnh có biển báo ngẫu nhiên (từ internet) đưa qua hệ thống: Hình 4.5: Ảnh ngẫu nhiên Kết quả: Hệ thống nhận diện xác 18/20 ảnh (90%) TRƯƠNG VĨNH PHÚC 67 Hình 4.6: Kết phân loại ảnh ngẫu nhiên 4.3.2 Kiểm tra ảnh đầu vào camera: Hình ảnh mô biển báo giao thông cho chuyển từ khoảng cách xa đến gần camera kiểm tra khả nhận diện, phân loại hệ thống Kết quả: Hệ thống có khả nhận diện xác 25 ảnh biển báo giao thông khác theo thời gian thực TRƯƠNG VĨNH PHÚC 68 Hình 4.7: Một số kết nhận diện trực tiếp từ camera Ngồi hệ thống có khả cho kết xác ứng với góc biển báo khác (thẳng đứng, nghiêng, quay ngược số trường hợp): Hình 4.8: Kết phân loại ảnh bị nghiêng Với hỗ trợ máy tính, hệ thống có khả xử lý tất frame camera thu thập, việc nâng cao độ xác hệ thống đảm bảo khả ứng dụng theo thời gian thực TRƯƠNG VĨNH PHÚC 69 4.4 Kết luận 4.4.1 Đánh giá kết luận văn Luận văn xây dựng nên mơ hình CNNs kết hợp với phương pháp nhận diện có khả nhận dạng phân loại nhiều loại biển báo giao thơng khác Với việc xây dựng mơ hình khác nhau, luận văn chọn mơ hình có kết huấn luyện từ CNNs cho kết gần tuyệt đối (99.73%), cao nhiều so với hệ thống sử dụng mạng thần kinh thơng thường hay phương pháp sử dụng trí tuệ nhân tạo thông thường khác (logic mờ, giải thuật di truyền) Với việc kết hợp nhiều phương pháp khác nhau, luận văn đưa phương pháp phát vùng ảnh chứa biển báo giao thông, loại trừ tối đa yếu tố gây nhiễu ảnh hưởng đến kết Ngồi hệ thống có khả xử lý theo thời gian thực với độ xác tương đối cao, có khả ứng dụng thực tế 4.4.2 Hướng phát triển Hướng nghiên cứu luận văn tập trung tối ưu mơ hình nhằm tăng độ xác Việc nhận phát vùng biển báo khả bị ảnh hưởng yếu tố môi trường Yếu tố hạn chế áp dụng đồng thời giải thuật CNNs cho giai đoạn phát vùng biển báo Ngồi ra, phát triển mơ hình nhằm kết hợp nhận dạng, phân loại theo dõi đối tượng để nâng cao tính ứng dụng thực tiễn đề tài Với phát triển không ngừng thiết bị phần cứng đời hệ thống board nhúng mạnh mẽ, hồn tồn thay máy tính cá nhân thiết bị Việc nâng cao khả ứng dụng hệ thống di động, đặc biệt xe ôtô TRƯƠNG VĨNH PHÚC 70 Tài liệu tham khảo [1] M Sajjad Hossain, M Mahmudul Hasan, M Ameer Ali, Md Humayun Kabir and A B M Shawkat Al, “Automatic Detection and Recognition of Traffic Signs”, 2010 IEEE Conference on Robotics, Automation and Mechatronics [2] Hossein Pazhoumand-Dar, Mehdi Yaghobi, “DTBSVMs: a New Approach for Road Sign Recognition”, 2010 Second International Conference on Computational Intelligence, Communication Systems and Networks [3] X.W Gao, L Podladchikova, D Shaposhnikov, K Hong, N Shevtsova, “Recognition of traffic signs based on their colour and shape features extracted using human vision models”, J Vis Commun Image R 17 (2006) 675–685 [4] W.G Shadeed, D.I Abu-Al-Nadi, and M.J Mismar, “Road Traffic Sign Detection In Color Images”, 0-7803-8163-7/03/$17.~0 2W3 IEEE [5] M Creusen, R.G.J Wijnhoven, E Herbschleb, P.H.N de With, “Color Exploitation In Hog-Based Traffic Sign Detection”, 2010 IEEE 17th International Conference on Image Processing [6] Krzysztof Dyczkowski, Paweł Gadecki, Adam Kułakowski, “Traffic Signs Recognition System” [7] P Shopa, N Sumitha, P.S.K Patra, “Traffic Sign Detection and Recognition Using OpenCV”, ISBN No.978-1-4799-3834-6/14/$31.00©2014 IEEE [8] Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, “ImageNet Classification with Deep Convolutional Neural Networks” [9] Pierre Sermanet, David Eigen, Xiang Zhang, Michael Mathieu, Rob Fergus, Yann LeCun, “Integrated Recognition, Localization and Detection using Convolutional Networks”, arXiv:1312.6229v3 [cs.CV] 14 Jan 2014 [10] S Shruthi, “Vehicle Tracking using Convolutional Neural Network”, WCE 2011, July - 8, 2011, London, U.K TRƯƠNG VĨNH PHÚC 71 [11] D Ciresan, U Meier, and J Schmidhuber, “Multi-column deep neural networks for image classification”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 3642–3649, 2012 [12] O Russakovsky, J Deng, H Su, J Krause, S Satheesh, S Ma, Z Huang, A Karpathy, A Khosla, M Bernstein, A C Berg, and L Fei-Fei, “ImageNet large scale visual recognition challenge”, 2015 [13] Wahyono, Laksono Kurnianggoro, and Kang-Hyun Jo, “Traffic Sign Recognition and Tracking for a Vision-based Autonomous Vehicle Using Optimally Selected Features”, SICE Annual Conference 2015 [14] Andrzej Ruta, Yongmin Li, Xiaohui Liu, “Towards Real-Time Traffic Sign Recognition by Class-Specific Discriminative Features” [15] Phung Quoc Dinh, “Few useful thing to know about deep learning” , Mathmeatics VIASM, Data Science 2017 [16] Allan Hanbury and Jean Serra, “A 3D-polar Coordinate Colour Representation Suitable for Image Analysis”, 2003 [17] Allan Hanbury, Jean Serra, “Mathematical Morphology in the HLS Colour Space”, 2002 [18] Jianxin Wu, “Introduction to Convolutional Neural Networks”, 2017 [19] David Stutz, “Understanding Convolutional Neural Networks”, 2014 [20] “TensorFlow for Deep Learning” O’Reilly Media, Inc TRƯƠNG VĨNH PHÚC 72 ... GIAO THÔNG: 53 3.3.1 Phân tích tốn nhận diện phân loại biển báo giao thông: 53 3.3.2 Giải thuật phát vùng biển báo giao thông: 54 3.3.3 Mơ hình phân loại biển báo giao thông: ... ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa Mã số : 60520216 I TÊN ĐỀ TÀI: XÂY DỰNG GIẢI THUẬT NHẬN DIỆN VÀ PHÂN LOẠI BIỂN BÁO GIAO THƠNG DỰA VÀO MƠ HÌNH CONVOLUTIONAL NEURAL NETWORK II NHIỆM VỤ VÀ NỘI... CHƯƠNG XÂY DỰNG GIẢI THUẬT NHẬN DIỆN VÀ PHÂN LOẠI 49 3.1 THU THẬP DỮ LIỆU: 49 3.2 HUẤN LUYỆN MẠNG CNNS: 50 3.3 XÂY DỰNG GIẢI THUẬT NHẬN DIỆN VÀ PHÂN LOẠI BIỂN BÁO GIAO