TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI TRƯỜNG ĐIỆN – ĐIỆN TỬ KHOA ĐIỆN TỬ BÁO CÁO ĐỒ ÁN I Đề tài NHẬN DIỆN BIỂN BÁO GIAO THÔNG VÀ ĐÈN GIAO THÔNG Giảng viên hướng dẫn TS Nguyễn Nam Phong Mã lớp 716510 Nhóm si.
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI TRƯỜNG ĐIỆN – ĐIỆN TỬ KHOA ĐIỆN TỬ BÁO CÁO ĐỒ ÁN I Đề tài: NHẬN DIỆN BIỂN BÁO GIAO THÔNG VÀ ĐÈN GIAO THÔNG Giảng viên hướng dẫn: TS Nguyễn Nam Phong Mã lớp: 716510 Nhóm sinh viên thực hiện: Vũ Đức Anh – 20198114 Nguyễn Hoàng Ly – 20198138 Nguyễn Trọng Lâm – 20198135 Hà Nội, 7-2022 Đồ án Thiết Kế I LỜI MỞ ĐẦU Thời kì cách mạng khoa học 4.0 công nghệ ngày phát triển trở thành phần thiết yếu sống Cùng với việc công nghệ phát triển người tiết kiệm nguyên liệu nhiên liệu, thời gian, sức lực công việc hàng ngày Công nghệ trí tuệ nhân tạo AI len lỏi vào tất lĩnh vực sống Trong cơng nghệ phần mềm ln đóng vai trị tiên phong, dẫn đầu q trình ứng dụng ngày nhiều để thay đổi thói quen, phong cách làm việc nâng cao hiệu công việc người Nắm bắt xu thời đại nhằm phục vụ nội dung cho Đồ án I, đáp ứng yêu cầu ngày cao đưa công nghệ vào mặt sống Cụ thể Đồ án I em tìm hiểu phát triển lời giải cho toán Object Detection Đây Đồ án mà em nghiên cứu nên tránh khỏi hạn chế thiếu sót, em mong thầy bổ sung, góp ý để em ngày hồn thiện kiến thức Em xin cảm ơn thầy Nguyễn Nam Phong chị Nguyễn Thị Thùy 2|Page Đồ án Thiết Kế I LỜI CAM ĐOAN Chúng em nhóm sinh viên thực Đồ án I bao gồm: Vũ Đức Anh, Nguyễn Hoàng Ly, Nguyễn Trọng Lâm thuộc lớp ET LUH 01 K64 Chúng em xin đảm bảo liệu nêu đồ án hoàn toàn trung thực, phản ánh kết đo đạc thực tế Mọi thơng tin trích dẫn tuân thủ quy định sở hữu trí tuệ; tài liệu tham khảo liệt kê rõ ràng Chúng em xin chịu hoàn toàn trách nhiệm với nội dung viết báo cáo Hà Nội, ngày 12 tháng năm 2022 Người cam đoan Vũ Đức Anh Nguyễn Hoàng Ly Nguyễn Trọng Lâm 3|Page Đồ án Thiết Kế I DANH MỤC HÌNH ẢNH Hình Cấu tạo lớp Deep Learning 10 Hình Mối liên hệ giwac AI, Machine Learning & Deep Learning 11 Hình R-CNN 13 Hình Fast R-CNN 14 Hình Faster R-CNN 15 Hình So sánh mặt thời gian 15 Hình Đồ thị Precision Recall Curve 17 Hình Non – max suppression 19 Hình Mơ hình kiến trúc mạng CNN 20 Hình 10 Convolutional Layer 21 Hình 11 Dimensions - filter 22 Hình 12 Stride 22 Hình 13 Parameter compatibility 24 Hình 14 Mơ hình Training + Predicting 26 Hình 15 Kết nối Drive cài đặt Tensorflow 27 Hình 16 Import thư viện 27 Hình 17 Quá trình train – 15 lần 39 Hình 18 Biểu đồ độ xác 40 Hình 19 Biểu đồ sai số 40 Hình 20 Hình ảnh giao diện 42 Hình 21 Các bước hoạt động Yolo 44 Hình 22 Thơng số Bounding box 44 Hình 23 Mã hóa nhiều Bounding Box 45 Hình 24 Các thao tác trện makesenes.ai 46 Hình 25 File dataset sau chia thành tập train/val 47 Hình 26 Clone Yolov5 & cài đặt môi trường, thư viện 48 Hình 27 Upload file Data 48 Hình 28 Giải nén file Data 48 Hình 29 Tệp yaml 49 Hình 30 File yaml cho Data đèn giao thông 49 Hình 31 Tải file coco128.yaml 50 Hình 32 Nội dung file coco128.yaml 50 Hình 33 File trafficLightData1.yaml 50 Hình 34 Upload file yaml vào thư mục Yolov5 51 Hình 35 File train.py 51 Hình 36 Kết training 52 Hình 37 Biểu đồ thể độ xác nhãn 53 Hình 38 Biểu đồ kết trình Training 54 Hình 39 Biểu đồ liệu, annotation box cho nhãn 55 Hình 40 Quá trình Predicting 55 Hình 41 Kết trình Predicting 56 4|Page Đồ án Thiết Kế I DANH MỤC BẢNG BIỂU Bảng Max Pooling & Average Pooling 21 Bảng Zero Padding 23 Bảng Bảng đánh giá độ phức tạp mơ hình 24 Bảng Các biến thể ReLU 25 Bảng So sánh thông số kĩ thuật TF1 & TF2 27 5|Page Đồ án Thiết Kế I MỤC LỤC LỜI MỞ ĐẦU LỜI CAM ĐOAN DANH MỤC HÌNH ẢNH DANH MỤC BẢNG BIỂU MỤC LỤC PHÂN CHIA CÔNG VIỆC PHẦN I TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO Khái niệm Phân loại AI, Machine Learning & Deep Learning PHẦN II BÀI TOÁN OBJECT DETECTION 12 Object Detection 12 1.1 Khái niệm 12 1.2 Phân loại 12 1.3 Các thuật toán Object Detection – Deep Learning 12 Metrics đánh giá Object Detection model 16 PHẦN III NHẬN DIỆN BIỂN BÁO GIAO THÔNG 20 Tổng quan 20 1.1 Tổng quan mạng neural tích chập - CNN 20 1.2 Các kiểu tầng mạng CNN 20 1.3 Các siêu tham số lọc 22 1.4 Điều chỉnh siêu tham số 23 1.5 Các hàm kích hoạt thường gặp 25 Xây dựng kiến trúc CNN Google Colab 26 2.1 Import thư viện, sử dụng back-end Tensorflow 26 2.2 Import Data 28 2.3 Data Visualisation 29 2.4 Khối tiền xử lý 30 2.5 Mơ hình CNN 32 2.6 Module TEST 35 Pycharm (Module Train + GUI) 36 3.1 Module Train 36 3.2 Kết module Train 39 3.3 Module GUI 41 PHẦN IV NHẬN DIỆN ĐÈN GIAO THÔNG 43 6|Page Đồ án Thiết Kế I Tổng quát 43 1.1 Tổng quan Yolo 43 Các bước thực training Yolov5 Google Colab 45 2.1 Chuẩn bị Dataset 45 2.2 Quá trình training model Google Colab 47 PHẦN V KẾT LUẬN 57 7|Page Đồ án Thiết Kế I PHÂN CHIA CÔNG VIỆC Thành viên Công việc Vũ Đức Anh Nhận diện biển báo giao thông Nguyễn Trọng Lâm Nhận diện đèn giao thơng Nguyễn Hồng Ly Tìm kiếm Data biển báo giao thông Việt Nam Tổng hợp công việc nhóm Báo cáo, PowerPoint 8|Page Đồ án Thiết Kế I PHẦN I TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO Khái niệm Trí tuệ nhân tạo (Artificial intelligence - AI) ngành thuộc lĩnh vực khoa học máy tính (Computer science) Cơng nghệ cơng nghệ AI cơng nghệ mơ q trình suy nghĩ học tập người cho máy móc, đặc biệt hệ thống máy tính Các q trình bao gồm việc học tập (thu thập thông tin quy tắc sử dụng thông tin), lập luận (sử dụng quy tắc để đạt kết luận gần xác định) tự sửa lỗi Phân loại Trí tuệ nhân tạo phân loại dựa khả bắt chước trí thơng minh người Tùy vào mục đích sử dụng cấu tạo ứng dụng AI cách phù hợp chia làm dạng trí tuệ nhân tạo phổ biến: ANI : artificial narrow intelligence – trí tuệ nhân tạo hẹp : AI hẹp tốt việc thực tác vụ đơn điệu: nhận dạng giọng nói, phát đối tượng nhận dạng khuôn mặt , ANI có nhiều quyền thế, bị giới hạn hoạt động người kiểm soát nên gọi AI hẹp AGI : artificial general intelligence – trí tuệ nhân tạo tổng hợp : có ý thức, suy nghĩ khách quan, khả tự nhận thức, tri giác khơn ngoan AGI cịn gọi AI mạnh có trí thơng minh ngang với trí tuệ người AGI khơng bị giới hạn ràng buộc Nó học hỏi, thực nhiều nhiệm vụ khác có khả thể khả đa chức người AI, Machine Learning & Deep Learning Machine Learning 9|Page Đồ án Thiết Kế I Machine Learning : ứng dụng thuật toán để phân tích liệu, học hỏi từ nó, sau thực định dự đốn vấn đề có liên quan.Thay code phần mềm cách thức thủ công với hướng dẫn cụ thể để hoàn thành nhiệm vụ cụ thể, máy “đào tạo” cách sử dụng lượng lớn liệu thuật toán cho phép học cách thực yêu cầu Các thuật toán Machine Learning bắt nguồn từ định nghĩa AI, phương pháp tiếp cận thuật toán qua nhiều năm bao gồm: logic programming, clustering, reinforcement learning, and Bayesian networks… Deep Learning Deep Learning: phần mềm máy tính bắt chước mạng lưới nơ-ron não người Nó tập hợp Machine Learning sử dụng deep neural networks Các thuật toán Deep Learning xây dựng với lớp kết nối : Lớp đầu vào (input layer), lớp đầu ( output layer ) lớp gọi lớp ẩn (hidden layers ).“ Deep” có nghĩa mạng noron có nhiều lớp tham gia vào mạng Hình Cấu tạo lớp Deep Learning 10 | P a g e 10 ... PHẦN III NHẬN DIỆN BIỂN BÁO GIAO THÔNG Tổng quan Phần nội dung nhóm chúng em thống sử dụng kiến thức mạng CNN để thực mục tiêu nhận diện biển báo giao thông Trong phần nhận diện biển báo giao thơng,... việc Vũ Đức Anh Nhận diện biển báo giao thông Nguyễn Trọng Lâm Nhận diện đèn giao thơng Nguyễn Hồng Ly Tìm kiếm Data biển báo giao thông Việt Nam Tổng hợp công việc nhóm Báo cáo, PowerPoint... Deep Learning 12 Metrics đánh giá Object Detection model 16 PHẦN III NHẬN DIỆN BIỂN BÁO GIAO THÔNG 20 Tổng quan 20 1.1 Tổng quan mạng neural tích chập -