Nhận dạng biển báo nguy hiểm

TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KH & KT MÁY TÍNH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc -Ngày 11 tháng 08 năm 2021 PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người phản biện) Họ tên SV: TRẦN ĐĂNG KHOA MSSV: 1620031 Ngành (chuyên ngành): Đề tài: NHẬN DẠNG BIỂN BÁO NGUY HIỂM Họ tên người phản biện: TRẦN GIANG SƠN Tổng quát thuyết minh: Số trang: 49 Số chương: Số bảng số liệu: Số hình vẽ: 35 Số tài liệu tham khảo: Phần mềm tính tốn: Hiện vật (sản phẩm) Tổng quát vẽ: - Số vẽ: Bản A1: Bản A2: Khổ khác: - Số vẽ vẽ tay Số vẽ máy tính: Những ưu điểm LVTN: - Sinh viên tìm hiểu kiến thức sở để thực luận văn mạng nơ-ron (ANN), mạng nơ-ron tích chập (CNN), mạng EfficientNet - Sinh viên tìm hiểu số cơng nghệ phục vụ cho việc thực luận văn ngơn ngữ lập trình Python với Framework thư viện TensorFlow, Keras, OpenCV - Đã đề xuất mơ hình giải tốn nhận dạng biển báo nguy hiểm mơ hình học sâu sử dụng Fine-tuning với EfficientNet - Tạo làm giàu tập liệu loại biển báo nguy hiểm thông dụng Kết nhận dạng tương đối khả quan Những thiếu sót LVTN: - Kết chưa đủ tốt để ứng dụng thực tế - Thu thập nhiều liệu hơn, nên tiền xử lý liệu đầu vào - Có thể cải tiến mơ hình lựa chọn mơ hình khác, để nâng cao độ xác Đề nghị: Được bảo vệ  Bổ sung thêm để bảo vệ  Không bảo vệ  câu hỏi SV phải trả lời trước Hội đồng: - Em đề xuất phương án để làm tăng độ xác nhận dạng biển báo 10 Đánh giá chung (bằng chữ: giỏi, khá, TB): Điểm : 8.5 /10 Ký tên (ghi rõ họ tên) Trần Giang Sơn - - KHOA:KH & KT Máy tính KHMT _ NGÀNH: _ MSSV: 1620031 ính _ _ - to - Xây 01/02/2021 30/07/2021 1) (Ký _ _ _ KHOA KH & KT MÁY TÍNH -Ngày 10 tháng 08 2021 ) (MSSV: 1620031) Ngành (chun ngành): : tốn: -S - g trình liên quan - 8.5 /10 ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC & KỸ THUẬT MÁY TÍNH ——————– * ——————— LUẬN VĂN TỐT NGHIỆP NHẬN DẠNG BIỂN BÁO NGUY HIỂM Hội đồng : Khoa học Máy Tính Giảng viên hướng dẫn : ThS Vương Bá Thịnh Giảng viên phản biện : ThS Trần Giang Sơn Sinh viên thực : Trần Đăng Khoa - 1620031 Ngày 26 tháng 07 năm 2021 Lời cam đoan Em cam đoan điều trình bày báo cáo, mã nguồn tự thân thực - trừ kiến thức tham khảo có trích dẫn mã nguồn mẫu nhà sản xuất cung cấp, hồn tồn khơng chép từ nguồn khác Nếu lời cam đoan trái với thật, em xin chịu trách nhiệm trước Ban Chủ Nhiệm Khoa Ban Giám Hiệu Nhà Trường Sinh viên thực đề tài Lời cảm ơn Lời em xin gửi lời cảm ơn đến tập thể thầy cô giáo trường Đại Học Bách Khoa TP.HCM giảng dạy cung cấp tri thức kinh nghiệm trình học tập Đặc biệt, em muốn gửi lời cảm ơn chân thành đến người thầy hướng dẫn trực tiếp cho em ThS.Vương Bá Thịnh Người dìu dắt mang đến kiến thức, định hướng tài liệu hướng dẫn suốt q trình em làm đề tài Ngồi ra, em xin cám ơn đến gia đình, người thân bạn bè giúp đỡ cổ vũ tinh thần để em đủ nghị lực sức khỏe để hoàn thành tốt giai đoạn cuối luận văn Mặc dù hồn thành luận văn tốt nghiệp chắn cịn nhiều thiếu sót,em mong nhận ý kiến đóng góp thầy, để hồn thiện phát triển đề tài Để làm tài liệu tham khảo có ích cho hệ sinh viên sau Lời cuối cùng, em xin gửi lời cảm ơn, lời chúc sức khỏe tốt đẹp cảm ơn chân thành đến thầy Vương Bá Thịnh, người đồng hành em suốt năm học trường Đại Học Bách Khoa TP.HCM Trận trọng Sinh viên thực đề tài i Tóm tắt Việc lưu kho hóa chất độc hại, sản phẩm nguy hiểm cần đặt khu vực riêng biệt tránh nhầm lẫn với sản phẩm thông dụng kho việc làm cần thiết tuân thủ nghiêm ngặt Vì nhận diện biển cảnh báo container hay nhãn cảnh báo sản phẩm cách tự động nhu cầu cần thiết doanh nghiệp kho bãi, đặc biệt doanh nghiệp có kho Fulfillment Đề tài sử dụng mã nguồn Python thư viện Keras, Numpy, OpenCV, EfficientNet Cũng máy tính cung cấp Google Colab giúp phát triển train model ii Mục lục Lời cam đoan Lời cảm ơn i Tóm tắt ii Danh Sách Hình Vẽ vii Danh Sách Bảng viii Thuật ngữ & từ viết tắt Mục tiêu đề tài ix 1.1 Về kiến thức 1.2 Về sản phẩm 1.3 Giai đoạn thực 1.4 Giới hạn đề tài Cơ sở lý thuyết 2.1 Artificial neural network (ANN) 2.1.1 Nguyên lý hoạt động 2.1.2 Kiến trúc tổng quát mạng neuron nhân tạo (ANN) 2.1.3 Các cơng thứ tốn học iii Mục lục 2.2 2.3 2.4 2.1.4 Các hàm kích hoạt phi tuyến tính phổ biến 2.1.5 Hàm phân số xác suất Softmax 10 2.1.6 Hàm mát Categorical Cross-entropy 10 2.1.7 Các kỹ thuật tránh Overfiting 10 Convolutional Neural Network (CNN) 12 2.2.1 Convolution xử lý ảnh 12 2.2.2 Định nghĩa Convolutional Neural Network (CNN) 13 2.2.3 Các khái niệm mạng CNN 14 2.2.4 Cấu trúc mạng CNN 16 2.2.5 Convolutional Layer 18 2.2.6 Pooling Layer 21 Các mạng CNN tiếng 21 2.3.1 EfficientNet 23 2.3.2 Kiến trúc mơ hình EfficientNet-B0 27 Transfer Learning 32 2.4.1 Fine tuning 32 Cơng trình liên quan 36 3.1 Giới thiệu 36 3.2 Các nghiên cứu liên quan 36 3.2.1 Plant leaf disease classification using EfficientNet deep learning model [? ] 36 Mơ hình đề xuất cho tốn 4.1 41 Kiến trúc mơ hình 41 4.1.1 Mơ hình học sâu sử dụng Fine-tuning với EfficientNet 41 4.1.2 Tập liệu 42 4.1.3 Tiến hành thực nghiệm 42 iv Mục lục 4.1.4 Kết thực nghiệm 43 Công nghệ sử dụng 44 5.1 Ngơn ngữ lập trình Python 44 5.2 Framework Thư viện 45 5.3 5.2.1 Tensorflow 45 5.2.2 Keras 45 5.2.3 OpenCV 45 Công cụ Jupyter NoteBook Tổng kết 46 47 6.1 Kết đạt 47 6.2 Hạn chế cải tiến tương lai 47 6.2.1 Hạn chế 47 6.2.2 Cải tiến tương lai 48 Tài liệu tham khảo 49 v 2.4 Transfer Learning Giai đoạn Khi bước vào giai đoạn 2, mở đóng băng (unfreeze) layer ConvNet pre-trained lớp mở rộng Có thể mở đóng băng tồn mạng pre-trained lớp mở rộng, mở đóng băng vài lớp cuối thêm vào Sau huấn luyện tồn để tìm kiếm kết tối ưu cho mơ hình Hình 2.31: Mơ tả kỹ thuật Fine-tuning giai đoạn 35 Cơng trình liên quan 3.1 Giới thiệu Trong lĩnh vực học máy, Gán nhãn cho đối tượng tác vụ nhận dạng bao gồm việc gán nhãn định cho thành phần ảnh Đã có nhiều nghiên cứu liên quan đén lĩnh vực hẹp cho kết xác cao Dưới nghiên cứu mơ hình học máy sử dụng để phân tích so sánh lựa chọn 3.2 3.2.1 Các nghiên cứu liên quan Plant leaf disease classification using EfficientNet deep learning model [? ] Giới thiệu Nghiên cứu so sánh mơ hình phân loại nhiều người dùng AlexNet, VGG16, ResNet50, Inception V3 EfficientNet Sử dụng transfer learning fine tuning cho mạng Dữ liệu huấn luyện kiểm tra PlantVillage với 38 loại, tổng 54305 hình ảnh với 14 loại khác Trong có 12 loại khỏe mạnh, 26 loại bị sâu bệnh 36 3.2 Các nghiên cứu liên quan Thơng tin mơ hình Với tập liệu ta chia theo tỷ lệ Train (90%) – Validation (7%) – Test (3%): Total Train (90%) Validation (7%) Test (3%) Original dataset 55448 49903 3813 1663 Augmented dataset 61486 55337 4304 1844 Bảng 3.1: Bảng chia tỷ lệ Train - Validation - Test phân loại Hình 3.1: Tập liệu sử dụng mơ hình phân loại 37 3.2 Các nghiên cứu liên quan Các giá trị thông số mô hình Optimization method & paLearning rate rameters Model name Image size AlexNet 227x227 Adam(Beta = 0.9, Beta = 0.999, Decay = 0.0) 0.001 VGG16 224x224 SGD (Momentum = 0.0, Decay = 0.0) 0.001 ResNet50 224x224 Adam(Beta = 0.9, Beta = 0.999, Decay = 0.0) 0.001 Inception V3 299x299 Adam(Beta = 0.9, Beta = 0.999, Decay = 0.0) 0.001 EfficientNet 132x132 Adam(Beta = 0.9, Beta = 0.999, Decay = 0.0) 0.001 Bảng 3.2: Các HyperParameters mơ hình phân loại Hình 3.2: Mơ hình EfficientNet phân loại 38 3.2 Các nghiên cứu liên quan Kết thu Kết trung bình 12 mơ hình tập liệu gốc (original dataset) Avg Acc (%) Avg Sen (%) Avg Spe (%) Avg Pre (%) Time per epoch (sec) Total training time (min) B0 99.81 96.26 99.9 96.85 552 64.4 B1 99.79 96 99.89 96.61 800 80 B2 99.83 96.72 99.91 97.4 839 69.9 B3 99.83 96.77 99.91 97.2 1065 177.5 B4 99.84 96.82 99.92 97.24 1405 210.8 B5 99.91 98.31 99.96 98.42 1930 643.3 B6 99.69 94 99.84 94.99 2405 80.2 B7 99.86 97.23 99.93 97.6 3240 918 AlexNet 99.45 89.33 99.72 90.26 310 82.7 ResNet50 99.77 95.44 99.88 96.53 1740 203 VGG16 99.81 96.26 99.9 96.83 1465 146.5 Inception V3 99.81 96.26 99.9 96.84 2180 399.7 Model Bảng 3.3: Kết trung bình 12 mơ hình với tập liệu gốc 39 3.2 Các nghiên cứu liên quan Kết trung bình 12 mơ hình với tập liệu làm giàu (augmented dataset) Avg Acc (%) Avg Sen (%) Avg Spe (%) Avg Pre (%) Time per epoch (sec) Total training time (min) B0 99.88 97.69 99.94 97.78 617 82.3 B1 99.92 98.46 99.96 98.5 880 176 B2 99.91 98.26 99.95 98.37 930 77.5 B3 99.94 98.82 99.97 98.85 1180 157.3 B4 99.97 99.38 99.98 99.39 1548 283.8 B5 99.93 98.72 99.97 98.76 2150 179.2 B6 99.93 98.67 99.96 98.73 2685 313.3 B7 99.9 98 99.95 98.1 3625 181.3 AlexNet 99.67 93.64 99.83 93.87 352 88 ResNet50 99.88 97.59 99.94 97.91 1916 223.5 VGG16 99.94 98.77 99.97 98.82 1622 108.1 Inception V3 99.93 98.62 99.96 98.7 2330 233 Model Bảng 3.4: Kết trung bình 12 mơ hình với tập liệu làm giàu Đánh giá Dựa vào bảng đánh giá ta thấy mơ hình EfficientNetB0 cho thời gian huấn luyện tốt kết đạt khả quan 40 Mơ hình đề xuất cho tốn 4.1 Kiến trúc mơ hình Trong giới hạn luận văn tốt nghiệp, em xem toán nhận dạng biển báo nguy hiểm tác vụ gán nhãn cho đối tượng Dựa cơng trình nghiên cứu trình bày chương 3, em đề xuất mơ hình học sâu để giải tốn 4.1.1 Mơ hình học sâu sử dụng Fine-tuning với EfficientNet Hình 4.1: Mơ hình học sâu sử dụng Fine-tuning với EfficientB2 41 4.1 Kiến trúc mơ hình 4.1.2 Tập liệu Đối với mơ hình học sâu sử dụng Fine-tuning với pre-trained model EfficientNet, ta sử dụng tập liệu 5.000, 10.000, 50.000, 100.000, 200.000 ảnh cắt phân loại theo nhãn Augmented dataset Train (60%) Validation (20%) Test (20%) 5000 3000 1000 1000 10000 6000 2000 2000 50000 30000 10000 10000 100000 60000 20000 20000 200000 120000 40000 40000 Bảng 4.1: Chia tập liệu cho mơ hình fine-tuning với EfficientNet Hình 4.2: Tập liệu cho mơ hình fine-tuning với EfficientNetB2 4.1.3 Tiến hành thực nghiệm Mơ hình Fine-tuning với EfficientNet Để huấn luyện mơ hình, giai đoạn fine-tuning, em sử dụng RMSprop Optimizer với learning rate cố định 0.001 Ở giai đoạn sử dụng Admin Optimazer với learning rate cố định 0.001, lớp thêm Dropout 0.2, hàm kích hoạt (acitvation function) ReLU, kết hợp thêm Batch normalization để giảm phụ thuộc vào giá trị khởi tạo tham số Mã nguồn cho mơ hình Fine-tuning https://github.com/khoatran10991/HazardClassification với EfficientNet: 42 4.1 Kiến trúc mơ hình 4.1.4 Kết thực nghiệm Kết thực nghiệm dùng thước đo độ xác (Accuracy) tập liệu Test ứng với tập liệu đầu vào Đối với mơ hình EfficientNet-B5 tập liệu 50.000, 100.000 khơng thể thực nghiệm tràn nhớ Accuracy Augmented dataset Model 5000 10000 50000 100000 EfficientNet-B0 0.94375 0.92338 0.12550 EfficientNet-B1 0.99910 0.37459 0.12755 EfficientNet-B2 0.99285 0.99949 0.12489 0.99900 EfficientNet-B3 0.99553 0.99899 0.99789 EfficientNet-B4 1 EfficientNet-B5 0.98750 Bảng 4.2: Kết thực nghiệm mơ hìnhh Dựa vào bảng kết thực nghiệm trên, ta thấy mơ hình EfficientNet-B3 EfficientNet-B4 cho kết ổn định độ xác cao 43 Cơng nghệ sử dụng 5.1 Ngơn ngữ lập trình Python Python ngơn ngữ lập trình thơng dịch Guido van Rossum tạo nưm 1990 Python phát triển dự án mã nguồn mở, tổ chức phi lợi nhuận Python Software Foundation quản lý Python ngơn ngữ có hình thức sáng sủa, cấu trúc rõ ràng, thuận tiện cho người lập trình Python giúp cho việc thực giải thuật diễn cách nhanh chóng, giúp người lập trình tập trung vào việc thiết kế giải thuật thay phải tập trung vào vấn đề thấp quản lý cấp phát nhớ Python sử dụng hệ thống xác định kiểu động, cấp phát nhớ động hỗ trợ phương pháp lập tình khác hướng đối tượng, thủ tục lập trình hàm Python dùng phổ biến nhiều lĩnh vực từ script batch linux, backend service web v.v.v Đặc biệt lĩnh vực Machine Learning với nhiều thư viện hỗ trợ mạnh mẽ từ việc thu thập liệu Scrapy, quản lý xử lý liệu pandas, trực quan hóa liệu matplotlib, giúp thực nhanh chóng mơ hình Machine Learning, Deep Learning cơng cụ Scikit-Learn, Tensorflow, Kreas v.v.v Có thể nói Python ngơn ngữ có nhiều ứng dụng từ thực tế đến nghiên cứu khoa học 44 5.2 Framework Thư viện 5.2 5.2.1 Framework Thư viện Tensorflow Tensorflow thư viện mã nguồn mở phát triển Google phát hành vào ngày 11/0/2015 Đây thư viện hỗ trợ người dùng xây dựng mơ hình Machine Learning dạng độ thị tính tốn linh hoạt Tensorflow hỗ trợ huấn luyện mô hình GPU, TPU huấn luyện dạng phân tán nhiều máy tính khác Tensorflow cung cấp đầy đủ API để quản lý mơ hình từ lúc huấn luyện lúc đưa sử dụng 5.2.2 Keras Kera thư viện cấp cao dùng cho việc xây dựng mơ hình Deep Learning xây dựng thư viện Theano Tensorflow Ưu điểm Keras cung cấp API thân thiện người dùng so với Tensorflow Bên cạnh đó, Keras cung cấp hàm cho việc tiền xử lý liệu 5.2.3 OpenCV OpenCV Intel vào năm 1999 Gary Bradsky OpenCV viết tắt cho cụm từ Open Source Computer Vision Library OpenCV thư viện mã nguồn mở hàng đầu cho Computer Vision Machine Learning phát hành theo giấy phép BSD OpenCV có cộng đồng người dùng hùng hậu hoạt động khắp giới nhu cầu cần đến ngày tăng OpenCV ứng dụng rộng rãi toàn cầu với cộng đồng 47.000 người với nhiều mục đích sử dụng tính khác 45 5.3 Công cụ Jupyter NoteBook 5.3 Công cụ Jupyter NoteBook Jupyter NoteBook cung cấp giao diện cho phép người dùng chạy dòng lệnh Python cách tương tác Việc chạy tương tác dòng lệnh Python giúp cho việc viết code debug dễ dàng, nhanh chóng Chưa kể phần NoteBook giúp hiểu dịng lệnh mơ tả output chạy Jupyter NoteBook chạy trình duyệt dạng trang web mà dòng lệnh tổ chức thành cell, cell chứa nhiều dịng lệnh 46 Tổng kết 6.1 Kết đạt Sau trình thực luận văn tốt nghiệp, em đạt kết sau: Tìm hiểu đề xuất mơ hình học sâu cho việc nhận diện biển cảnh báo Bài tốn trích uất thơng tin tác vụ gán nhãn cho đối tượng Hiểu nhiều kỹ thuật nhằm nâng cao độ xác mơ hình Xây dựng quy trình gán nhãn liệu với công cụ kèm Đánh giá lựa chọn mơ hình thích hợp cho việc dán nhãn biển cảnh báo 6.2 6.2.1 Hạn chế cải tiến tương lai Hạn chế Cùng với kết đạt được, mơ hình cịn nhiều hạn chế cần khắc phục sau: Tuy đạt tỷ lệ dán nhãn đối tượng khả quan, chưa đủ tốt để ứng dụng thực tế, nguyên nhân phần tập liệu mẫu hạn chế Ngoài hạn chế nguồn nhân lực thời gian, kiến thức nên em tăng độ xác lên cao 47 6.2 Hạn chế cải tiến tương lai Đối với tập liệu từ 200.000 hình ảnh trở lên, Google Colab thực đủ Epoch 24h 6.2.2 Cải tiến tương lai Để khắc phục hạn chế nêu, tương lai em thực số cải tiến như: Cải thiện tập liệu huấn luyện cách tăng số lượng liệu thực tế Nghiên cứu cải thiện tốc độ huấn luyện giúp cải thiện độ hiệu 48 Tài liệu tham khảo [1] Charu C Aggarwal (2018).Neural Networks and Deep Learning Springer International Publishing AG [2] Hamed Habibi Aghdam & Hamed Habibi Aghdam (2017).Guide to Convolutional Neural Networks Springer International Publishing AG [3] M Arif Wani & Mehmed Kantardzic & Moamar Sayed-Mouchaweh (2020) Deep Learning Based Hazard Label Object Detection for Lithium-ion Batteries Using Synthetic and Real Data Deep Learning Applications (137-154) Springer International Publishing AG [4] National Institute on Drug Abuse (2010) Neurons, Brain Chemistry, and Neurotransmission The Brain: Understanding Neurobiology Through the Study of Addiction (44-59) BSCS and Videodiscovery, Inc [5] Mingxing Tan & Quoc V Le (2020) EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks ă [6] Umit Atila & Murat U¸car & Kemal Akyol & Emine U¸car (2021) Plant leaf disease classification using EfficientNet deep learning model 49 ... HỌC BÁCH KHOA KHOA KHOA HỌC & KỸ THUẬT MÁY TÍNH ——————– * ——————— LUẬN VĂN TỐT NGHIỆP NHẬN DẠNG BIỂN BÁO NGUY HIỂM Hội đồng : Khoa học Máy Tính Giảng viên hướng dẫn : ThS Vương Bá Thịnh Giảng viên... hại, sản phẩm nguy hiểm cần đặt khu vực riêng biệt tránh nhầm lẫn với sản phẩm thông dụng kho việc làm cần thiết tuân thủ nghiêm ngặt Vì nhận diện biển cảnh báo container hay nhãn cảnh báo sản phẩm... Yann Lecun Leon Bottou việc nhận dạng chữ số viết tay văn Bộ liệu nghiên cứu sử dụng MNIST, gồm tập hợp chữ số viết tay Mơ hình hai nhà nghiên cứu sử dụng LeNet5 nhận dạng chữ số tập liệu MNIST