MẪU ĐỒ ÁN KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VIỆT HÀN ĐỒ ÁN CƠ SỞ 5 ĐỀ TÀI HỆ THỐNG NHẬN DẠNG TRÁI THƠM THEO THỜI KỲ LỜI CẢM ƠN Là sinh viên năm 3 của Trường Đại H[.]
ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VIỆT - HÀN ĐỒ ÁN CƠ SỞ ĐỀ TÀI: HỆ THỐNG NHẬN DẠNG TRÁI THƠM THEO THỜI KỲ LỜI CẢM ƠN Là sinh viên năm Trường Đại Học Công Nghệ Thông Tin Truyền Thông Việt – Hàn Chúng em ý thức việc phát triển thân, kỹ điều thiết yếu q trình làm đồ án Tiếp thu hồn thiện kỹ cịn thiếu q trình học tập trường Để tạo sản phẩm báo cáo hồn thiện mơn đồ án Nhóm đồ án chúng em xin gửi lời cảm ơn đến thầy Nguyễn Hà Huy Cường – giảng viên hướng dẫn đồ án sở trang bị cho em kiến thức, kỹ cần có để hồn thành đề tài Tuy nhiên trình nghiên cứu đề tài, kiến thức chun ngành cịn hạn chế nên nhóm chúng em cịn nhiều thiếu sót tìm hiểu, đánh giá trình bày đề tài Rất mong nhận quan góp ý thầy/cơ mơn để tài em đầy đủ hoàn chỉnh Xin chân thành cảm ơn MỤC LỤC Trang Chương Mở đầu 12 1.1 Tổng quan .12 1.2 Phương pháp 12 Chương Nghiên cứu tổng quan 13 2.1 Cơ sở lý luận 13 2.1.1 Mơ hình huấn luyện YOLO .13 2.1.1.1 Giới thiệu YOLO 13 2.1.1.2 Cách YOLO hoạt động 13 2.1.1.3 Cấu trúc YOLO 14 2.1.1.4 Mơ hình mạng YOLO 15 2.1.1.5 Kiến trúc YOLO .15 2.1.1.5.1 Backbone 15 2.1.1.5.2 Neck 16 2.1.1.5.3 Head 17 2.1.2 Convolutional Neural Network (Mạng nơ-ron tích chập) 17 2.1.2.1 Giới thiệu CNN 17 2.1.2.2 Cách hoạt động 17 2.1.2.3 Cấu trúc CNN .17 2.1.2.3.1 Convolution Layer .18 2.1.2.3.2 Pooling layer .19 2.1.2.3.3 Fully connected layer 19 2.1.3 Ngơn ngữ lập trình công cụ thực .19 2.1.3.1 Ngơn ngữ lập trình Python 19 2.1.3.2 Thư viện OpenCV 20 2.1.3.3 Thư viện Tensorflow 21 2.1.3.4 Google Colaboratory 22 2.2 Tổng quan tình hình nghiên cứu thuộc lĩnh vực đề tài ngoàinước: .22 2.2.1 Ngoài nước: 23 2.2.1.1 Thực trạng 23 2.2.1.2 Các giải pháp đưa ra: 23 2.2.2 Trong nước: 24 2.2.2.1 Thực trạng: 24 2.2.2.2 Các giải pháp đưa ra: 24 Chương PHÂN TÍCH THIẾT KẾ HỆ THỐNG 25 3.1 Bối cảnh nghiên cứu 25 3.1.1 Đối tượng nghiên cứu 25 3.1.2 Phạm vi nghiên cứu .25 3.1.3 Thiết kế hệ thống 25 3.2 Triển khai xây dựng 25 3.2.1 Tiền xử lý liệu 25 3.2.1.1 Tập liệu đầu vào 25 3.2.1.2 Gán nhãn liệu 26 3.2.2 Huấn luyện mơ hình 30 3.2.2.1 Tiền huấn luyện 30 3.2.2.2 Huấn luyện 31 Chương KẾT QUẢ VÀ ĐÁNH GIÁ 33 4.1 Kết .33 4.2 Đánh giá .35 Chương KẾT LUẬN VÀ KHUYẾN NGHỊ 36 5.1 Kết luận 36 5.2 Khuyến nghị .36 DANH MỤC HÌNH Trang Figure Mơ hình YOLO 12 Figure Phương pháp phát vật thể YOLO 13 Figure Kiến trúc YOLO .14 Figure Darknet 53 15 Figure Cách hoạt động Neck .15 Figure Cách hoạt động CNN .16 Figure Mơ hình cấu trúc CNN 17 Figure Lớp Convolution CNN 17 Figure Lớp Pooling CNN 18 Figure 10 Lớp Fully connected 18 Figure 11 Ngôn ngữ lập trìn Python 19 Figure 12 Thư viên OpenCV .20 Figure 13 Thư viện Tensorflow 20 Figure 14 Môi trường Google Colaboratory 21 Figure 15 Sơ đồ hoạt động hệ thống nhận dạng .24 Figure 16 Dữ liệu trái thơm thu thập .25 Figure 17 Cài đặt thông số thư viện pipenv 25 Figure 18 Cài đặt thư viện qt5py3 .25 Figure 19 Cài đặt công cụ LabelImg từ github 26 Figure 20 Khởi chạy công cụ LabelImg .26 Figure 21 Giao diện LabelImg 26 Figure 22 Mở thư mục chưa hình ảnh trái thơm để bắt đầu gán nhãn .27 Figure 23 Chọn đường dẫn tới vị trí lưu trữ tệp thơng số gán nhãn 27 Figure 24 Chọn định dạng YOLO cho mô hình 28 Figure 25 Thực trình chọn vùng đặc trưng trái thơm 28 Figure 26 Cập nhập thêm nhãn cho vùng đặc trưng vừa chọn 29 Figure 27 Thơng số đặc trưng hình ảnh sau lưu 29 Figure 28 Khởi tạo trình sử dụng kết nối với Google Colab 30 Figure 29 Huấn luyện mơ hình với thông số cài đặt .30 Figure 30 Quá trình huấn luyện bắt đầu thực thi 31 Figure 31 Mô hình huấn luyện sau huấn luyện hồn thành 31 Figure 32 Giao diện hệ thống nhận dạng phát trái thơm 32 Figure 33 Chọn hình ảnh cho hệ thống so sánh 32 Figure 34 Kết hệ thống trả .33 Figure 35 Kết hệ thống trả .33 DANH MỤC CỤM TỪ VIẾT TẮT STT Cụm từ Công nghệ phần mềm Công nghệ thông tin Convolutional Neural Network You Only Look Once Internet of Things Artificial Intelligence 10 Central Processing Unit Graphics Processing Unit CPU GPU Khoa học công nghệ KH&CN Region-Based Networks Convolutional Viết tắt CNPM CNTT CNN YOLO IoT AI Neural RCNN Chương Mở đầu 1.1 Tổng quan Dưới công phát triển vượt trội cách mạng 4.0 với vấn đề liên quan Trí Tuệ Nhân Tạo, Điện Tốn Đám Mây, Internet Vạn Vật BigData Hiện Trí Tuệ Nhân Tạo xu hướng có tiềm lĩnh vực công nghệ thông tin yếu tố then chốt với vô số ứng dụng khía cạnh sống Smart Home, xe tự hành, hệ thống nhận dạng Hiện nay, phổ biến theo nhu cầu người làm cho lượng thơng tin thu hình ảnh ngày tăng Theo lĩnh vực xử lý ảnh trọng phát triển, ứng dụng rộng rãi đời sống xã hội đại Không dừng lại việc chỉnh sửa, tăng chất lượng hình ảnh mà với công nghệ xử lý ảnh giúp người giải tốn nhận dạng chữ viết, nhận dạng vân tay, nhận dạng thực phẩm an tồn Nhận dạng thực phẩm mơ hình triển khai gần Có thể ứng dụng công nghiệp, nông nghiệp dịch vụ Khi áp dụng hệ thống vào đời sống, việc lựa chọn thực phẩm sạch, an toàn cải thiện nhận biết trái tình trạng nào, đánh giá tình trạng thực phẩm dựa bề mặt với ứng dụng mơ hình nơng nghiệp, hệ thống nhận dạng dự đốn trái xồi hay trái thơm thu hoạch diện rộng Và tích lũy kinh nghiệp từ hệ thống nhận dạng khuôn mặt đồ án sở 3, đồ án sở báo kỹ thuật tự động chấm công dạy học thông minh dựa phương pháp Machine Learning Hội thảo CITA 2020 Chính thế, nhờ yếu tố trên, nhóm đồ án đưa hệ thống nhận dạng trái thơm theo thời kỳ 1.2 Phương pháp Trong đồ án sở này, nhóm chúng em triển khai theo mơ hình cụ thể bao gồm bước sau: - Xây dựng tập liệu trái thơm thu thập từ bên - Gán nhãn cho liệu phần mềm Imglabel - Sử dụng mô hình huấn luyện Yolov4 cho việc huấn luyện mơ hình - Sử dụng mơ hình huấn luyện cho hệ thống nhận dạng trái thơm Trong trình thực sản phẩm, nhóm chúng em tìm hiểu số thuật ngữ mơ hình sử dụng cho hệ thống: - Mơ hình mạng neural tích chập (CNN) - Ngôn ngữ Python thư viện hỗ trợ cho việc xây dựng hệ thống nhận dạng - Tìm hiểu mơ hình huấn luyện You Look Only Once (YOLO) - Tìm hiểu Machine Learning Deep Learning Chương Nghiên cứu tổng quan 2.1 Cơ sở lý luận 2.1.1 Mơ hình huấn luyện YOLO 2.1.1.1 Giới thiệu YOLO You Only Look Once hay gọi tắt YOLO YOLO thuộc Object Detection lĩnh vực Computer Vision Thuật Tốn Object Detecttion chia làm nhóm chính: - Họ mơ hình RCNN (Region-Based Convolutional Neural Networks) để giải toán định vị nhận diện vật thể - Họ mơ hình YOLO (You Only Look Once) dùng để nhận dạng đối tượng thiết kế để nhận diện vật thể real-time Yolo mơ hình mạng CNN cho việc phát hiện, nhận dạng, phân loại đối tượng Yolo tạo từ việc kết hợp convolutional layers connected layers Trong đóp convolutional layers trích xuất feature ảnh, cịn full-connected layers dự đốn xác suất tọa độ đối tượng Figure Mơ hình YOLO 2.1.1.2 Cách YOLO hoạt động Đầu vào mơ hình ảnh, mơ hình nhận dạng ảnh có đối tượng hay khơng, sau xác định tọa độ đối tượng ảnh Ảnh đầu vào chia thành S x S ô thường x 3, x 5, x 7, … việc chia ảnh hưởng tói việc mơ hình phát đối tượng sau Figure Phương pháp phát vật thể YOLO Với Input ảnh, đầu mơ hình ma trận chiều có kích thước S x S x (5 x N + M) với số lượng tham số ô (5 x N + M) với N M số lượng Box Class mà cần dự đốn Ví dụ với hình ảnh chia thành x ô, ô cần dự đốn bounding box object: chó, ô tô, xe đạp output x x 13, có 13 tham số, kết trả (7 x x = 98) bounding box Dự đoán bounding box gồm thành phần: (x, y, w, h, prediction) với (x, y) tọa độ âm bounding box, (w, h) chiều rộng chiều cao bounding box, prediction định nghĩa Pr(Object) 2.1.1.3 Cấu trúc YOLO Yolo trải qua nhiều hình với nhiều thành phần khác để tạo nên độ xác cho mơ hình huấn luyện Cấu trúc YOLO bao gồm: Hàm tính IOU Loss Function Clasifycation loss Localization loss Confidence loss Total loss 2.1.1.4 Mơ hình mạng YOLO Mơ hình mạng YOLO mơ hình mạng CNN thơng thường gồm convolutional layer kết hợp maxpooling layers cuối lớp fully connected layer, với hàm kích hoạt cho layer cuối linear activation function tất layer khác sử dụng leaky RELU 2.1.1.5 Kiến trúc YOLO Figure Kiến trúc YOLO Kiến trúc YOLO có phần, sau ảnh đầu vào đưa vào: Backbone (Dense Block & DenseNet, CSP, CSPDarknet53); Neck (FPN, SPP); Head (Dense Prediction Sparse Prediction 2.1.1.5.1 Backbone Backbone hiểu kiến trúc trích xuất tính Bao gồm YOLO Tiny Darknet53 Darknet 53 sử dụng dự án YOLO-Tiny có lớp phức hợp, xác nhanh hơn, tốn tài nguyên phù hợp với dự án di động nhúng Darknet53 có 53 lớp phức hợp, độ xác cao chậm Backbone cách cải thiện độ xác thiết kế mạng sâu để mở rộng trường tiếp nhận tăng độ phức tạp mơ hình Và để giảm bớt khó khăn huấn luyện