- Các phương pháp nhận dạng hình ảnh và đối tượng: + Kỹ thuật mô tả đặc trưng Histogram of Oriented Gradients – HOG + Kỹ thuật mô hình nơ-ron tích chập theo vùng R-CNN + Kỹ thuật mô hình
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA – VŨNG TÀU - - PHẠM TẤN TN GIẢI PHÁP THANH TỐN NHANH MĨN ĂN Ở CĂN TIN TRƯỜNG HỌC SỬ DỤNG THUẬT TOÁN NHẬN DẠNG HÌNH ẢNH LUẬN VĂN THẠC SĨ Bà Rịa – Vũng Tàu, tháng 09 năm 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA – VŨNG TÀU - - PHẠM TẤN TN GIẢI PHÁP THANH TỐN NHANH MĨN ĂN Ở CĂN TIN TRƯỜNG HỌC SỬ DỤNG THUẬT TỐN NHẬN DẠNG HÌNH ẢNH LUẬN VĂN THẠC SĨ Chuyên ngành: Công nghệ Thông tin Mã số ngành: 8480201 CÁN BỘ HƯỚNG DẪN KHOA HỌC: PGS.TS TRẦN MẠNH HÀ Bà Rịa – Vũng Tàu, tháng 09 năm 2023 i LỜI CAM ĐOAN Tôi Phạm Tấn Tuân, MSSV 20110165, học viên lớp MIT20K2, Khoá 2, chuyên ngành công nghệ thông tin Tôi xin cam đoan luận văn: “Giải pháp tốn nhanh ăn tin trường học sử dụng thuật toán nhận dạng hình ảnh” cơng trình nghiên cứu cá nhân hỗ trợ giảng viên hướng dẫn PGS.TS Trần Mạnh Hà Các liệu, kết trình bày nêu Luận văn trung thực chưa công bố cơng trình khác Tơi xin xác nhận giúp đỡ cho việc thực Luận văn cảm ơn nguồn thơng tin trích dẫn Luận văn ghi rõ nguồn gốc Học viên thực Luận văn (Ký ghi rõ họ tên) ii LỜI CẢM ƠN Trước hết, xin gửi lời cảm ơn bày tỏ biết ơn chân thành tới PGS.TS Trần Mạnh Hà – Giảng viên hướng dẫn khoa học trực tiếp hướng dẫn, hỗ trợ định hướng giúp đỡ q trình tìm hiểu, nghiên cứu hồn thiện luận văn Tơi xin bày tỏ lịng biết ơn chân thành đến quý thầy cô giảng viên trường Đại học Bà Rịa - Vũng Tàu, người tạo điều kiện, hỗ trợ cho suốt trình học tập nghiên cứu khoa học Đặc biệt xin cảm ơn đến Thầy chủ nhiệm lớp MIT20K2 thầy Phan Ngọc Hoàng gợi ý đề xuất ý tưởng thực luận văn Mặc dù cố gắng để hoàn thành luận văn chắn khơng tránh khỏi sai sót Tơi kính mong nhận góp ý tận tình q thầy cô bạn Tôi xin gửi lời cảm ơn chân thành! Học viên thực Luận văn (Ký ghi rõ họ tên) iii MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC CÁC BẢNG BIỂU vi DANH MỤC CÁC HÌNH VẼ vii CHƯƠNG GIỚI THIỆU TỔNG QUAN ĐỀ TÀI 1.1 Đặt vấn đề 1.2 Mục tiêu nghiên cứu đề tài 1.2.1 Nội dung nghiên cứu 1.2.2 Đối tượng nghiên cứu 1.2.3 Phương pháp nghiên cứu 1.2.4 Ý nghĩa đề tài 1.3 Cấu trúc luận văn 1.4 Tổng quan đề tài 1.5 Các nghiên cứu liên quan 10 CHƯƠNG CƠ SỞ LÝ THUYẾT 12 2.1 Computer Vision - Thị giác máy tính 12 2.2 Kỹ thuật mô tả đặc trưng (Histogram of Oriented Gradients – HOG) 12 2.3 Mạng noron tích chập 14 2.4 Kỹ thuật mơ hình nơ-ron tích chập theo vùng (R-CNN) 18 2.5 Kỹ thuật mơ hình nơ-ron tích chập theo vùng cải tiến (Faster R-CNN) 20 2.6 Mơ hình YOLO v5 .23 2.7 Đánh giá mơ hình .30 2.7.1 Tỷ lệ vùng giao tổng vùng (Intersection over Union - IOU) 30 iv 2.7.2 - Precision Recall 32 2.7.3 - Hàm mát 33 2.74 Lý lựa chọn mơ hình YOLOv5 cho đề tài .36 CHƯƠNG THIẾT KẾ VÀ XÂY DỰNG MƠ HÌNH ỨNG DỤNG 37 3.1 Mơ hình phát vật thể YOLOv5 37 3.2 Dữ liệu .38 3.2.1 Các yếu tố mặt liệu để mô hình đạt kết tốt .46 3.2.2 Các trường hợp nhận dạng sai: 47 3.3 Chọn mơ hình .47 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ ỨNG DỤNG 51 4.1 Quy trình thực thí nghiệm 51 4.2 Đánh giá .52 4.3 Tạo ứng dụng cho mơ hình 64 4.3.1 Đề xuất kịch chạy thực nghiệm phân tích ngun nhân .66 4.3.2 Áp dụng mơ hình tính tổng số tiền: 70 CHƯƠNG KẾT LUẬN 76 5.1 Các kết luận văn làm 76 5.3 Khả ứng dụng thực tiễn (nếu có): .77 5.4 Những hạn chế định hướng phát triển nghiên cứu .77 5.5 Kết luận: 79 TÀI LIỆU THAM KHẢO 81 v DANH MỤC CÁC TỪ VIẾT TẮT STT Từ viết tắt Tên HOG Histogram of Oriented Gradients YOLO You only look once IoT Internet of Things R-CNN Region-based Convolutional Neural Networks ROI Region of interest CNN FC Kết nối đầy đủ (Fully Connected) MLP Perceptron nhiều lớp (Multilayer Perceptron Classifier) CSP Cross-stage partial network 10 PAN Path Aggregation Network 11 IOU Intersection over Union 12 mAP Mean Average Precision 13 RPN Region Proposal Network 14 SGD Stochastic Gradient Descent Mạng thần kinh tích chập (Convolutional Neural Network) vi DANH MỤC CÁC BẢNG BIỂU Bảng Chi tiết nhóm đối tượng nhận dạng 39 Bảng Tỉ lệ phân chia tổng số lượng hình ảnh huấn luyện 42 Bảng Tỉ lệ kết nhóm đối tượng 52 Bảng Bảng đơn giá các đối tượng nhận dạng 71 vii DANH MỤC CÁC HÌNH VẼ Hình 1 Mơ hình máy bán tự động Hình Mơ hình máy bán tự động Hình Minh Họa khay đồ ăn học sinh Hình Thuật tốn Histogram of Oriented Gradients – HOG 13 Hình 2 Các lớp mơ hình mạng Noron tích chập 14 Hình Mơ hình Convolution Neural Network 16 Hình Mơ hình ảnh qua lớp (layer) 18 Hình Kiến trúc mơ hình R-CNN 20 Hình Mơ hình Fast R-CNN 22 Hình Kim tự tháp tính (Feature Pyramid) 27 Hình Kiến trúc PAN 28 Hình Tổng quan YOLOv5 29 Hình 10 Hộp chứa (Box) 30 Hình 11 Hình ảnh minh họa cách tính IOU 31 Hình 12 Hình ảnh minh họa hiệu IOU 31 Hình 13 Ảnh mơ tả cách tính mAP 32 Hình 14 Mơ tả threshold 33 Hình 15 Lưới cắt hình ảnh 34 Hình Mơ tả quy trình thực phát vật thể 37 Hình Một số hình ảnh dùng cho huấn luyện 40 Hình 3 Một số hình ảnh dùng cho huấn luyện 41 Hình Mơ tả liệu 45 Hình Biểu đồ thể độ xác thơng số epoch 53 Hình Ma trận nhầm lẫn 54 viii Hình Đồ thị F1 – Confidence Curve 55 Hình 4 Đồ thị Precision – Confidence Curve 56 Hình Đồ thị Precision – Recall Curve 56 Hình Đồ thị Recall – Confidence Curve 57 Hình Hình ảnh đưa vào huấn luyện đánh số từ đến 58 Hình Hình ảnh gốc gán nhãn đưa vào huấn luyện 60 Hình Kết hình ảnh sau dùng để kiểm tra 62 Hình 10 Kết hình ảnh chứa nhiều vật thể sau kiểm tra 63 Hình 11 Kết nhận dạng đối tượng thông qua Camera 65 Hình 12 Kịch chạy đơn lẻ đối tượng 67 Hình 13 Kịch chạy đối tượng tách rời 68 Hình 14 Kịch chạy đối tượng, có chứa vật thể khơng nằm huấn luyện 68 Hình 15 Kịch chạy -4 đối tượng, có chứa vật thể khơng nằm huấn luyện 69 Hình 16 Kịch chạy đối tượng, chứa vật thể không nằm huấn luyện 70 Hình 17 Nhận dạng - xuất tổng thành tiền, góc 450 72 Hình 18 Nhận dạng - xuất tổng thành tiền, góc 900 72 Hình 19 Nhận dạng sai – chồng lắp vật thể, ánh sáng 73 Hình 20 Nhận dạng sai – đặc điểm chai tạo nên vật hình dạng 74