Thông tin đề tài - Tên của đề tài: THIẾT KẾ HỆ THỐNG PHÁT HIỆN VÀ NHẬN DIỆN SẢN PHẨM CHO QUẦY BÁN HÀNG TỰ ĐỘNG SỬ DỤNG PHƯƠNG PHÁP HỌC THÍCH ỨNG MIỀN - Đơn vị quản lý: Bộ môn Điện Công n
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT ĐIỆN - ĐIỆN TỬ THIẾT KẾ HỆ THỐNG PHÁT HIỆN VÀ NHẬN DIỆN SẢN PHẨM CHO QUẦY BÁN HÀNG TỰ ĐỘNG SỬ DỤNG PHƯƠNG PHÁP HỌC THÍCH ỨNG MIỀN GVHD: TS TRẦN VŨ HOÀNG SVTH: ĐẶNG CÔNG TY S K L 0 1 2 0 1 0 Tp Hồ Chí Minh, tháng 6/2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN - ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP Chuyên ngành Điện Công Nghiệp ĐỀ TÀI: THIẾT KẾ HỆ THỐNG PHÁT HIỆN VÀ NHẬN DIỆN SẢN PHẨM CHO QUẦY BÁN HÀNG TỰ ĐỘNG SỬ DỤNG PHƯƠNG PHÁP HỌC THÍCH ỨNG MIỀN GVHD: TS TRẦN VŨ HOÀNG SVTH: ĐẶNG CÔNG TY MSSV: 19142415 KHÓA: 2019 NGÀNH: CÔNG NGHỆ KỸ THUẬT ĐIỆN-ĐIỆN TỬ TP.HCM, tháng 6 năm 2023 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc o THÔNG TIN KHÓA LUẬN TỐT NGHIỆP 1 Thông tin sinh viên MSSV: 19142415 Họ và tên sinh viên: Đặng Công Ty Điện thoại: 0792546076 Email: 19142415@student.hcmute.edu.vn 2 Thông tin đề tài - Tên của đề tài: THIẾT KẾ HỆ THỐNG PHÁT HIỆN VÀ NHẬN DIỆN SẢN PHẨM CHO QUẦY BÁN HÀNG TỰ ĐỘNG SỬ DỤNG PHƯƠNG PHÁP HỌC THÍCH ỨNG MIỀN - Đơn vị quản lý: Bộ môn Điện Công nghiệp, Khoa Điện - Điện Tử, Trường Đại Học Sư Phạm Kỹ Thuật Tp Hồ Chí Minh - Thời gian thực hiện: Từ ngày 14/02/2023 đến ngày 30/06/2023 3 Lời cam đoan của sinh viên Chúng tôi – cam đoan Khóa Luận Tốt Nghiệp là công trình nghiên cứu của chúng tôi dưới sự hướng dẫn của TS Trần Vũ Hoàng Kết quả công bố trong Khóa Luận Tốt Nghiệp là trung thực và không sao chép từ bất kỳ công trình nào khác Tp HCM, ngày 01 tháng 07 năm 2023 Nhóm sinh viên thực hiện đồ án _ Tp HCM, ngày 01 tháng 07 năm 2023 Tp HCM, ngày 01 tháng 07 năm 2023 Giảng viên hướng dẫn Bộ môn Điện Công nghiệp i ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN: ĐIỆN CÔNG NGHIỆP BẢNG NHẬN XÉT VÀ ĐÁNH GIÁ CỦA GIÁO VIÊN HƯỚNG DẪN I TÓM TẮT NỘI DUNG CHÍNH Thiết kế hệ thống phát hiện và nhận dạng sản phẩm được sử dụng tại các cửa hàng bán hàng tự động khi chỉ sử dụng dữ liệu tổng hợp để huấn luyện II.MÔ TẢ ĐỀ TÀI Đề tài đề xuất áp dụng kỹ thuật học thích ứng miền (Domain Adaptation) bằng cách kết hợp kỹ thuật học đối nghịch (Adversarial Learning) vào quá trình huấn luyện mô hình YOLOv8 nhằm giảm sự khác biệt trên miền đặc trưng giữa dữ liệu tổng hợp và dữ liệu thực tế Từ đó, hệ thống phát hiện và nhận dạng sản phẩm được huấn luyện trên các dữ liệu tổng hợp vẫn có thể hoạt động tốt trên dữ liệu thực tế II.1 Tính cần thiết Việc kết hợp kỹ thuật học thích ứng miền sẽ giúp tiết kiệm thời gian và công sức thu thập một lượng dữ liệu lớn cho việc huấn luyện II.2 Bài toán đặt ra (Nội dung cần giải quyết) Chỉ sử dụng tập dữ liệu tổng hợp đến để huấn luyện nhưng sẽ đánh giá trên tập dữ liệu thực tế II.3 Kỹ thuật – Phương pháp sử dụng để giải quyết vấn đề Đề tài đề xuất huấn luyện mô hình YOLOv8 với phương pháp học thích ứng miền sử dụng việc học đối nghịch Để có một mô hình học đối nghịch phù hợp với YOLOv8, đề tài đề xuất sử dụng nhiều Critic tương ứng với các Head của YOLOv8 Và trong bản thân mỗi Critic, đề tài cũng đề xuất một mô hình Critic mới có tên là Critic đa tác vụ nhằm giúp việc học đối nghịch phù hợp hơn với bài toán nhận diện và phát hiện đối tượng II.4 Kết quả đạt được Kết quả cuối cùng cho thấy hệ thống đề xuất có độ chính xác tăng 6.7%, độ phản hồi tăng 7.1%, và mAP tăng 10.3% khi so với YOLOv8 gốc Tốc độ xử lý vẫn không thay đổi, đạt được 127 FPS trên RTX 3090 Tp HCM, ngày 01 tháng 07 năm 2023 Tp HCM, ngày 01 tháng 07 năm 2023 Nhóm sinh viên Giáo viên hướng dẫn ii BỘ GIÁO DỤC VÀ ĐÀO TẠO Mẫu 1 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT (Kèm theo QĐ số 1047/QĐ-ĐHSPKT THÀNH PHỐ HỒ CHÍ MINH ngày 14 tháng 3 năm 2022) CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc BẢN CAM KẾT VÀ XÁC NHẬN KẾT QUẢ KIỂM TRA ĐẠO VĂN (DÀNH CHO BÁO CÁO NGHIÊN CỨU KHOA HỌC SINH VIÊN, KHÓA LUẬN, LUẬN VĂN, LUẬN ÁN) I Thông tin chung 1 Tên sản phẩm học thuật: THIẾT KẾ HỆ THỐNG PHÁT HIỆN VÀ NHẬN DIỆN SẢN PHẨM CHO QUẦY BÁN HÀNG TỰ ĐỘNG SỬ DỤNG PHƯƠNG PHÁP HỌC THÍCH ỨNG MIỀN 2 Loại hình sản phẩm học thuật: khóa luận tốt nghiệp 2 Mã số sản phẩm học thuật (nếu có): 3 Thông tin tác giả (ghi tất cả tác giả của sản phẩm) Stt Họ và tên MSSV/MSHV Vai trò 19142415 (Chủ nhiệm/thành viên/tác giả 1 Đặng Công Ty chính/đồng tác giả…) Tác giả chính 4 Thông tin giảng viên hướng dẫn Họ và tên: Trần Vũ Hoàng MSCB: 7042 Khoa: Điện – Điện tử II Kết quả kiểm tra đạo văn Ngày nộp sản phẩm Ngày kiểm tra đạo % trùng lặp toàn nội % trùng lặp cao 01/7/2023 văn dung nhất từ 1 nguồn 28% 25/6/2023 4% Lưu ý: % trùng lặp nêu ở bảng trên không tính % trùng lặp của danh mục tài liệu tham khảo III Cam kết Nhóm tác giả sản phẩm học thuật và giảng viên hướng dẫn cam kết rằng: 1 Nội dung trong sản phẩm học thuật nêu trên không vi phạm đạo đức và liêm chính khoa học 2 Kết quả % trùng lặp nêu tại mục II là hoàn toàn chính xác và trung thực 3 Bằng việc ký xác nhận vào mẫu này, nhóm tác giả và giảng viên hướng dẫn cam kết chịu hoàn toàn trách nhiệm có liên quan đến sản phẩm học thuật nói trên Xác nhận của đại diện nhóm tác giả Xác nhận của giảng viên hướng dẫn (ký ghi rõ họ và tên) (ký ghi rõ họ và tên) iii LỜI CẢM ƠN Đầu tiên em xin được bày tỏ lòng biết ơn đến gia đình, quý thầy cô và bạn bè trong trường đã tạo điều kiện cũng như hỗ trợ và giúp đỡ em trong suốt quá trình học tập, nghiên cứu Đồ án tốt nghiệp Và đặc biệt em xin gửi lời cảm ơn sâu sắc nhất đến TS Trần Vũ Hoàng, giảng viên Khoa Điện - Điện tử, trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh, người đã tận tình hướng dẫn, góp ý cho em trong suốt quá trình làm Đồ án tốt nghiệp Một lần nữa em xin cảm ơn đến gia đình, quý thầy cô giáo của trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh nói chung, các thầy cô trong Bộ môn Điện Công Nghiệp nói riêng đã tạo điều kiện giúp đỡ và truyền tải cho chúng em những kiến thức từ cơ sở đến chuyên ngành từ đó giúp chúng em có được cơ sở lý thuyết vững vàng Trong quá trình nghiên cứu, tìm hiểu và thực hiện đề tài sẽ không tránh khỏi những sai sót Em rất mong nhận được những sự góp ý từ quý Thầy Cô để đề tài được hoàn thiện hơn và có thể ứng dụng trên thực tế Em xin chân thành cảm ơn! iv TÓM TẮT Hiện nay, một số cửa hàng bán lẻ truyền thống vẫn thanh toán bằng cách nhớ giá trị của từng mặt hàng và tự tính tổng số tiền khách hàng cần trả Điều này rất tốn thời gian và có thể có nhiều sai sót trong lúc tính toán Đối với các cửa hàng lớn và hiện đại hơn thì tất cả sản phẩm đều được xác định giá trên máy chủ và nhân viên của cửa hàng sẽ quét mã QR trên sản phẩm để thanh toán nên việc thanh toán sẽ nhanh và chính xác hơn Tuy nhiên, mã QR trên sản phẩm có thể bị mờ hoặc bị méo dạng do va đập và ma sát trong quá trình vận chuyển và lưu trữ hàng hóa, dẫn tới máy đọc không thể quét được mã Khi những trường hợp này xảy ra, nhân viên thường phải nhập mã bằng tay hoặc kiếm một sản phẩm tương tự để quét mã Việc này mang lại những bất tiện nhất định cho cả nhân viên và những khách hàng Do đó, công nghệ trí tuệ nhân tạo (AI) đã được sử dụng trong các cửa hàng bán lẻ tự động để giải quyết các vấn đề của các cửa hàng truyền thống Các cửa hàng này sử dụng camera và các thuật toán xử lý ảnh để nhận diện các sản phẩm điều này giúp giải quyết được vấn đề của mã QR nhưng số loại sản phẩm ngày càng lớn và các sản phẩm khá giống nhau dẫn đến các thuật toán xử lý ảnh không còn giải quyết được hết tất cả trường hợp được nữa Do đó, trong nghiên cứu này, người nghiên cứu đề xuất sử dụng mô hình học sâu YOLOv8 để phát hiện và nhận diện các sản phẩm trong cửa hàng Để tiết kiệm thời gian và công sức thu thập một lượng dữ liệu lớn cho việc huấn luyện, người nghiên cứu đề xuất sử dụng dữ liệu tổng hợp – dữ liệu được tạo ra một cách nhân tạo từ việc ghép hình chiếu 3D của sản phẩm ở các mặt khác nhau vào nền thực tế Với dữ liệu tổng hợp, chúng ta có thể tạo ra một số lượng bất kì với các góc độ khác nhau tùy thích của các sản phẩm đáp ứng được việc huấn luyện mô hình học sâu Tuy nhiên, đây là dữ liệu nhân tạo, nên dữ liệu này cũng sẽ có đôi chút khác so với dữ liệu thực tế, việc mô hình có thể hoạt động trên các dữ liệu này không đảm bảo rằng chúng có thể hoạt động được trên các dữ liệu thực tế Để giải quyết vấn đề này, người nghiên cứu đề xuất áp dụng kỹ thuật học thích ứng miền (Domain Adaptation) bằng cách kết hợp kỹ thuật học đối nghịch (Adversarial Learning) vào quá trình huấn luyện mô hình YOLOv8 nhằm giảm sự khác biệt trên miền đặc trưng giữa dữ liệu tổng hợp và dữ liệu thực tế Kết quả thực nghiệm trên tập dữ liệu AI City Challenge 22 cho thấy độ chính xác tăng 6.7%, độ phản hồi tăng 7.1%, và mAP tăng 10.3% khi so v sánh với việc chỉ huấn luyện trên mô hình YOLOv8 gốc Bên cạnh đó, tốc độ của mô hình không đổi so với YOLOv8 trên phần cứng RTX 3090 vi MỤC LỤC THÔNG TIN KHÓA LUẬN TỐT NGHIỆP i LỜI CẢM ƠN iv TÓM TẮT v MỤC LỤC vii DANH MỤC CÁC TỪ VIẾT TẮT ix DANH MỤC CÁC BẢNG BIỂU x DANH MỤC HÌNH ẢNH xi Chương 1 MỞ ĐẦU 1 1.1 Lý do chọn đề tài 1 1.2 Mục tiêu nghiên cứu 1 1.3 Nhiệm vụ nghiên cứu 2 1.4 Giới hạn đề tài 2 1.5 Phương pháp nghiên cứu 2 1.6 Bố cục của Đồ án 2 Chương 2: CƠ SỞ LÝ THUYẾT 4 2.1 Convolution Neuron Network 4 2.2 Convolution Layer 5 2.3 Pooling Layer 6 2.4 Fully Connected Layer 6 2.5 Activation Function 6 2.6 Object Detection 7 2.6.1 YOLOv1 8 2.6.2 YOLOv4 9 2.6.2.1 Backbone 9 2.6.2.2 Neck 11 2.6.2.3 Head 13 2.6.3 Scaled-YOLOv4 14 2.6.4 YOLOv8 14 2.6.4.1 Neck 15 2.6.4.2 Head 16 2.7 GAN – Generative Adversarial Networks 16 2.7.1 DCGAN 17 2.7.2 WGAN 18 2.7.3 Ứng dụng của GAN vào Domain Adaptation 19 2.8 Data Synthetic 20 vii Chương 3: THIẾT KẾ HỆ THỐNG 22 3.1 Yêu cầu thiết kế 22 3.2 Tổng quan hệ thống 22 3.3 Bộ dữ liệu huấn luyện 23 3.4 Khối phát hiện đối tượng với nhiều bộ Critic (Multi-Critic) dựa trên kỹ thuật học đối nghịch 24 3.4.1 YOLOlosses 26 3.4.2 Advloss 28 3.5 Khối đánh giá đa nhiệm Critic (Multi-task Critic) 28 3.6 Quá trình suy luận của mô hình YOLOv8 (Inference phase) 30 Chương 4: KẾT QUẢ THỰC NGHIỆM 31 4.1 Thiết lập môi trường mô phỏng để đánh giá kết quả thực nghiệm 31 4.1.1 Phần cứng và phần mềm 31 4.1.2 Bộ dữ liệu 31 4.2 Phương pháp đánh giá 32 4.3 Kết quả thực nghiệm của hệ thống 32 Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 36 5.1 Kết luận 36 5.2 Hạn chế của đề tài 36 5.3 Hướng phát triển 36 TÀI LIỆU THAM KHẢO 37 PHỤ LỤC 41 viii