Hệ thống thị giác máy tính phục vụ thanh toán tự động

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA PHẠM VĂN HUY HỆ THỐNG THỊ GIÁC MÁY TÍNH PHỤC VỤ THANH TOÁN TỰ ĐỘNG COMPUTER VISION SYSTEM FOR AUTONOMOUS CHECKOUT Chuyên ngành: Kỹ thuật điều khiển & tự động hóa Mã số: 8520216 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 06 năm 2023 CƠNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : TS Phạm Việt Cường Cán chấm nhận xét : PGS.TS Huỳnh Thái Hoàng Cán chấm nhận xét : PGS.TS Lê Mỹ Hà Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp.HCM ngày 15 tháng 06 năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ khóa luận tốt nghiệp) GS.TS Hồ Phạm Huy Ánh - Chủ tịch TS Nguyễn Trọng Tài PGS.TS Huỳnh Thái Hồng PGS.TS Lê Mỹ Hà TS Ngơ Thanh Quyền - Thư ký - Phản biện - Phản biện - Uỷ viên Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ i ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Phạm Văn Huy MSSHV: 2070685 Ngày, tháng, năm sinh: 08/11/1998 Nơi sinh: BR-VT Chuyên ngành: Kỹ Thuật Điều Khiển và Tự Động Hoá Mã số: 8520216 I TÊN ĐỀ TÀI: HỆ THỐNG THỊ GIÁC MÁY TÍNH PHỤC VỤ THANH TỐN TỰ ĐỘNG COMPUTER VISION SYSTEM FOR AUTONOMOUS CHECKOUT NHIỆM VỤ VÀ NỘI DUNG: Huấn luyện mơ hình Deep Learning (DL) để phát sản phẩm trên kệ hàng với độ xác cao Đề xuất quy trình xử lý phát sản phẩm lấy hay trả lại kệ hàng, liên kết sản phẩm chuyển giao với khách hàng tương tác Tối ưu để chương trình xử lý thời gian thực II NGÀY GIAO NHIỆM VỤ: 06/02/2023 III NGÀY HOÀN THÀNH NHIỆM VỤ: 11/06/2023 IV.CÁN BỘ HƯỚNG DẪN: TS Phạm Việt Cường TP HCM, ngày 15 tháng 06 năm 2023 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TRƯỞNG KHOA ĐIỆN - ĐIỆN TỬ ii LỜI CẢM ƠN Đầu tiên, xin gửi lời cảm ơn đến gia đình, người thân động viên, hỗ trợ và thúc đẩy suốt trình thực luận văn này Những lời khuyên và giúp đỡ gia đình giúp tơi vượt qua khó khăn và tiếp tục q trình triển khai luận văn này Tiếp đến, tơi muốn gửi lời cảm ơn chân thành đến thầy Phạm Việt Cường, người dành thời gian và giúp đỡ mặt ý tưởng giải bài toán Thầy cung cấp cho định hướng và kiến thức cần thiết để hoàn thành đề tài này Tôi học hỏi thêm từ dẫn thầy Tôi muốn bày tỏ lời cảm ơn đến người bạn và đồng nghiệp tơi, có anh Nguyễn Hoàng Phi Long, là người dành thời gian giải đáp số thắc mắc và gợi ý cho tơi ý tưởng tối ưu hóa mơ hình, anh Nguyễn Văn Anh, theo học nghiên cứu sinh trường Đại học Soonchunhyang, hỗ trợ phần cứng máy tính phịng nghiên cứu anh cho tơi thử nghiệm để kiểm tra tốc độ xử lý bài toán Cũng biết ơn bạn Võ Thị Thanh Ngân giúp đỡ tơi quay cảnh thử nghiệm bài tốn trường hợp hai khách hàng lấy sản phẩm Ngoài cho lời khuyên hỗ trợ mặt tinh thần khoảng thời gian thực Một lần nữa, muốn gửi lời cảm ơn chân thành đến người anh, người bạn, đóng góp họ đóng vai trị khơng thể thiếu việc hoàn thành nghiên cứu này TP Hồ Chí Minh, ngày 11 tháng 06 năm 2023 Học viên Phạm Văn Huy iii TÓM TẮT LUẬN VĂN BẰNG TIẾNG VIỆT Trong ngành bán lẻ, xuất nhiều cơng nghệ có tác động đáng kể đến quy trình tốn Các ví dụ bao gồm toán tự quét, nơi khách hàng sử dụng điện thoại để quét mã QR và tự toán, hệ thống cửa quét tự động Trung Quốc Đặt hàng trực tuyến trên trang thương mại điện tử và tốn khơng tiếp xúc là cơng nghệ khác nhằm thay tương tác người Trong năm gần đây, công ty bán lẻ lớn giới Amazon mắt công chúng công nghệ "Just Walk Out", thành công việc loại bỏ bước cuối quy trình mua hàng thực tế - quy trình tốn Điều này đáp ứng yêu cầu người tiêu dùng đại với hạn chế thời gian Người mua hàng không muốn phải đứng xếp hàng 10 phút, tháo rời sản phẩm từ giỏ hàng và đặt lên băng chuyền, thời gian người quý giá Công nghệ "Just Walk Out" Amazon thực thành công việc loại bỏ yếu tố cuối này, giúp người mua hàng tiết kiệm thời gian trình mua sắm Dựa trên vấn đề thực tiễn đó, đề tài Luận Văn này nhằm tìm hiểu và triển khai hệ thống sử dụng thị giác máy tính để phục vụ tự động hố q trình tốn Trong hệ thống này, mơ hình Deep Learning huấn luyện để nhận dạng và phân loại sản phẩm, mơ hình ước tính tư người Với mục tiêu tăng tính hiệu và tiện lợi việc toán, đề tài tập trung vào hai khía cạnh Thứ nhất, xây dựng hệ thống giúp phát sản phẩm nào lấy hay đặt trở lại kệ hàng, thêm cần phải kết hợp mặt hàng lấy hay trả lại tương ứng với khách hàng để phục vụ toán tự động Thứ hai, nghiên cứu tối ưu hóa mơ hình Deep Learning huấn luyện để đảm bảo tích hợp dễ dàng với phần cứng và tăng tốc độ xử lý liệu Các hành động môi trường mua sắm diễn nhanh, yêu cầu địi hỏi cần phải có hệ thống thực trên thời gian thực iv ABSTRACT In the retail industry, several technologies have significantly impacted the payment process Examples include self-scanning payment, where customers use their phones to scan QR codes and make self-payments, as well as automated checkout systems in China Online ordering on e-commerce platforms and contactless payments are other technologies aimed at replacing human interaction In recent years, the world's largest retail company, Amazon, introduced the "Just Walk Out" technology, successfully eliminating the final step in the actual shopping process - the payment process This meets the requirements of modern consumers who value time Shoppers don't want to wait in line for 10 minutes, to unload products from their carts or baskets onto conveyor belts, as each person's time is valuable Amazon's "Just Walk Out" technology has successfully removed this final element, saving shoppers time during the shopping process Based on this practical issue, this thesis aims to study and implement a computer vision system to automate the payment process In this system, Deep Learning models are trained to recognize and classify products, as well as human pose recognition models With the goal of increasing efficiency and convenience in payment, the thesis focuses on two main aspects Firstly, developing a system to detect which products are taken from or returned to the shelves and associate them with corresponding customers for automatic payment Secondly, optimizing the trained Deep Learning models to ensure easy integration with hardware and improve data processing speed Actions in the shopping environment occur rapidly, therefore real-time execution is required for the system v LỜI CAM ĐOAN TÁC GIẢ Tơi xin cam đoan là cơng trình nghiên cứu riêng tôi, hướng dẫn TS Phạm Việt Cường Các số liệu, kết nêu luận văn là hoàn toàn trung thực và chưa cơng bố cơng trình nào khác Tôi xin chịu hoàn toàn trách nhiệm lời cam đoan Tác giả luận văn Phạm Văn Huy vi MỤC LỤC LỜI CẢM ƠN ii TÓM TẮT LUẬN VĂN BẰNG TIẾNG VIỆT iii LỜI CAM ĐOAN TÁC GIẢ v MỤC LỤC vi DANH MỤC HÌNH VẼ ix DANH MỤC BẢNG xi DANH MỤC TỪ VIẾT TẮT xii CHƯƠNG GIỚI THIỆU ĐỀ TÀI 1.1 Tổng quan đề tài .1 1.2 Tình hình nghiên cứu .2 1.3 Mục tiêu nhiệm vụ .2 CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Mơ hình YOLOv8 2.2 Đánh giá mơ hình nhận dạng đối tượng (Object Detection) 2.2.1 Intersection over Union (IoU) .9 2.2.2 Precison and Recall 10 2.2.3 Average Precision (AP) .10 2.3 Mơ hình ước tính tư (Pose Estimation) 11 2.3.1 Ước tính tư người 11 2.3.2 Ước tính tư nhiều người 12 2.3.3 Các mơ hình ước tính tư 14 2.3.3.1 AlphaPose 14 2.3.3.2 OpenPose .14 vii 2.3.3.3 OpenPifPaf 15 2.3.4 Chọn mơ hình ước tính tư để triển khai .16 2.4 Phương pháp theo dõi đối tượng (Tracking Method) 17 2.5 Tối ưu hố mơ hình Deep Learning TensorRT .21 2.5.1 TensorRT 21 2.5.2 Các ưu điểm TensorRT .21 2.5.3 Cơ chế tối ưu TensorRT .22 2.6 Phép chiếu .23 CHƯƠNG CÁC THIẾT BỊ VÀ CÔNG CỤ THỰC HIỆN ĐỀ TÀI 26 3.1 Kệ hàng 26 3.2 Đèn chiếu sáng 27 3.3 Camera IP giám sát 29 3.4 Switch PoE HIKVISION .30 3.5 Kết nối phần cứng 31 3.6 Giải mã luồng camera (RTSP – Real Time Streaming Proctocol) 32 3.7 Nền tảng GPU đám mây hỗ trợ Deep Learning 33 CHƯƠNG QUÁ TRÌNH THỰC HIỆN 35 4.1 Ý tưởng giải đề tài .35 4.2 Quy trình chuyển giao sản phẩm kệ hàng sang khách hàng 42 4.3 Huấn luyện mơ hình nhận dạng đối tượng 47 4.3.1 Chuẩn bị liệu 47 4.3.2 Gán nhãn liệu .50 4.3.3 Chọn mơ hình huấn luyện 51 4.4 Tối ưu mơ hình nhận dạng đối tượng .52 viii 4.5 Mơ hình ước tính tư người .53 4.5.1 Chuẩn bị liệu 54 4.5.2 Cấu trúc phần bổ trợ 57 4.5.2.1 Mô đun liệu .57 4.5.2.2 Đăng ký phần bổ trợ 58 4.5.2.3 Mô đun Constants 59 4.5.3 Huấn luyện mơ hình ước tính tư người .60 CHƯƠNG KẾT QUẢ VÀ ĐÁNH GIÁ .61 5.1 Kết huấn luyện mô hình nhận dạng đối tượng 61 5.2 Kết sau tối ưu mơ hình nhận dạng đối tượng 64 5.2.1 Phương pháp đánh giá .64 5.2.2 Kết đánh giá 65 5.3 Kết huấn luyện mơ hình ước tính tư người 66 5.4 Kết thử nghiệm toán phục vụ toán tự động 71 5.4.1 Phương pháp đánh giá .71 5.4.2 Các kịch kiểm thử .72 5.4.3 Kết đánh giá trên kịch kiểm thử 76 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 80 6.1 Tóm tắt công việc thực 80 6.2 Kết luận 80 6.3 Hướng phát triển 82 TÀI LIỆU THAM KHẢO 85 PHỤ LỤC .92 112 Kết đánh giá mơ hình YOLOv8 medium 960 FP16 root@C.6269118:~/yolov8$ yolo val task=detect model=runs/detect/960v8m_b32/weights/best_fp16.engine imgsz=960 data=data.yaml name=960m_fp16 Ultralytics YOLOv8.0.103 Python-3.8.10 torch-2.0.1+cu117 CUDA:0 (NVIDIA GeForce RTX 3080, 10008MiB) Loading runs/detect/960v8m_b32/weights/best_fp16.engine for TensorRT inference [05/16/2023-05:08:46] [TRT] [I] [MemUsageChange] Init CUDA: CPU +571, GPU +0, now: CPU 680, GPU 492 (MiB) [05/16/2023-05:08:46] [TRT] [I] Loaded engine size: 52 MiB [05/16/2023-05:08:47] [TRT] [I] [MemUsageChange] Init cuDNN: CPU +1558, GPU +438, now: CPU 2322, GPU 982 (MiB) [05/16/2023-05:08:47] [TRT] [I] [MemUsageChange] TensorRT-managed allocation in engine deserialization: CPU +0, GPU +0, now: CPU 0, GPU (MiB) [05/16/2023-05:08:47] [TRT] [I] [MemUsageChange] Init cuDNN: CPU +0, GPU +32, now: CPU 2271, GPU 982 (MiB) [05/16/2023-05:08:47] [TRT] [I] [MemUsageChange] TensorRT-managed allocation in IExecutionContext creation: CPU +0, GPU +0, now: CPU 0, GPU (MiB) val: Scanning /root/yolov8/test/labels.cache 554 images, backgrounds, corrupt: 100%| | 554/554 [00:00