Ứng dụng thị giác máy tính trong tính tiền tự động trong cửa hàng

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN CƠ TÂM ỨNG DỤNG THỊ GIÁC MÁY TÍNH TRONG TÍNH TIỀN TỰ ĐỘNG TRONG CỬA HÀNG APPLICATION COMPUTER VISION FOR AUTOMATED CHECKOUT IN STORE Chuyên ngành: Kỹ thuật Điều khiển Tự động hóa Mã số: 8520216 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2023 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn Khóa luận tốt nghiệp : TS Phạm Việt Cường (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : PGS.TS Huỳnh Thái Hoàng (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : PGS.TS Lê Mỹ Hà (Ghi rõ họ, tên, học hàm, học vị chữ ký) Khóa luận tốt nghiệp bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp.HCM, ngày 15 tháng 06 năm 2023 Thành phần Hội đồng đánh giá khoá luận tốt nghiệp gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ khóa luận tốt nghiệp) GS.TS Hồ Phạm Huy Ánh - Chủ tịch PGS.TS Huỳnh Thái Hoàng - Phản biện PGS.TS Lê Mỹ Hà - Phản biện TS Nguyễ n Trọ ng Tà i - Thư ký TS Ngô Thanh Quyền - Ủy viên Xác nhận Chủ tịch Hội đồng đánh giá khóa luận tốt nghiệp Chủ nhiệm Bộ môn sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MƠN: ĐIỀU KHIỂN TỰ ĐỘNG CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc TP HCM, ngày….tháng… năm…… NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: TRẦN CƠ TÂM MSHV: 2170718 Ngày, tháng, năm sinh: 07/01/1999 Nơi sinh: Đồng Nai Chuyên ngành: Kỹ thuật Điều khiển Tự động hóa Mã số: 8520216 I TÊN ĐỀ TÀI: Ứng dụng thị giác máy tính tính tiền tự động cửa hàng Application computer vision for automated checkout in store II NHIỆM VỤ VÀ NỘI DUNG: Sử dụng mạng YOLOv7 để phát sản phẩm có danh mục sản phẩm Và mạng YOLOv7-tiny để phát giỏ hàng tay cầm sản phẩm Sử dụng mơ hình thêo dõi đối tượng DeepSORT thêo dõi đối tượng gán ID cho chúng Những ID phục vụ cho mục đích quản lý đối tượng nhận diện qua khung ảnh theo thời gian Xây dựng giải thuật quản lý kệ hàng giỏ hàng từ phát đối tượng bỏ vào khỏi giỏ, đảm bảo số lượng chủng loại sản phẩm có giỏ Đồng hóa thơng tin đối tượng quan sát camera Thực phép biến đổi homography cho đầu vào Từ đó, tơi tổng qt hóa tọa độ giỏ hàng, tay cầm sản phẩm view nhất, liên kết ID cục giỏ hàng tay cầm sản phẩm camera thành ID toàn cục Triển khai phát hiện, thêo dõi đối tượng khung hình, phát việc bỏ sản phẩm vào khỏi giỏ nhiều camera i III NGÀY GIAO NHIỆM VỤ: 06/02/2023 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 28/05/2023 V CÁN BỘ HƯỚNG DẪN: TS Phạm Việt Cường Tp HCM, ngày tháng năm 20 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ (Họ tên chữ ký) ii LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành sâu sắc đến Thầy Tiến sĩ Phạm Việt Cường trực tiếp hướng dẫn đồng hành trình nghiên cứu hồn thành luận văn Sự kiên nhẫn, dạy tận tâm với góp ý q báu Thầy giúp tơi khơng hồn thiện luận văn mà phát triển khả nghiên cứu sáng tạo thân Tôi xin gửi lời cảm ơn đến thầy cô mơn Điều khiển tự động hóa giảng viên trường Đại học Bách Khoa Thành phố Hồ Chí Minh Những kiến thức kỹ mà học từ quý thầy cô tảng quan trọng giúp hiểu sâu ngành thực tốt luận văn Sự tận tâm chia sẻ không tiếc thầy cô góp phần quan trọng vào phát triển thành công Cuối cùng, muốn gửi lời cảm ơn chân thành đến gia đình, người thân bạn bè ủng hộ, động viên giúp đỡ tơi suốt q trình học tập nghiên cứu Sự ấm áp yêu thương bạn động lực lớn giúp tơi vượt qua khó khăn đạt thành Tôi biết ơn mong tiếp tục nhận hỗ trợ khích lệ thầy cơ, gia đình bạn bè bước sống nghiệp Xin chân thành cảm ơn kính chúc thầy, cô, bạn bè dồi sức khỏe thành cơng cơng việc TP Hồ Chí Minh, ngày 24 tháng 05 năm 2023 Học viên thực Trần Cơ Tâm iii TÓM TẮT Nhu cầu tiêu dùng người với loại hàng hóa ngày lớn, ngành dịch vụ bán lẻ trở nên phát triển nhanh chóng trở thành mũi nhọn kinh tế Cùng với phát triển ngành bán lẻ, nhà bán lẻ cần phải thích ứng để phát triển Điều thúc cần phải tạo trải nghiệm tiêu dùng sáng tạo, thú vị phải có cách thức thu hút ý khách hàng Ngày nay, công nghiệp hóa phát triển, nhiều kỹ thuật ứng dụng vào đời sống để nâng cao chất lượng sống người dân, giúp nâng cao hiệu suất cơng việc Một hệ thống giúp phát đối tượng phân loại sản phẩm cửa hàng quan trọng để giúp nhân viên xác định sản phẩm thuộc loại hàng khác nhanh chóng biết giỏ hàng khách hàng có để tiến hành tốn, nâng cao hiệu suất làm việc nhân viên Luận văn dùng camera phát theo dõi khách hàng chọn sản phẩm từ kệ họ rời với sản phẩm giỏ hàng Hệ thống phát khách hàng bỏ lấy sản phẩm vào giỏ nhiều góc nhìn camera Hệ thống phát sản phẩm có kệ, thực theo dõi sản phẩm qua nhiều khung hình theo thời gian, phát sản phẩm bỏ vào lấy khỏi giỏ Tối ưu hệ thống tốn tự động để chạy ổn định, đảm bảo chạy thời gian thực Kết thử nghiệm cho thấy hệ thống nhận biết sản phẩm lấy vào bỏ khỏi kệ hàng Bên cạnh đó, hệ thống nhiều hạn chế khách hàng cầm sản phẩm di chuyển nhanh cầm nhiều sản phẩm chồng chéo sản phẩm xa vùng quan sát camera hệ thống nhận dạng thiếu xác iv ABSTRACT With the increasing consumer demand for various goods, the retail industry has been rapidly developing and has become one of the key drivers of the economy Along with the growth of the retail sector, retailers need to adapt and innovate This prompts the need to create innovative and engaging consumer experiences and employ new ways to attract customers' attention Today, as industrialization advances, many technologies are being applied to enhance people's quality of life and improve work efficiency Having a system that can detect objects and categorize products in a store is crucial to enable employees to identify different types of items quickly and accurately determine the contents of a customer's shopping cart for efficient checkout Therefore, it can significantly enhance the productivity of employees A thesis utilizing camera-based detection and tracking when customers select any product from the shelves and leave with the items in their shopping carts can be proposed The system would detect when customers pick up or put back products from various camera angles It would be capable of recognizing the products on the shelves, tracking them across multiple frames over time, and detecting when products are added to or removed from the cart Optimizing an automatic payment system to ensure stable real-time operation would also be essential The experimental results show that the basic system is capable of recognizing when products are picked up from or put back onto the shelves However, the system has limitations when customers move products too quickly, handle multiple overlapping items, or when the products are too far from the camera's observation range, resulting in less accurate recognition v LỜI CAM ĐOAN Tôi xin cam đoan đề tài "Ứng dụng thị giác máy tính tiền tự động cửa hàng" cơng trình nghiên cứu thân Tất nội dung, phân tích, kết trình bày đề tài thành công việc nghiên cứu cá nhân Tất thông tin, số liệu, hình ảnh từ nguồn tài liệu tham khảo trích dẫn thể rõ ràng đề tài Tơi cam đoan khơng có vi phạm quyền vi phạm quyền sở hữu trí tuệ trình thực nghiên cứu viết luận văn Tơi chịu trách nhiệm hồn tồn trước môn, khoa, nhà trường cam đoan Nếu có khơng trung thực luận văn này, tơi sẵn sàng chịu hồn tồn trách nhiệm chấp nhận kỷ luật hình phạt thêo quy định môn nhà trường HỌ TÊ N HỌ C VIÊ N Tra n Cơ Ta m vi MỤC LỤC CHƯƠNG TỔNG QUAN ĐỀ TÀI 1.1 Lý chọn đề tài 1.2 Những cơng trình nghiên cứu gần 1.3 Mục tiêu đề tài 1.4 Nhiệm vụ đề tài CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Nhận dạng đối tượng 2.1.1 Giới thiệu YOLOv7 2.1.2 Kiến trúc YOLOv7 2.1.3 Những trainable Bag-of-freebies YOLOv7: 2.1.4 Training Google Colab 12 2.2 Thuật toán theo dõi Deep SORT 13 2.2.1 Giới thiệu Deep SORT 13 2.2.2 Liên kết liệu Deep SORT 14 2.2.3 Quản lý vòng đời track 17 2.3 Chuyển đổi góc nhìn hai camera quan sát bề mặt phẳng 17 2.3.1 Chuyển đổi từ mặt phẳng cảnh sang điểm ảnh ảnh 18 2.3.2 Homography với hai camera bề mặt quan sát 19 2.3.3 Tìm ma trận homography hai ảnh 20 2.4 Thêo dõi đối tượng nhiều camera sử dụng Homography 23 CHƯƠNG THỰC HIỆN HỆ THỐNG 27 3.1 Hệ thống giám sát kệ hàng 27 3.2 Xây dựng mơ hình YOLOv7 phát đối tượng .32 vii 3.2.2 Thu thập data 32 3.3 Thêo dõi đối tượng 39 3.4 Quản lý kệ hàng giỏ hàng 40 CHƯƠNG KẾT QUẢ 48 4.1 Mơ hình phát đối tượng: .48 4.1.1 Đánh giá kết huấn luyện mơ hình nhận dạng giỏ hàng tay cầm sản phẩm (YOLOv7-tiny) 48 4.1.2 Đánh giá kết huấn luyện mơ hình phát sản phẩm (YOLOv7) 52 4.2 Phát lấy trả sản phẩm: 57 4.2.1 Khảo sát tốc độ xử lý 57 4.2.2 Khảo sát tỷ lệ theo dõi nhận dạng sản phẩm hệ thống với khách hàng 58 4.2.3 Khảo sát tỷ lệ theo dõi nhận dạng sản phẩm hệ thống với hai khách hàng 60 4.2.4 Khảo sát tỷ lệ lấy trả sản phẩm: 63 4.2.5 Khảo sát tỷ lệ lấy trả sản phẩm nhận dạng tốt 64 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 67 5.1 Những kết đạt .67 5.2 Những hạn chế tồn 67 5.3 Hướng phát triển 68 TÀI LIỆU THAM KHẢO 69 viii Hình 4.11 Kết nhận diện sản phẩm có kệ hàng 4.2 Phát lấy trả sản phẩm: 4.2.1 Khảo sát tốc độ xử lý Mục tiêu đánh giá: Xác định tốc thực thi trung bình hệ thống qua nhiều lần đo Cách thực hiện: - Thực động tác cầm sản phẩm từ kệ hàng đặt vào giỏ hàng, ngược lại lấy sản phẩm từ giỏ hàng đặt vào kệ hàng - Tốc độ xử lý khung hình đo lượt khảo sát - Tiến hành lặp lại q trình đo nhiều lần Sau đó, tính trung bình tốc độ thực tất lần đo Kết quả: Khảo sát thời gian tốc độ thực thi hệ thống: Bảng 4.5 Thời gian tốc độ thực thi hệ thống Lượt khảo sát Thời gian xử lý khung ảnh Số khung ảnh xử lý (s) giây (fps/s) 0.06422 15.57147 0.06395 15.63599 0.06331 15.79529 57 0.06223 16.06942 Trung bình 0.06342 15.76804 Nhận xét: tốc độ xử lý trung bình hệ thống 15.77(fps) Với tốc độ xử lý gần với thời gian thực 4.2.2 Khảo sát tỷ lệ theo dõi nhận dạng sản phẩm hệ thống với khách hàng Mục tiêu đánh giá: Thực nghiệm để đánh giá khả thêo dõi tay cầm sản phẩm trình, khả nhận diện sản phẩm thực với người Cách thực hiện: - Tôi thực việc lấy sản phẩm từ kệ hàng sau bỏ vào giỏ hàng, ngược lại lấy sản phẩm từ giỏ hàng bỏ vào kệ hàng với loại sản phẩm khác - Tiến hành nhiều lần thống kê lại số lượt theo dõi không bị dấu đối tượng, nhận diện loại sản phẩm - Cuối cùng, tơi tính tốn trung bình kết thu từ lần thực để có kết cuối Hình 4.12 Trước lấy sản phẩm 58 Hình 4.13 Sau lấy sản phẩm bỏ vào giỏ hàng Kết quả: Bảng 4.6 Kết khảo sát với việc lấy trả hàng với người Loại Số Số lượt Tỷ lệ nhận Tổng Số lượt Tỷ lệ theo lượt nhận diện số theo dõi dõi không nhận dạng (%) lượt không mất dấu dạng theo dấu (%) dõi 247 21 18 85.7142 24 20 83.3333 7up 15 14 93.3333 16 15 93.75 c2 20 18 90 21 20 95.2380 iceplus 19 18 94.7368 22 19 86.3636 laukinh 15 14 93.3333 18 15 83.3333 mirinda 20 18 90 22 19 86.3636 nhadam 19 19 100 22 18 81.8181 nuoccam 16 16 100 20 16 80 olong 19 18 94.7368 21 19 90.4761 redbull 22 22 100 25 22 88 revieve 24 21 87.5 25 22 88 saigon 20 16 80 21 20 95.2380 59 stingchai 20 19 95 22 19 86.3636 stinglon 18 15 83.3333 22 17 77.2727 tigerbac 16 16 100 18 16 88.8888 tigernau 15 15 100 17 14 82.3529 Trung 299 276 92.6421 335 291 86.6071 bình Nhận xét: tỷ lệ nhận dạng đạt 92.31% chứng tỏ mơ hình nhận diện xác đối tượng Tuy nhiên có loại sản phẩm dễ bị nhầm lẫn chai 247, c2 có màu vàng chai rêdbull, sting lon giống sting chai, mơ hình khơng nhận dạng Đồng thời có trường hợp sản phẩm đặt tầng cuối có kích thước nhỏ ảnh nên nhận diện sai loại Độ xác nhận diện đối tượng 85% Tỷ lệ theo dõi khơng bị dấu đạt 86.87% Những trường hợp khó thêo dõi thường đối tượng nhỏ, đối tượng đặt kệ trệt, vật có kích thước nhỏ bị biến trình nhận diện Nhìn chung phương án theo dõi tay khách hàng từ đếm số lượng sản phẩm lấy vào bỏ khỏi giỏ 4.2.3 Khảo sát tỷ lệ theo dõi nhận dạng sản phẩm hệ thống với hai khách hàng Mục tiêu đánh giá: Thực nghiệm để đánh giá khả thêo dõi tay cầm sản phẩm trình, khả nhận diện sản phẩm thực với hai người Cách thực hiện: - Khảo sát thực lấy sản phẩm từ kệ hàng sau bỏ vào giỏ hàng, ngược lại lấy sản phẩm từ giỏ hàng bỏ vào kệ hàng với loại sản phẩm ngẫu nhiên với hai người lấy sản phẩm đồng thời liên tiếp - Tiến hành nhiều lần thống kê lại số lượt thêo dõi đối tượng, nhận diện loại sản phẩm 60 - Cuối cùng, tơi tính tốn trung bình kết thu từ lần thực để có kết cuối Hình 4.14 Hai người lấy sản phẩm thời điểm Hình 4.15 Hai người trả sản phẩm liên tiếp 61 Kết quả: Bảng 4.7 Kết khảo sát với việc lấy trả hàng với hai người Lượt Số Số lượt Tỷ lệ Tổng Số lượt Tỷ lệ theo lượt nhận nhận số lượt theo dõi nhận dạng diện theo không mất dấu (%) dạng đúng dõi dấu dõi không bị (%) 12 12 100 13 12 92.3076 12 12 100 13 12 92.3076 14 13 92.857 15 14 93.3333 12 12 100 14 10 71.4285 12 12 100 12 10 83.3333 12 12 100 13 12 92.3076 87.5 10 70 13 13 100 13 12 92.3076 11 11 100 12 11 91.6666 10 11 10 90.909 13 11 84.6153 11 11 10 90.909 12 11 91.6666 12 12 11 91.667 14 11 78.5714 13 13 13 100 13 13 100 14 13 13 100 14 11 78.5714 15 14 14 100 15 13 86.6666 16 14 12 85.714 14 12 85.7142 17 12 12 100 12 11 91.6666 18 11 10 90.909 12 10 83.3333 209 96.313 234 203 86.7521 Trung 217 bình Nhận xét: tỷ lệ nhận dạng đạt 96.313% chứng tỏ mơ hình nhận diện xác đối tượng Đồng thời có trường hợp sản phẩm 62 đặt tầng cuối, có kích thước ảnh nhỏ nên nhận diện sai loại Tỷ lệ theo dõi không bị dấu đạt 86.752% Những trường hợp không theo dõi bao gồm tay khách hàng chồng chéo nhau, theo dõi kệ hàng lượt lấy vào lấy nhanh hệ thống không đáp ứng kịp thời Tỷ lệ phần khảo sát người gần giống với khảo sát hai người 4.2.4 Khảo sát tỷ lệ lấy trả sản phẩm: Mục tiêu đánh giá: Tôi thực thực nghiệm để đánh giá khả phát sản phẩm đặt vào lấy khỏi giỏ hàng Phát thêo dõi tay cầm sản phẩm không bị dấu, xác định loại sản phẩm lấy Cách thực hiện: - Tôi thực việc cầm sản phẩm lấy sau bỏ vào giỏ hàng, ngược lại lấy sản phẩm từ giỏ hàng bỏ vào kệ hàng với loại sản phẩm khách - Tiến hành nhiều lần thống kê lại số lượt phát sản phẩm bỏ vào lấy khỏi giị hàng - Cuối cùng, tơi tính tốn trung bình kết thu từ lần thực để có kết cuối Kết quả: Bảng 4.8 Kết khảo sát với việc lấy trả hàng với hai người Loại Tổng Số lượt Tỷ lệ Tổng Số lượt Tỷ lệ số lượt phát xác số lượt phát xác lấy lấy (%) trả trả (%) đúng 247 12 75 11 81.8181 7up 8 100 85.7142 c2 10 90 11 81.8181 iceplus 11 10 90.9090 11 72.7272 laukinh 77.7777 77.7777 mirinda 15 11 73.3333 15 13 86.6666 nhadam 16 14 87.5 16 14 87.5 63 nuoccam 10 70 10 90 olong 10 90 11 81.8181 redbull 16 14 87.5 16 14 87.5 revieve 87.5 83.3333 saigon 11 72.7272 10 80 stingchai 11 11 100 11 72.7272 stinglon 11 81.8181 11 10 90.9090 tigerbac 9 100 77.7777 tigernau 87.5 87.5 Trung 175 149 85.1428 172 143 83.1395 bình Nhận xét: tỷ lệ phát lấy 85.1428% tỷ lệ phát trả lại 83.1395% Hệ thống cịn bỏ sót nhiều trường hợp tay cầm sản phẩm di chuyển nhanh, góc mà camera khơng quan sát dẫn đến sai sót Tỷ lệ phát lấy sản phẩm vào giỏ cao ban đầu sản phẩm kệ, góc mà camera dễ dàng quan sát mặt phẳng kệ hàng dễ liên kết thông tin sản phẩm Với trường hợp đưa sản phẩm từ giỏ hàng lên kệ, tay cầm sản phẩm vị trí thấp, mơ hình nhận diện khó phát dễ phát sai đối tượng tay cầm sản phẩm giỏ dẫn đến tỷ lệ phát trả lại sản phẩm lên kệ thấp 4.2.5 Khảo sát tỷ lệ lấy trả sản phẩm nhận dạng tốt Mục tiêu đánh giá: Tôi thực thực nghiệm để đánh giá khả phát sản phẩm đặt vào lấy khỏi giỏ hàng Phát thêo dõi tay cầm sản phẩm không bị dấu, xác định loại sản phẩm Ở trường hợp chọn đối tượng nhận diện tốt để đánh giá ảnh hưởng việc nhận dạng đến độ xác hệ thống Cách thực hiện: 64 - Tôi thực việc lấy sản phẩm từ kệ hàng sau bỏ vào giỏ hàng, ngược lại lấy sản phẩm từ giỏ hàng bỏ vào kệ hàng với loại sản phẩm nhận diện tốt - Tiến hành nhiều lần thống kê lại số lượt theo dõi không bị dấu đối tượng, nhận diện loại sản phẩm - Cuối cùng, tơi tính tốn trung bình kết thu từ lần thực để có kết cuối Kết quả: Bảng 4.9 Kết khảo sát với việc lấy trả hàng với người sản phẩm tốt Loại Số Số Tỷ lệ Tổng Số Tỷ lệ Tỷ lệ lượt lượt nhận số lượt theo dõi phát nhận nhận diện lượt theo không lấy dạng dạng theo dõi dấu trả sản (%) dõi không (%) phẩm dấu (%) 7up 18 17 94.4444 20 18 90 85 c2 19 19 100 20 19 95 95 iceplus 23 21 91.3043 24 23 95.8333 87.5 mirinda 20 19 95 22 20 90.9090 86.3636 olong 19 18 94.7368 21 19 90.4761 85.7142 redbull 20 20 100 22 20 90.90901 90.9090 revieve 18 17 94.4444 20 18 90 85 saigon 20 19 95 22 19 86.3636 86.3636 tigerbac 16 16 100 19 16 84.2105 84.2105 Trung 166 95.953 190 172 90.5263 87.3684 173 bình 65 Nhận xét: Tỷ lệ phát lấy trả sản phẩm đạt 87.3684% lớn lần khảo sát trước Đối tượng nhận diện tốt dẫn đến việc theo dõi đối tượng có khung ảnh tốt Hệ thống khơng bỏ sót thơng tin sản phẩm đặt vào trả lại kệ hàng, từ phát sản phẩm Một phần nhận diện tay cầm sản phẩm YOLOv7-tiny số lượng sản phẩm khảo sát nhiều nên mô hình khơng thể học tốt tất đối tượng 66 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Những kết đạt Từ kết trình bày chương trước, ta thấy luận văn thực hệ thống nhận biết việc khách hàng lấy vào bỏ sản phẩm khỏi giỏ hàng thị giác máy Từ quản lý số lượng sản phẩm loại sản phẩm có giỏ hàng Chương trình xử lý luồng riêng biệt cho camera Ảnh đầu vào trải qua giai đoạn phát đối tượng theo dõi mơ hình nhận diện YOLOv7 mơ hình theo dõi DeepSORT, từ theo dõi gán ID cho đối tượng có khung ảnh Kết theo dõi xử lý qua khối quản lý kệ hàng khối quản lý giỏ hàng Những khối phát sản phẩm lấy trả lại kệ hàng, thông qua cách gán ID cho tất sản phẩm có kệ, từ ID phát ID xuất hiện, biến sau q trình khách hàng mua sắm, sau so sánh với vị trí tay cầm sản phẩm lấy trả hàng để phát sản phẩm thay đổi Luận văn đề xuất cách liên kết đối tượng trùng hai camera từ gán cho ID tồn cục từ quan sát đối tượng nhiều góc độ việc tìm ánh xạ đối tượng camera thông qua phép biến đổi homography mặt phẳng tham chiếu chung Kết hợp thông tin quản lý kệ hàng để biết sản phẩm lấy, trả lại kệ hàng việc theo dõi tay khách hàng cầm sản phẩm, sau liên kết đối tượng trùng camera, hệ thống phát sản phẩm bỏ vào lấy khỏi giỏ hàng 5.2 Những hạn chế tồn Luận văn giải vấn đề đặt ra, nhiều hạn chế chưa thể giải được: Do dùng hai camera cao nên hệ thống quan sát tất sản phẩm có kệ, hệ thống quan sát hàng đầu kệ 67 Số lượng camêra quan sát cịn nên trường hợp nhiều khách hàng khó quan sát tồn bộ, có nhiều góc chết Chương trình chưa có giao diện hồn chỉnh, có demo hình ảnh việc phát lấy trả sản phẩm Các sản phẩm hạn chế phải đặt cách camêra đặt xa khó cho việc liên kết ID đối tượng việc phát chồng lấn homography Mơ hình nhận diện tay cầm sản phẩm giỏ hàng YOLOv7-tiny số lượng sản phẩm khảo sát nhiều nên mơ hình khơng thể học tốt tất đối tượng Dẫn đến việc theo dõi sản phẩm giỏ hàng thiếu xác, tỷ lệ nhận diện sản phẩm lấy vào để khỏi giỏ thấp 5.3 Hướng phát triển Từ hạn chế vừa nêu trên, có hướng phát triển cho đề tài sau: Sử dụng thêm cảm biến loadcell kệ hàng giỏ hàng để biết xác đối tượng lấy bỏ vào kệ vị trí đặt vào kệ từ dễ dàng biết loại sản phẩm thời điểm sản phẩm dịch chuyển Sử dụng cảm biến quang để biết thời điểm sản phẩm lấy trả lại kệ thay sử dụng đường thẳng kẻ thủ công luận văn Sử dụng mơ hình nhận dạng tốt để nhận dạng đối tượng có khung ảnh Đặt kệ hàng camêra để quan sát phân loại sản phẩm tốt nhìn thấy sản phẩm đặt hàng sau Thực thêm giao diện thân thiện với người dùng 68 TÀI LIỆU THAM KHẢO [1] N James and N T Antony, "Automated Checkout for Stores: A Computer Vision Approach," Revista Gestóo Inovaỗóo e Tecnologias, vol 11, pp 1830-1841, July 2021 [2] R Shetty and P Darshana, "Smart Shopping Cart using Machine Vision along with Machine," International Research Journal of Engineering and Technology (IRJET), vol 08, no 10, pp 1731-1735, Oct 2021 [3] W Kirti, W Bharati and N Vidhya, "Just Walk-Out Technology and its Challenges:A," Proceedings of the International Conference on Inventive Research in Computing Applications (ICIRCA), pp 254-257, 2018 [4] A Bochkovskiy, C.-Y Wang and H.-Y M Liao, "YOLOv4: Optimal Speed and Accuracy of Object Detection," ArXiv Preprint arXiv:2004.10934, 23 Apr 2020 [5] A Bochkovskiy, C.-Y Wang and H.-Y M Liao, "Real-time object detection method based on improved YOLOv4-tiny," ArXiv Preprint arXiv:2011.04244, 2022 [6] K Shailender, S Pranav, Vishal and P Nitin, "Object tracking and counting in a zone using YOLOv4, DeepSORT and TensorFlow," Proceedings of the International Conference on Artificial Intelligence and Smart Systems (ICAIS), pp 1017-1022, 2021 [7] N Wojke, A Bewley and D Paulus, "Simple online and realtime tracking with a deep association metric," 2017 IEEE International Conference on Image Processing (ICIP), pp 3645-3649, 21017 [8] Y Hou, L Zheng and S Gould, "Multiview Detection with Feature Perspective Transformation," ArXiv Preprint arXiv:2007.07247, 2020 [9] M Al-Sa’d, S Kiranyaz and I Ahmad, "A Social Distancê Êstimation and Crowd Monitoring System forSurveillance Cameras," Sensors 2022, 22(2), 418; https://doi.org/10.3390/s22020418, 2022 [10] Tzutalin, "LabelImg," [Online] https://github.com/tzutalin/labelImg, 2015 69 Available: [11] C.-Y Wang, A Bochkovskiy and H.-Y M Liao, "YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors," ArXiv Preprint arXiv:2207.02696, 2022 70 LÝ LỊCH TRÍCH NGANG Họ tên: Trần Cơ Tâm Giới tính: Nam Ngày, tháng, năm sinh: 07/01/1999 Nơi sinh: Đồng Nai Điện thoại liên hệ: 0968820371 Email: trancotam@gmail.com Địa liên hệ: 114/5 Đường 18, phường Bình Hưng Hịa, Bình Tân, Tp Hồ Chí Minh Q trình đào tạo - Từ tháng 9/2017 đến tháng 11/2021: học kỹ sư ngành Kỹ Thuật Điều Khiển Và Tự Động Hóa trường Đại học Bách Khoa, ĐHQG-HCM - Từ tháng 3/2022 đến nay: học thạc sĩ ngành Kỹ Thuật Điều Khiển Và Tự Động Hóa trường Đại học Bách Khoa, ĐHQG-HCM Q trình cơng tác - Từ tháng 9/2021 đến nay: Kĩ sư phần mềm Công ty Cổ phần Bản Viên Tầng 2, Copac Squarê, 12 Tôn Đản, Phường 13, Quận 4, Thành phố Hồ Chí Minh, Việt Nam 71