Xây dựng hệ thống thanh toán cho máy bán hàng tự động sử dụng phương pháp nhận diện khuôn mặt kết hợp thẻ rfid

PHẠM MAI ĐÌNH NGUYỄN * XÂY DỰNG HỆ THỐNG THANH TOÁN CHO MÁY BÁN HÀNG TỰ ĐỘNG SỬ DỤNG PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT KẾT HỢP THẺ RFID * NĂM 2023 TRƯỜNG ĐẠI HỌC DUY TÂN KHOA ĐIỆN-ĐIỆN TỬ PHẠM MAI ĐÌNH NGUYỄN XÂY DỰNG HỆ THỐNG THANH TOÁN CHO MÁY BÁN HÀNG TỰ ĐỘNG SỬ DỤNG PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT KẾT HỢP THẺ RFID ĐỒ ÁN TỐT NGHIỆP Đà Nẵng, 2023 TRƯỜNG ĐẠI HỌC DUY TÂN KHOA ĐIỆN-ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP XÂY DỰNG HỆ THỐNG THANH TOÁN CHO MÁY BÁN HÀNG TỰ ĐỘNG SỬ DỤNG PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT KẾT HỢP THẺ RFID CHUYÊN NGÀNH: HỆ THỐNG NHÚNG GVHD : ThS PHẠM QUYỀN ANH SVTH : PHẠM MAI ĐÌNH NGUYỄN MSSV : 25211613203 LỚP : K25EHT Đà Nẵng, 2023 LỜI CẢM ƠN Đầu tiên em xin gửi lời cảm ơn sâu sắc nhất tới thầy Th.S Phạm Quyền Anh Người đã hướng dẫn, đã tận tình chỉ bảo, giúp đỡ em thực hiện đề tài đồ án này Trong quá trình thực hiện đồ án, được sự giúp đỡ tận tình của thầy Th.S Phạm Quyền Anh em đã tiếp thu được nhiều kiến thức quý báu giúp em rất nhiều trong quá trình học tập và làm việc trong tương lai Em xin bày tỏ lòng biết ơn đến Quý Thầy, Cô – Trường Đại Học Duy Tân, các thầy cô trực tiếp giảng dạy và truyền đạt kiến thức cho em, tạo mọi điều kiện giúp đỡ em trong quá trình học tập và nghiên cứu Trong quá trình thực hiện đồ án do em chưa có nhiều kinh nghiệm nên không tránh khỏi sai sót Mong nhận được sự góp ý của các thầy cô để hoàn thiện hơn Một lần nữa em xin chân thành cảm ơn sự giúp đỡ của các quý thầy (cô) trong quá trình thực hiện để em hoàn thành tốt đồ án này Sinh viên thực hiện PHẠM MAI ĐÌNH NGUYỄN LỜI CAM ĐOAN Em xin cam đoan đồ án này tổng quát lại kết quả quá trình nghiên cứu của em dưới sự hướng dẫn trực tiếp của thầy Th.S Phạm Quyền Anh Các số liệu, hình ảnh, thông tin trong đồ án đều trung thực, do em tìm hiểu, tham khảo từ nhiều nguồn tư liệu Đồ án này không sao chép các đồ án đã có từ trước Nếu phát hiện có bất kỳ sự gian lận nào em xin hoàn toàn chịu trách nhiệm về nội dung đề tài của mình Trường đại học Duy Tân không liên quan đến những vi phạm tác quyền, bản quyền do em gây ra trong quá trình thực hiện (nếu có) Người Thực Hiện Đề Tài Phạm Mai Đình Nguyễn MỤC LỤC PHẦN MỞ ĐẦU 1 1.Tính cấp thiết của đề tài 1 2 Mục tiêu, đối tượng, và phương pháp nghiên cứu 2 2.1 Mục tiêu nghiên cứu .2 2.2 Đối tượng nghiên cứu 2 2.3 Phạm vi nghiên cứu 2 2.4 Phương pháp nghiên cứu 2 3 Bố cục nội dung và kế hoạch thực hiện .2 3.1 Bố cục nội dung của luận án 2 3.2 Kế hoạch thực hiện .3 CHƯƠNG 1: TỔNG QUAN VỀ BÁN HÀNG TỰ ĐỘNG VÀ CÔNG NGHỆ ỨNG DỤNG TRONG THANH TOÁN MÁY BÁN HÀNG TỰ ĐỘNG 4 1.1 Lịch sử phát triển của hệ thống bán hàng tự động .4 1.1.1 Lịch sử phát triển .4 1.1.2 Các phương thức thanh toán của máy bán hàng tự động 5 1.1.3 Ưu điểm và hạn chế của máy bán hàng tự động 7 1.2 Công nghệ nhận diện khuôn mặt trong thanh toán máy bán hàng tự động 8 1.2.1 Công nghệ xử lý ảnh và ứng dụng nhận diện khuôn mặt nói chung .8 1.3 Công nghệ RFID 12 1.3.1 Giới thiệu về thẻ RFID 12 1.3.2 Ứng dụng rộng rãi của thẻ RFID .13 1.4 Phương thức giao tiếp 17 1.4.1 Giao tiếp SPI .17 1.4.2 Giao tiếp UART 18 1.5 Phần mềm sử dụng .19 1.5.1 Phần mềm thiết kế Qt Designer 19 1.5.2 Phần mềm database Sqlite 21 CHƯƠNG 2: XÂY DỰNG HỆ THỐNG THANH TOÁN BẰNG THẺ RFID KẾT HỢP NHẬN DIỆN KHUÔN MẶT 21 2.1 Sơ đồ khối của hệ thống 21 2.1.1 Các linh kiện được sử dụng 22 2.3 Lưu đồ thuật toán đăng ký thẻ RFID kết hợp khuôn mặt .28 2.4 Lưu đồ thuật toán mua hàng cho người đăng ký thành công của hệ thống 29 2.5 Kết nối và giao tiếp của RFID 30 2.5.1 Kết nối RFID và Arduino 30 2.5.2 Giao tiếp SPI sử dụng 31 2.5.3 Giao tiếp UART sử dụng .32 2.6 Chức năng của cơ sở dữ liệu 34 2.7 Cấu trúc dữ liệu .35 2.7.1 Cấu trức dữ liệu thông tin người dùng .35 2.7.2 Cấu trúc dữ liệu thông tin sản phẩm 35 CHƯƠNG 3: KẾT QUẢ .37 3.1 Kết quả 37 3.1.1 Kết quả nhận diện khuôn mặt .37 3.1.2 Kết quả nhận diện khuôn mặt kết hợp thẻ RFID .38 3.1.2 Kết quả thực nghiệm 39 CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 43 4.1 Kết luận .43 4.2 Hướng phát triển 43 TÀI LIỆU THAM KHẢO DANH MỤC HÌNH ẢNH Hình 1 1 Máy bán hàng tự động chấp nhận tiền mặt 5 Hình 1 2: Máy bán hàng tự động chấp nhận thẻ tín dụng/ghi nợ 6 Hình 1 3: Máy bán hàng tự động chấp nhận ví điện tử 6 Hình 1 4: Máy bán hàng chấp nhận tiền điện tử 7 Hình 1 5 Thư viện OpenCV 10 Hình 1 6: Các thiết bị RFID 13 Hình 1 7: Quản lý hàng tồn kho bằng Thẻ RFID .14 Hình 1 8: Chống trộm cắp bằng Thẻ RFID 14 Hình 1 9: Truy cập kiểm soát bằng thẻ RFID 15 Hình 1 10:Thanh toán bằng thẻ RFID 15 Hình 1 11: Chăm sóc sức khỏe bằng thẻ RFID 16 Hình 1 12: Giao thông bằng thẻ RFID 16 Hình 1 13: Phần mềm Qt Designer 20 Hình 2 1: Sơ đồ khối của hệ thống 21 Hình 2 2: Module đọc RFID RC522 22 Hình 2 3: Cấu hình chân của vi điều khiển Arduino 24 Hình 2 4: Lưu đồ thuật toán đăng ký thẻ RFID kết hợp nhận diện khuôn mặt 28 Hình 2 5: Lưu đồ thuật toán mua hàng cho người đăng ký thành công của hệ thống 29 Hình 2 6: Kết nối chân giữa thẻ đọc RFID và Arduino Uno 30 Hình 2 7: Giao tiếp UART 34 Hình 3 1: Setup khuôn mặt và thẻ RFID vào cơ sở dữ liệu 39 Hình 3 2: App mua hàng ở phần Home 40 Hình 3 3: App thanh toán .40 Hình 3 4: Quét khuôn mặt xác minh chủ thẻ 41 Hình 3 5: Thanh toán thành công và trừ tiền vào Database 41 Hình 3 6: Linh kiện lắp ráp 42 DANH MỤC BẢNG Bảng 2 1: Chân cấp nguồn / reset 23 Bảng 2 2: Chân giao tiếp SPI và UART .23 Bảng 2 3: Sơ đồ chân Arduino UNO R3 27 Bảng 2 4: Chức năng 4 chân chuẩn giao tiếp từ Arduino 31 Bảng 2 5: Bảng dữ liệu thông tin người dùng .35 Bảng 2 6: Bảng dữ liệu thông tin sản phẩm .36 Bảng 3 1: Bảng đánh giá lần 1 37 Bảng 3 2: Bảng đánh giá lần 2 38 Bảng 3 3: Thông tin sản phẩm trong app 42 DANH MỤC VIẾT TẮT RFID: Radio Frequency Identification RFID HF: Radio Frequency Identification High Frequency RFID UHF: Radio Frequency Identification Ultra High Frequency RFID MFRC522: Mifare® Classic® Reader/Writer IC IOS/IEC:International Organization for Standardization/International Electrotechnical Commission A/MIFARE: Access/MIFARE NTAG: Near Field Communication Tag MIFARE: MIcroprocessor Faircard Access UART: Universal Asynchronous Receiver / Transmitter SPI: Serial Peripheral Interface PIC: Programmable Interface Controller MYSQL: My Structured Query Language RDBMS: Relational Database Management System GUI: Graphical User Interface IoT : Internet of Things