Ứng dụng phương pháp trích xuất đặc trưng SURF cho vấn đề nhận dạng hàng hóa và xây dựng phần mềm tính tiền tự động

LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chƣa đƣợc cơng bố cơng trình khác Bình Dƣơng, ngày tháng Học viên Nơng Kiều Trang i năm 2019 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành đến Thầy TS Hoàng M nh Hà, ngƣời tận tình hƣớng dẫn, hỗ trợ giúp đỡ nhiều nghiên cứu luận văn Thầy đƣa định hƣớng, nhận xét góp ý quý giá để luận văn đƣợc hồn thành Kính gửi lời cảm ơn sâu sắc đến quý Thầy, Cô giảng viên thời gian qua nhiệt tình giảng d y truyền đ t kiến thức chun mơn cần thiết q trình tơi đƣợc học tập t i Trƣờng i Học Thủ Dầu M t tỉnh Bình Dƣơng Xin gửi lời cảm ơn sâu sắc đến Ban giám hiệu Trƣờng M t, Cán i Học Thủ Dầu Phòng, Khoa trƣờng nhiệt tình giúp đỡ t o điều kiện thuận lợi để tơi có đƣợc mơi trƣờng học tập tốt hồn tất khóa học Xin gửi lời biết ơn vơ h n đến gia đình khơng ngừng quan tâm, đ ng viên, ủng h mặt tinh thần lẫn vật chất suốt thời gian tham gia học tập thực luận văn Cảm ơn anh chị đồng nghiệp, bè b n lớp Cao học Hệ thống thơng tin khóa 2017-2019 giúp đỡ đồng hành c ng thời gian học tập t i nhà trƣờng Bình Dƣơng, ngày tháng Học viên Nơng Kiều Trang ii năm 2019 TĨM TẮT LUẬN VĂN Lấy ý tƣởng từ cửa hàng tự phục vụ nhƣ Amazon Go, Bingo Box, Mama fan ox,…khách hàng đến mua sắm tự tính tiền, cửa hàng khơng có nhân viên phục vụ T i cửa hàng tự phục vụ có sử dụng máy quét mã v ch, máy đọc thẻ RFID để tính tiền, nhiên việc dán mã v ch lên mặt hàng đòi hỏi nhiều cơng sức địi hỏi đ xác số mặt hàng chƣa có sẵn mã v ch, mã v ch bị mờ bị rách thẻ RFID bị hƣ hay ị mất, khách hàng khơng tính tiền đƣợc ể cải thiện h n chế trên, đề nghị m t giải pháp sử dụng hình ảnh trực tiếp sản phẩm làm để tính tiền thay cho mã v ch thẻ RFID B liệu sử dụng chƣơng trình gồm 1500 hình ảnh tự chụp sản phẩm cửa hàng tiện lợi FamilyMart, lo i chụp 30 hình theo góc khác ể đáp ứng yêu cầu đ xác bối cảnh nhiễu thời gian nhận d ng sản phẩm ngắn, đề xuất áp dụng phƣơng pháp trích xuất đặc trƣng SURF (Speeded-Up Robust Features) Tơi đề xuất mơ hình để nhận d ng phân lo i sản phẩm: SURF kết hợp SVM, SURF kết hợp hàm matchFeatures Matlab, sử dụng Copulas Gauss đối sánh vector đặc trƣng Trên sở thực nghiệm, đánh giá so sánh kết đ t đƣợc mơ hình, tơi lựa chọn mơ hình phù hợp để nhận d ng phân lo i sản phẩm Kết thực nghiệm chứng minh mơ hình nhận d ng phân lo i sản phẩm SURF kết hợp hàm matchFeatures Matlab có đ xác cao nhất, đ t 99% iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii TÓM TẮT LUẬN VĂN iii MỤC LỤC iv DANH MỤC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT vi DANH MỤC CÁC BẢNG vii DANH MỤC HÌNH VẼ, ĐỒ THỊ viii CHƢƠNG TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU 1.1 Lý chọn đề tài 1.2 Mục tiêu nghiên cứu 1.3 Đối tƣợng phạm vi nghiên cứu .2 1.4 Phƣơng pháp nghiên cứu 1.5 Ý nghĩa khoa học thực tiễn .2 1.6 Bố cục luận văn .2 CHƢƠNG CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Tổng quan số phƣơng pháp tính tiền tự động .4 2.2 Mã vạch 2.3 RFID: .8 2.4 Ƣu điểm, nhƣợc điểm phƣơng pháp mã vạch RFID 2.5 Hƣớng nghiên cứu .9 2.5.1 Tổng quan 2.5.2 Một số phƣơng pháp trích chọn đặc trƣng ảnh 2.5.3 Lựa chọn phƣơng pháp trích chọn đặc trƣng phù hợp .17 CHƢƠNG 19 MƠ HÌNH ĐỀ XUẤT 19 iv 3.1 Tổng quan mơ hình đề xuất 19 3.2 Các đặc trƣng mơ hình đề xuất 19 3.3 Giới thiệu SVM 22 3.4 Các mơ hình thực nghiệm: 27 3.5 Cách đánh giá 29 CHƢƠNG 30 THỰC NGHIỆM 30 4.1 Chuẩn bị liệu 30 4.1.1 Giới thiệu FamilyMart 30 4.1.2 Danh mục sản phẩm FamilyMart 30 4.1.3 Thu thập liệu 31 4.2 Chuẩn bị môi trƣờng thực nghiệm 33 4.3 Sử dụng SURF để lấy đặc trƣng ảnh 34 4.4 Quy trình train (huấn luyện) 36 4.5 Quy trình phân loại sản phẩm 36 4.6 Thiết kế giao diện ứng dụng 40 4.7 Kiểm thử 41 4.8 Kết luận 45 CHƢƠNG 47 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 47 5.1 Kết đạt đƣợc 47 5.2 Hƣớng phát triển đề tài 47 CƠNG TRÌNH CƠNG BỐ 48 TÀI LIỆU THAM KHẢO 49 v DANH MỤC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT KÝ HIỆU Ý NGHĨA TIẾNG ANH HOG Histogram of Oriented Gradients Biểu đồ định hƣớng cƣờng đ RFID Radio Frequency Identification Nhận d ng dựa tần số vô tuyến SURF Speeded-Up Robust Features Tách nhanh đặc trƣng SVM Support Vector machine Máy vector hỗ trợ vi DANH MỤC CÁC BẢNG Bảng 4.1 Mơ tả hàng hóa 312 Bảng 4.2 Bảng kết mơ hình 462 Bảng 4.3 Bảng kết mơ hình 463 Bảng 4.4 Bảng kết mơ hình 464 Bảng 4.5 Bảng đánh giá mơ hình đề xuất 466 vii DANH MỤC HÌNH VẼ, ĐỒ THỊ Hình Sơ đồ giải thuật HOG (Nguồn ảnh: báo gốc HOG)1 10 Hình 2 Ảnh minh họa sau trích xuất đặc trƣng với Hog2 122 Hình Hình chữ nhật đặc trƣng Haar – Like3 133 Hình Bốn đặc trƣng ản để xác định mặt ngƣời4 133 Hình Các hình trịn biểu diễn điểm đặc trƣng ảnh 177 Hình Mơ tả ƣớc mơ hình nhận d ng hàng hóa 199 Hình Mơ hình kết hợp SURF SVM để nhận d ng sản phẩm 20 Hình 3 Mơ hình SURF kết hợp hàm matchFeatures Matlab 211 Hình Mơ hình SURF kết hợp Copulas Gauss đối sánh vector đặc trƣng 222 Hình Tìm đƣờng thẳng phân chia điểm xanh đỏ 232 Hình Hình minh họa lề - đƣờng thẳng phân chia nhóm xanh đỏ5 233 Hình 3.7 Hình minh họa Margin – đƣờng thẳng phân chia nhóm xanh đỏ6 243 Hình Hình minh họa liệu nhiễu7 255 Hình Mơ hình thực nghiệm số 287 Hình 10 Mơ hình thực nghiệm số 288 Hình 11 Mơ hình thực nghiệm số 28 Hình Sơ đồ ƣớc lấy đặc trƣng ảnh 344 Hình Xử lý chuyển ảnh sang d ng xám 354 Hình Dùng SURF lấy điểm đặc trƣng ảnh 355 Hình 4 Chọn 100 điểm đặc trƣng tốt ảnh 365 Hình Cấu trúc thƣ mục chƣơng trình 377 viii Hình Vector liệu điểm đặc trƣng ảnh sản phẩm 398 Hình Nhãn ảnh sản phẩm 399 Hình Mảng chứa tên sản phẩm 39 Hình Giao diện ứng dụng tính tiền cho FamilyMart sử dụng hình ảnh trực tiếp sản phẩm 40 Hình 10 Hình giao diện ứng dụng tính tiền cho Family Mart, chụp ảnh sản phẩm kem vinamilk từ webcam nhấn nút phân lo i hiển thị tên giá sản phẩm 414 Hình 11 Hình kết phân lo i xác sản phẩm chụp từ webcam 424 ix Hình 4 Chọn 100 điểm đặc trƣng tốt ảnh 4.4 Quy trình train (huấn luyện) Lấy 100 điểm đặc trƣng tất ảnh sản phẩm Sắp xếp đặc trƣng ảnh thành m t ma trận có n dịng (tƣơng ứng với n ảnh sản phẩm) Ma trận data d ng để train SVM T o ma trận nhãn (labels) với n dòng (tƣơng ứng với n ảnh sản phẩm) m c t (tƣơng ứng với m lo i sản phẩm) Chia b data labels thành 80% để huấn luyện 15% để kiểm tra 5% để kiểm thử Sử dụng SVC (Support Vector Classifier) m t d ng SVM để train mơ hình với liệu nhãn Lƣu mơ hình Sử dụng mơ hình vừa train 15% data cịn l i để tính đ xác mơ hình 4.5 Quy trình phân loại sản phẩm Lấy 100 điểm đặc trƣng ảnh sản phẩm [8,9,10] 36 T o ma trận x 100 với liệu điểm đặc trƣng ảnh Sử dụng mơ hình lƣu ma trận liệu để phân lo i sản phẩm đ xác Nếu đ xác > 90% ta sử dụng kết phân lo i Cấu trúc thƣ mục chƣơng trình đƣợc bố trí nhƣ hình sau: Thƣ mục chƣa hình sản phẩm d ng để test sau train Thƣ mục chứa hình sản phẩm mẫu với tên tên sản phẩm (hoặc mã sản phẩm) Hình sản phẩm mẫu Các file code chƣơng trình: - app1.mlapp: giao diện phần mềm - Các file m hàm thực thi cơng việc tƣng ứng Hình Cấu trúc thƣ mục chƣơng trình 37 Chƣơng trình đƣợc thiết kế dƣới d ng hàm riêng biệt Trong chƣơng trình khai báo biến cần thiết ch y hàm liên quan Data: vector đặc trƣng ảnh sản phẩm 38 Hình Vector liệu điểm đặc trƣng ảnh sản phẩm Label: nhãn sản phẩm tƣơng ứng Hình Nhãn ảnh sản phẩm 39 Products_names: mảng lƣu tên sản phẩm tƣơng ứng (tên sản phẩm tên thƣ mục chứa ảnh sản phẩm đó) nhằm mục đích xác định tên sản phẩm(hoặc mã sản phẩm) sau phân lo i Hình Mảng chứa tên sản phẩm 4.6 Thiết kế giao diện ứng dụng Giao diện ứng dụng đƣợc thiết kế cho đơn giản, gọn gàng dễ sử dụng Hình Giao diện ứng dụng tính tiền cho FamilyMart sử dụng hình ảnh trực tiếp sản phẩm 40 4.7 Kiểm thử Cấu hình máy tính cho huấn luyện kiểm thử: sử dụng máy tính cấu hình 2.60 GHz CPU, lõi kép RAM 12 GB Ổ cứng SSD 860 EVO 250 GB Sử dụng Matlab 2019a để làm tảng tiến hành thực nghiệm Webcam để chụp ảnh sản phẩm Tập liệu kiểm thử bao gồm 1500 ảnh sản phẩm đƣợc chia làm phần, phần 1: 80% d ng để huấn luyện mơ hình, phần 2: 15% d ng để kiểm thử mơ hình xem kết mơ hình xác nhanh Phần 3: 5% d ng để thử nghiệm mơ hình chọn Kết thực nghiệm số mơ hình giao diện ứng dụng tính tiền cho Family Mart: Bảng Bảng kết mơ hình 41 KẾT QUẢ THỰC NGHIỆM MƠ HÌNH 1: SURF KẾT HỢP SVM TÊN SẢN PHẨM SAI SỐ (%) TÊN SẢN PHẨM SAI SỐ (%) alpenlibe2chew 3,5857 keochuppachup 2,2311 aquafina500ml 1,6562 marinboy 2,2311 aquafreshextraclean 1,605 Mi3mien 0,5896 aquafreshtrippleprotection 2,0717 pepsi330 3,1873 banhcoffeejoy 0,5378 safeguard 1,8526 cocacolalight 2,7224 sensodai dauphongpinatsu 2,1248 socolakitkat 2,1673 dauphongtantan 1,6202 socolamm 1,506 haohaochuacay 0,5976 sotnemknorr 2,9482 haohaogavang 2,0945 suatuoidutchlady 6,1784 xucxichheovissan 1,4995 …… Bảng Bảng kết phân lo i mơ hình 42 KẾT QUẢ THỰC NGHIỆM MƠ HÌNH 2: SURF KẾT HỢP MATCHFEATURES TÊN SẢN PHẨM SỐ ĐIỂM ĐẶC TRƢNG TRÙNG NHAU TÊN SẢN PHẨM SỐ ĐIỂM ĐẶC TRƢNG TRÙNG NHAU alpenlibe2chew 10 keochuppachup aquafina500ml marinboy aquafreshextraclean 17 Mi3mien aquafreshtrippleprotection 48 pepsi330 banhcoffeejoy safeguard cocacolalight sensodai dauphongpinatsu socolakitkat dauphongtantan socolamm haohaochuacay sotnemknorr haohaogavang suatuoidutchlady xucxichheovissan …… Kết so sánh sản phẩm Aquafreshtrippleprotection với b liệu Bảng 4 Bảng kết phân lo i mơ hình 43 KẾT QUẢ THỰC NGHIỆM MƠ HÌNH 3: SURF KẾT HỢP COPULAS GAUSS ĐỐI SÁNH VECTOR ĐẶC TRƢNG TÊN SẢN PHẨM ĐỘ TƢƠNG ĐỒNG TÊN SẢN PHẨM ĐỘ TƢƠNG ĐỒNG alpenlibe2chew 0,49 keochuppachup 0,51 aquafina500ml 0,51 marinboy 0,54 aquafreshextraclean 0,53 Mi3mien 0,46 aquafreshtrippleprotection 0,52 pepsi330 0,47 banhcoffeejoy 0,55 safeguard 0,54 cocacolalight 0,53 sensodai 0,44 dauphongpinatsu 0,56 socolakitkat 0,56 dauphongtantan 0,47 socolamm 0,52 haohaochuacay 0,48 sotnemknorr 0,61 haohaogavang 0,52 suatuoidutchlady 0,56 xucxichheovissan 0,62 …… Kết so sánh sản phẩm xucxichheovissan với b liệu 44 Hình 100 Hình giao diện ứng dụng tính tiền cho Family Mart, chụp ảnh sản phẩm kem vinamilk từ webcam nhấn nút phân lo i hiển thị tên giá sản phẩm Hình 111 Hình kết phân lo i xác sản phẩm chụp từ webcam 4.8 Kết luận Bảng đánh giá kết đánh giá mơ hình đề xuất xác 𝑆ố ì𝑛 𝑛 ậ𝑛 𝑑ạ𝑛𝑔 đú𝑛𝑔 𝑡ổ𝑛𝑔 𝑠ố ì𝑛 45 *100 Bảng Bảng đánh giá mơ hình đề xuất ĐỘ CHÍNH XÁC % SỐ HÌNH NHẬN ĐÚNG TỔNG SỐ HÌNH SVM 81 109 134 MATCHFEATURES 99 133 134 COPULAS GAUSS 53 71 134 PHƢƠNG PHÁP Thực nghiệm cho thấy SURF tự đ ng xử lý ảnh lấy điểm đặc trƣng ảnh nhanh xác, ảnh chụp bị nghiêng m t phần SURF lấy đƣợc điểm đặc trƣng Mơ hình số lƣợng hình mẫu chƣa nhiều nên mơ hình SVM nhận d ng chƣa tốt, đ xác chƣa cao Mơ hình đối sánh vector đặc trƣng ằng cách tính đ tƣơng đồng cặp vector đặc trƣng thông qua khoảng cách Euclid so khớp điểm đặc trƣng, tốc đ xử lý tính tốn nhanh cho kết xác cao 99% Mơ hình đối sánh cặp vector theo phép chuyển đổi Copulas Gauss, phép chuyển đổi tính tốn tốn nhiều thời gian, trình thực tế nhận d ng, hình ảnh bị lệch, bị ngƣợc so với hình mẫu nên kết nhận d ng chƣa cao hiển nhiên Tôi đề xuất sử dụng mơ hình để xây dựng phần mềm tính tiền tự đ ng cho cửa hàng tiện lợi Family Mart có kết nhận d ng nhanh xác 46 CHƢƠNG KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 5.1 Kết đạt đƣợc Qua m t thời gian nghiên cứu lý thuyết thực nghiệm để hồn thành luận văn, tơi đ t đƣợc số kết sau: Luận văn nghiên cứu kiến thức đặc trƣng ảnh, cài đặt, thực nghiệm (SURF) Nghiên cứu kiến thức nhận d ng phân lo i sản phẩm (SVM, matchFeatures, , Tool ox Matla ), cài đặt, thực nghiệm ề xuất, so sánh mơ hình nhận d ng phân lo i sản phẩm Lựa chọn mơ hình phù hợp để xây dựng ứng dụng tính tiền tự đ ng cho cửa hàng tiện lợi FamilyMart Hạn chế Số lƣợng mẫu sản phẩm chƣa đủ so với mặt hàng FamilyMart 5.2 Hƣớng phát triển đề tài Hƣớng nghiên cứu tơi thời gian tới tiếp tục nghiên cứu, thực nghiệm nhiều phƣơng pháp khác nhằm so sánh khả phân lo i sản phẩm nhanh xác 47 CƠNG TRÌNH CƠNG BỐ Hồng M nh Hà, Lê Quang Thiện, Nguyễn Việt Thanh Hiền, Nơng Kiều Trang, Hồng Hà Quang Tùng (2019) ―Copulas Gauss cho toán xác định độ tƣơng quan ứng dụng đối sánh vector đặc trƣng‖ H i nghị Quốc gia lần thứ XXII iện tử, Truyền thông Công nghệ Thông tin‖ (The 22st National Conference on Electronics, Communications and Information Technology, viết tắt REV-ECIT) REV-ECIT H i nghị Khoa học Quốc gia thƣờng niên REV chủ trì 48 TÀI LIỆU THAM KHẢO [1] hoasenvang.com [2] vienktcn.vinhuni.edu.vn [3] Matt Davis, Ferat Sahin, ―HOG feature human detection system‖, Published in IEEE International Conference 2016 DOI:10.1109/smc.2016.7844676 [4] T Mita, T Kaneko, O Hori, ―Joint Haar-like features for face detection‖, Tenth IEEE International Conference on Computer Vision (ICCV'05) Volume 1, 2005, INSPEC Accession Number: 8824359, Conference Location: Beijing, China [5] Edouard Oyallon, Julien Ra in, ―An Analysis of the SURF Method‖, IPOL Journal · Image Processing On Line, 2015, pp 346–359, Published in IPOL Journal 2015, volume.5 ,pages 176-218 [6] S Salleh, R Mahmud, H Rahman, S S Yasiran, ―Speed up Ro ust Features (SURF) with Principal Component Analysis-Support Vector Machine (PCA-SVM) for enign and malignant classifications‖, Journal of Fundamental and Applied Sciences, 2017, 2018/01/19, SP-624, DO 10.4314/jfas.v9i5s.44 [7] Satya Bhushan Verma et al, Analysis of SIFT and SURF Feature Extraction in Palmprint Verification System, IEEE international conference on computing, communication and control technology, International Journal of Scientific & Engineering Research, Volume 7, Issue 12, December-2016 855, ISSN 2229-5518 49 [8] Her ert Bay, Tinne Tuytelaars, Luc Van Gool, ―SURF: Speeded Up Ro ust Features‖, European Conference on Computer Vision: Computer Vision – ECCV 2006 pp 404-417, ECCV 2006 [9] Yanwei Pang, WeiLi YuanYuan, Jing Pan, ―Fully affine invariant SURF for image matching‖, Neurocomputing, Volume 85, Pages 6-10, 15 May 2012 [10] Hwanjo Yu, Sungchul Kim, ―SVM Tutorial — Classification, Regression and Ranking‖, Hand ook of Natural Computing pp 479-506, online 2017 Feb 13 doi: 10.1155/2017/4629534 50 ... 19 SURF phƣơng pháp trích xuất đặc trƣng ảnh với tốc đ cao bối cảnh nhiễu (hình ảnh di đ ng, mờ, bị che phần, …) ây giải pháp nhận d ng tính tiền hàng hóa mới, thay nhận d ng tính tiền theo sử dụng. .. Lý chọn đề tài T i siêu thị, cửa hàng tiện lợi, cửa hàng t p hóa, vấn đề tính tiền cho nhanh chóng xác ln đƣợc ƣu tiên hàng đầu Xu hƣớng mua sắm ngày cửa hàng tự phục vụ, hàng hóa cửa hàng đƣợc... khách hàng tự lựa chọn hàng hóa, tự tính tiền, cửa hàng khơng có nhân viên thu ngân nhân viên phục vụ T i siêu thị cửa hàng tiện lợi sử dụng máy quét mã v ch để tính tiền, cịn cửa hàng t p hóa