Tích hợp tìm kiếm ảnh và tư vấn sản phẩm vào website thương mại điện tử

Giúp ta có được cái nhìn tổng quan về bài toán phân loại tìm kiếm ảnh , các hướng tiếp cận và giải pháp đã được ứng dụng trong bài toán phân loại ảnh từ các phươngpháp thuần tính toán xử

Trang 1

` HỌC VIEN CÔNG NGHỆ BƯU CHÍNH VIỄN THONG „ Š

KHOA CÔNG NGHỆ THÔNG TIN 1 LEN

TÍCH HỢP TÌM KIEM ANH VA TU VAN SAN PHAM

VAO WEBSITE THUONG MAI DIEN TU

Hệ : — ĐẠI HỌC CHÍNH QUY

HÀ NOI - 2021

Trang 2

HỌC VIEN CÔNG NGHỆ BƯU CHÍNH VIÊN THONG

KHOA CÔNG NGHỆ THÔNG TIN 1

TÍCH HỢP TIM KIEM ANH VA TU VAN SAN PHAM

VAO WEBSITE THUONG MAI DIEN TU

Giảng viên hướng dẫn : PGS.TS TRAN ĐÌNH QUE Sinh viên thuc hién =: LE THẺ HIỂU

Lớp : DI7HTTTI

Khóa : 2017 - 2022

Hé : DAI HỌC CHÍNH QUY

Trang 3

NHAN XÉT CUA GIẢNG VIÊN HƯỚNG DAN

Điểm: (Bằng chữ: )

Hà Nội, ngày tháng nam 20

Giảng viên hướng dẫn

Trang 4

NHAN XÉT CUA GIẢNG VIÊN PHAN BIEN

Hà Nội, ngày tháng năm 20

Giảng viên phản biện

Trang 5

Đồ án tốt nghiệp đại học

MỤC LỤC

MỤC LỤC - 52-5251 SE E21 2E12212121122171212112111111211211 111111211111 rre i

DANH MỤC BANG uu csessessesssessessessssssessessessusssessessessussusssessessusssessessessvsssessessecsussseeseeses ivDANH MỤC HINH.Q sscssesscssssssessessssssessessessecssessessessessussssesessessusssessessessussisssessecseesseesess VDANH MỤC CÁC TỪ VIET TẮTT -¿- +: ©5¿+S£+S£+EE£EE£2EEEEEEEEEEEEEEEEEEEkerkrrrerrkres vii

CHUONG 2 : HE TU VAN DUA TREN KY THUAT LOC CONG TAC VA UNG

DỤNG MẠNG VGG16 VÀO BÀI TOÁN PHAN LOẠI TIM KIEM ẢNH 122.1 HỆ TƯ VAN DUA TREN KỸ THUẬT LOC CỘNG TÁC -+¿ 122.1.1 GIGI THIỆU VE LOC CONG TÁC -¿-©2¿2c+22+t2xerxrsrxerreerked 122.1.2 MOT SO PHƯƠNG PHAP TÍNH ĐỘ DO TƯƠNG TỰ -. 13

2.1.3 THUAT TOÁN K-NEIGHBORS (KNN) scsssesssesssessesssesssesseessesssessneesessses 152.1.4 THUẬT TOÁN USER-USER COLLABORATIVE FILTERING TRONG

BÀI TOÁN TU VAN SAN PHẨM ¿22c St tt SE SEEE5E5E1E1511121552E5E555.E25eceE 17

2.1.5 UNG DỤNG BÀI TOÁN TU VAN TRONG WEBSITE THƯƠNG MAI

2.2 UNG DỤNG MẠNG VGGI6 VÀO BÀI TOÁN PHAN LOẠI TÌM KIEM ẢNH.21

2.2.1 KIÊN TRÚC MẠNG NƠ-RON TÍCH ¿2 St St+E+E£EE+E+EeEEEEsEeEresxee 21

2.2.2 KIÊN TRÚC MẠNG VGG16 - 5t StSE9Et2EEEEEEEEEEEEEEEEEEEEEESErrkrrerkrre 24

Lê Thế Hiếu — DI7HTTTI i

Trang 6

2.2.3 Học chuyên giao và tinh chỉnh mô hình huấn luyện - 2 5+: 262.2.4 Ứng dụng mạng vgg16 vào bài toán tìm kiếm phân loại sản phẩm 272.3 KET CHUONG 6 3.4 29CHƯƠNG 3 : THU NGHIEM VA DANH GIA cecsscsssessessesssessessessesssessessessessseeseeseess 303.1 THU NGHIEM VA ĐÁNH GIA HE THONG TU VẤN -c2- 30

3.1.1 Dữ liệu thực nghiém - - G1111 1119 E91 HH ng ngư 30

3.2.4 Kich ban thurc nghiém n7 - 4I

3.2.5 Kết quả và đánh giá - ¿5c tt E2 121121117111211211211 112111111, 413.2.6 Tổng hợp đánh giá - 22 ©©22++22EEE+EEEE1521221111127111122771112271111220112 2.011 c 443.3 KET CHUONG c1 ARẬệằẬH ,ÔỎ 44CHƯƠNG 4 : PHÁT TRIÊN XÂY DỰNG UNG DỰNG .2- 2 55x52454.1 GIỚI THIỆU THƯƠNG MẠI ĐIỆN TỬ 2-©2z+22E++z++2E++ze+trrvzerrrr 454.2 TONG QUAN HỆ THNG 2222 -©2S2EEEEEE2222++E22222222111112221222222221111122ecce 46

4.2.1 Giới thiệu hệ thống cecececccccccccssessessessssssessessesssessessessessessessessessessessesseesess 46

4.2.2 Cong 3á an 46

4.3 PHAN TÍCH THIẾT KÉHỆ THÓNG -©©EEEE222222+++t22EEEEEEEEvvecccee 41

4.3.1 Xác định tác nhân nghiép VỤ 2221223112113 21111 EEEEEerrkrer 47

4.3.2 Sơ đồ Usecase tổng quan toàn hệ thong - 2-2 2 2+x+£Ee£++£xezxscxez 49

4.3.3 Kịch bản cho các ca sử dụng Gà k1 H HH nh Hư 49

4.3.4 Sơ d6 lớp thực thỂ ¿- 2 s22 12EE£EEE2E121121127171121121171 11.1.1111, 53

Lê Thế Hiếu — DI7HTTTI ii

Trang 7

4.3.5 Sơ đồ tuần tự cho các moOdule - - - 5: s+x+E‡EEE+E£EEEESEEEEEEEEEEEEEkrkerrrkrkrrrrs 53

4.3.6 Sơ đồ quan hệ thực thỂ - ¿2 2 +s+EE+2E22EE2EEEEEE2E221122171212211 21121 56

4.3.7 Các bảng trong cơ sở dữ lIỆU - - 5 5 HH HH HH gi, 56

4.3.8 Sơ đồ kiến trúc toàn hệ thống ¿- ¿+ E+SE9EE+EE2EE2E2EE2EEEEEEEEEErrkrrree 62

4.3.9 Cài đặt Ứng dỤụng - -s knnHnHhnh ng n nHH Hà HHnh Thgg 64

DANH MỤC TÀI LIEU THAM KHẢO -2¿ 2 ++SE+2E+2EE2EEtEEtEEzEerrxerrrres 68

PHU LỤC - - 22 22SE‡EE‡EE2E12E197121121121127171711211111111121111 111111111111 re 69

Lê Thế Hiếu — DI7HTTTI iii

Trang 8

DANH MỤC BANG

Bảng 2.1 Đánh giá của 4 người dùng cho 6 sản phẩm 2-2 + 5 s+c+zcs+cs+z 13

Bang 2.2 Ma tran danh gia 18

Bang 2.3 Ma trận chuẩn h6a c.cceccsccscssessessesesesessessessessessessessessssessessessessesessesasesesseeees 18

Bảng 2.4 Ma trận tương QUa1 - G5 11T TH nếp 19

Bảng 2.5 Ma trận dự đoán đánh giá c2 1222112113112 1151111E 11111111 xxx 20

Bảng 3.1 Bộ dữ liệu MovieLens 1OOK . - c1 3211139111391 11111811111 kkerrvre 30

Bang 3.2 Bộ dữ liệu đánh giá — rating từ hệ thống 2 2 2 x+x+zEzEzrxerxeres 32Bang 3.3 Kết kết qua RMSE va MAE tương ứng với các giá trị của k - 37

Lê Thế Hiếu — DI7HTTTI iv

Trang 9

DANH MỤC HÌNH

Hình 1.1 Tinh năng đề xuất video trên Youtube -¿- 2 2 2+ ++E£+Ee£EeExerxzrxzrsrxee 5

Hình 1.2 Hệ tư vấn -.c:- 22v HH HH re 5

Hình 1.3 Các thông tin về hình học được tính toán bởi các thuật toán Xử ly ảnh [4] 8

Hinh1.4 Mô hình hoạt động của phương pháp hoc sâu trong bai toán nhận dang ảnh 9

Hình 2.1 Sơ đồ kiến trúc module gợi ý đánh giá sản phâm ¿5-2522 5+‡ 20 Hình 2.2 Kiến trúc cơ bang mạng nơ-ron tích chập [5] - 5+ +++<+s+<x+sexss 22 Hình 2.6 Kiến trúc mạng VGG16 [7] -¿- 2 2+SE+E£+EE+EE£EE2EE2EESEEEEEtEEEzEkerkrrkrres 25 Hình 2.7 Tư tưởng kỹ thuật Fine- TUrn1nØ -c + c x31 SEESeeerseeeseeeersere 27 Hình 2.8 Sơ đồ kiến trúc chức năng tìm kiếm sản phẩm bằng hình ảnh 28

Hình 3.1 Biểu đồ phân phối đánh giá tập dữ liệu MovieLens 100k 31

Hình 3.2 Tap dữ liệu sau MovieLens sau khi giải nén - sec secseeeeeeeees 31 Hình 3.3 Bảng Comment cece cece 5 11191 911 11191 91T TT HH Hệ 32 Hình 3.4 Kết qua RMSE của ba thuật toán với tập dữ liệu MovieLens 100k 34

Hình 3.5 Kết qua MAE của ba thuật toán trên tap dữ liệu movieLens 100k 35

Hình 3.6 Kết qua MAE của ba thuật toán trên tập dữ liệu rating hệ thống 36

Hình 3.7 Kết quả RMSE của ba thuật toán trên tập dữ liệu rating hệ thống 36

Hình 3.8 Kết quả RMSE và MAE tương ứng với giá trị K - + cz+cs+cxsrxczes 37 Hình 3.9 Một số hình ảnh mèo trong tap ASiTra -2- 2 2 2+£++£+E+zEerxerxerxsreee 38 Hình 3.10 Một số hình ảnh chó trong tập Asirra -2- + ++2z++£x++zx++zxrzrxees 38 Hình 3.11 Các nhãn danh mục sản phâm ¿- 2 2 Et+x+2££+EE£EEtzEzEezrxerxrres 39 Hình 3.12 Minh hoạ unnormalized confusion matrix va normalized confusion matrix ¬— 40

Hình 3.13 Biểu đồ cột thé hiện Accuracy thực nghiệm mô hình trên 2 tập dữ liệu 42

Hình 3.14 Ma trận Confusion matrix với tập dữ liệu ASIrra -«++-<+s52 42 Hình 3.15 Ma trận Confusion matrix với tập dữ liệu anh sản phẩm trong hệ théng 43 Hình 4.1 Trang website thương mại nổi tiếng - Tiki -. -2- 522252 5+2cx+2cxz+ 45

Lê Thế Hiếu — DI7HTTTI Vv

Trang 10

Hình 4.2 Sơ đồ UC toàn hệ thống 2-2 ©S£2S£2SE2EE£EEE2E2EEEEEEEEEEEEEEerkrrkrres 49

Hình 4.3 Sơ đồ lớp thực thỂ - ¿2 + x+2E22E12EEEEEEEE2E12717171121121171711 21111 Tre 53

Hình 4.4 Sơ đồ tuần tự chức năng “Tìm kiếm sản phâm bằng hình ảnh” 54

Hình 4.5 Sơ đồ tuần tự chức năng “Xem lịch sử mua hàng” -. -.¿ ¿¿-: 55

Hình 4.6 Sơ đồ tuần tự chức năng “Dat hàng” sec 2E2EEEcEEerkerkerkerree 55Hình 4.7 Sơ đồ quan hệ thực thể toàn hệ thống ¬—— 56

Hình 4.8 Sơ đồ kiến trúc toàn hệ thống 2-2-2 2+ 2+EE+EE2E2EE2EEEEEEEEEEEErrkrrrrres 62

Hình 4.9 Biểu đồ lớp thiết kế toàn hệ thống ¿- ¿2c 2 S£+S£+E£+E£Et£EeEEeExerxereee 63

Hình 4.10 Giao diện đăng nhập (1n HH HT HH HH Hưng 64

Hình 4.11 Giao diện trang chủ - - 6 c3 3211121115535 13 11111 111k Ekrree 65

Hình 4.12 Giao điện chức năng “Tìm kiếm sản phâm bang hình ảnh” 65Hình 4.13 Giao điện kết quả “Tìm kiếm san phâm bằng hình ảnh” - 66Hình 4.14 Giao diện chức năng “tự động dé xuất gửi ý sản phẩm” -: 66

Lê Thế Hiếu — DI7HTTTI vi

Trang 11

DANH MỤC CÁC TU VIET TAT

Từ viết tắt Tiếng Anh Tiếng Việt/Giải thích

CF Collaborative Filtering Loc cộng tác

II-CE Item-item Collaborative Filtering Lọc cộng tác sản phẩm

KNN K-Nearest Neighbors

MAE Mean Absolute Error Sai số toàn phương trung bình

ME Matrix Factorization Lọc cộng tác phân tích ma trận

RMSE Root Mean Square Error Sai số toàn phương

TMĐT Thương mại điện tử

Trang 12

MỞ ĐẦU

I1 GIỚI THIỆU DE TÀI

Khoa học công nghệ ngày nay càng ngày càng phát triển thêm một tầm cao mới

, chính vì vậy với sự bùng nỗ về mặt công nghệ thì các website thiết kế càng quan tâmhơn đến người dùng hơn băng việc áp dụng kĩ thuật social marketing

Việc thu hút , theo dõi tâm lý khách hàng là rất quan trọng và cần thiết Chính vì

vậy các website thương mại điện tử hiện nay rất chú đến những tiện ích nâng cao Hai

trong số đó chính là tìm kiếm hình ảnh đề xuất gợi ý sản pham cho khách hang

Với hệ thống tìm kiếm hình ảnh ngày xưa thường dựa vào các đặc trưng trực

quan như màu sắc, kết cấu, hình dạng, đặc trưng cục bộ được rút trích từ ảnh Phương

pháp này có hạn chế là làm cách nào để xác định và chọn ra được những đặc trưng đại

diện có ảnh hưởng cao đến độ chính xác của kết quả tìm kiếm? Quá trình chọn lựa này

sẽ gây mat nhiều thời gian trong quá trình xây dựng hệ thống chưa kể là kho lưu trữ anh

của các trang thương mại điện tử là vô cùng lớn

Với hệ thống gợi ý sản phẩm cũng vậy , số lượng khách hàng cũng như sản pham

là vô cùng lớn việc đưa ra dự đoán gợi ý chính xác theo cách truyền thống là vô cùng

phức tạp

Lê Thế Hiếu — DI7HTTTI 1

Trang 13

Chính vì vậy , trong nội dung đồ án này tập trung nghiên cứu xây dựng một hệthống tích hợp tìm kiếm ảnh , đề xuất gợi ý sản phẩm vào trang website thươngmại điện tử để nhằm tận dụng tối đa sức mạnh tính toán của máy tính , sức mạnh của

trí tuệ nhân tạo

2 MỤC TIỂU DO ÁN

Mục tiêu của đồ án này là :

° Tìm hiểu mang nơ-ron tích chập — cụ thé là mạng VGG16 nỗi tiếng ứngdụng xây dựng chức năng tìm kiếm ảnh cùng loại tích hợp vào website thương mại điện

tử.

° Tìm hiểu thuật toán Fine-Turning trong việc hạn chế overfitting

° Tìm hiểu thuật toán lọc cộng tác — cụ thể thuật toán User-user

Collaborative Filtering tích hợp vào website thương mại điện tử

° Tích hợp hệ thống tư vấn và tìm kiếm phân loại ảnh vào website đồ án xây

dựng

3 NỘI DUNG CUA DO ÁN

Nội dung của đồ án bao gồm :

° Tìm hiểu hệ thống tư vấn , các phương pháp sử dụng trong hệ thống tựvan cũng như ưu và nhược điểm của từng phương pháp

° Tìm hiểu chỉ tiết kỹ thuật User-user Collaborative Filtering ứng dụng xâydựng chức năng gợi ý sản phẩm trong website thương mại điện tử

° Tìm hiểu về bài toán tìm kiếm phân loại ảnh

° Tìm hiểu mạng nơ-ron tích chập, kiến trúc mạng VGGI16

° Tìm hiểu thuật toán Fine-Turning xây dựng mô hình mới phù hợp với bàitoán trong nội dung đồ an

° Cài đặt , thử nghiệm đánh giá thuật toán User-user Collaborative Filtering với bộ dữ liệu MovieLens 100k

° Cài đặt , thử nghiệm đánh giá mô hình huấn luyện dựa trên kỹ thuat Turning với bộ dit liệu hình ảnh các sản phâm crawl từ các trang website thương mai

Fine-điện tử.

Đồ án gồm các chương chính sau :Chương 1 : Tổng quan về hệ tư van và bài toán phân loại tìm kiếm ảnh sảnphẩm

Trang 14

Trong chương tổng quan này , ta có cái nhìn tổng quan về hệ tư vấn cũng nhưcác kỹ thuật áp dụng vào bài toán tư vấn gợi ý sản phẩm

Giúp ta có được cái nhìn tổng quan về bài toán phân loại tìm kiếm ảnh , các

hướng tiếp cận và giải pháp đã được ứng dụng trong bài toán phân loại ảnh từ các phươngpháp thuần tính toán xử lý ảnh tương đối thô sơ cho tới các phương pháp Học máy truyềnthống và cuối cùng là các phương pháp Hoc sâu

Chương 2 : Hệ tư vấn dựa trên kỹ thuật lọc cộng tác và ứng dụng mạng

VGGI6 vào bài toán phân loại tìm kiếm ảnh

Trong chương này , chúng ta đi sâu hơn vào phương pháp kỹ thuật lọc cộng tác

trong hệ tư vấn Trình bày thuật toán User-user Collaborative Filtering được sử dungtrong phạm vi dé an

Đồng thời sẽ đi sâu hơn vào một mang huấn luyện trong Học sâu thường được

sử dụng trong lĩnh vực Nhận dang ảnh - mạng nơ-ron tích chập VGG16, và tìm hiểu kỹthuật Fine-Turning giúp giải quyết bài toán nhận dạng ảnh với bộ dữ liệu huấn luyện

có kích thước tương đối nhỏ

Chương 3 : Thử nghiệm và đánh giá

Chương 3 tập trung trình bày về kết quả thử nghiệm mô hình dựa trên bộ dữ liệu

ảnh thu thập từ các website và tập dữ liệu Asirra (Dogs and Cats), bao gồm kết quả sosánh độ chính xác giữa các phương pháp Học máy truyền thống với phương pháp Họcsâu, cùng với các đánh giá về độ hiệu quả của mô hình xây dựng Dựa trên các kết quảthực nghiệm này, ta sẽ đưa ra một SỐ phân tích và kết luận về điểm mạnh và điểm hạnchế của mô hình huấn luyện Học sâu đã chọn Cài đặt thử nghiệm đánh giá thuật toán

User-user Collaborative Filtering trên bộ dữ liệu movieLens 100k , và bộ dữ liệu đánh

giá lay từ hệ thống dựa trên các độ đo khác nhau

Chương 4 : Phát triển xây dựng ứng dụng

Ở chương này ta tiến hành xây dựng website bán hàng tích hợp hai chức năng

phân loại tìm kiêm ảnh và chức năng gợi ý đê xuât sản phâm

Trang 15

Đồ án tốt nghiệp đại học Chương 1 Tổng quan hệ tư van và bai toán

CHƯƠNG 1: TONG QUAN HỆ TƯ VAN VÀ BÀI TOÁN TIM

KIEM PHAN LOẠI ANH

Nội dung chương nay ta chia ra làm nội dung chính :

° Trình bài tong quan về hệ tư van , các hướng tiếp cận giải quyết bài toán

° Trình hiểu bài toán tìm kiếm phân loại ảnh và các hướng giải quyết bài

toán.

1.1 GIỚI THIỆU TONG QUAN HỆ TƯ VAN

Ngày nay với sự bùng nỗ của internet cũng như sự phát triển của các websitethương mại điện tử dẫn đến sự bùng né của sự trao đổi thông tin thông qua internet Vớilượng lớn thông tin thì việc tìm kiếm xem những mặt hàng sản phẩm nào phù hợp với

mình là vô cùng khó khăn

Một số công cụ tìm kiếm với từ khóa, điển hình như google, yahoo, bing giúp

chúng ta rất nhiều trong tìm kiếm những thông tin cần thiết Nhưng với lượng thông tintăng lên nhanh chóng, các công cụ tìm kiếm theo từ khóa cũng đang dần tỏ ra khônghoàn toàn đáp ứng được nhu cầu của con người Hàng ngày chúng ta phải bỏ ra quánhiều thời gian dé lọc những thông tin tìm kiếm được trên google Thêm nữa, đôi khingười dùng cũng không hiểu hết nhu cầu của mình, không biết được từ khóa chính xácmình muốn tìm kiếm, do đó rất khó để tìm được thông tin mình cần.

Chính vì thế nhu cầu đặt ra cần một hệ thống tư vấn Các hệ thống tư vấn này sẽtính toán và dự đoán khả năng người dùng sẽ thích sản phẩm hay thông tin nào đó Từ

đó đưa ra những gợi ý về sản phẩm hay thông tin có thể phù hợp với người dùng nhất

Các website thương mại điện tử nôi tiếng hiện nay ngày càng chú trọng quan tâmđến người dùng do đó các tính năng tư van gợi ý là vô cùng cần thiết Có thé kê đến cáctrang như www.youtube.com gợi ý đề xuất video cho người dùng , hay là trang web

www.netflix.com chuyên gợi ý phim ảnh vv

Trang 16

= ®®ullue” Tìm kế Qe oe /® @

A Trangchủ Danh sách kết hợp Âm nhạc Bóng đá Toán hoc Đọc rap Trực tiếp Chương trình nấu ăn Phim hoạt hình Hài kịch tình huống ›

@} Khámphá

4 with Python vom Và,

(2) Thưyiên

Hy

® > Video da xem rr og l

; 9:56:23

[>] Video cua ban

sau Không Bang (RIN Music Remix) - © Data Analysis with Python Course - Danh sách kết hợp - Son Tùng M-TP ray LIVERPOOL - NEWCASTLE | SALAH

®© Xemsau _ Na| Nhạc EDM TikTok 2021 Gây Data Visualization 1 Túng M-TR, Tinh, RPT MCK va nhiều nghệ == LẬP Ki LUC, TRENT ARNOLD ĐẠI

Từng Ngày Dài Còn Lại Một Mình f”s_ Bài hát làm cho trái tim ấm áp | Danh sách kết hợp - Mây Đêm Chờ Mấy Sang Viog | Thử Câu Cá Ơ Ao Bỏ

chill Ov 2o ® Công ty uyễn Hữu Kha, Chu Sang viog ®

@ _ dinn tung Huy 87 N lượt xem « 14 giờ truck 67 N lượt xem hác 67 N lượt xem « 1 ngày trướ

Hình 1.1 Tinh năng dé xuất video trên Youtube

Hệ thống tư van (Recommender Systems - RS) là một dạng của hệ thống lọcthông tin (information filtering), nó được sử dung dé dự đoán sở thích (preferences) hayxếp hang (rating) mà người dùng có thể dành cho một mục thông tin (item) nào đó mà

họ chưa xem xét tới trong quá khứ (item có thể là bài hát, bộ phim, đoạn video clip,

sách, bài báo, ) [2]

Những nhóm hệ thống gợi ý chính gồm các hệ thống tư vấn dựa nội dung

(Content-based Recommendation Systems), các hệ thống lọc cộng tác (Collaborative

Filtering Systems) và các hệ thống lai ghép (Hybrid Systems)

Hệ tư vấn

Hé tư vấn dựa trênnội dung Hệ thông lọc cộng tác Hệ tư van lai

Lọc cộng tác dựa trên Lọc cộng tác dựa trên

Trang 17

e Hệ tư vấn dựa trên nội dung (Content-based Recommendation Systems)

Là phương pháp nhấn mạnh vào việc phân tích các nội dung/thuộc tinh

(attributes) của các sản phẩm (items) dé phát sinh các dự đoán Cách tiếp cận này yêucầu việc sắp xếp các sản phẩm vào từng nhóm hoặc đi tìm các đặc trưng của từng sảnphẩm Việc gợi ý các sản phâm dựa vào hé sơ (profiles) của người dùng bằng việc sử

dụng các đặc tính được rút trích từ nội dung của các mục tin người dùng đã đánh giá

trong quá khứ Các sản phâm được gợi ý đến người dùng liên quan phần lớn các sảnphẩm đã được đánh giá tích cực bởi người dùng

° Hệ thống lọc cộng tac (Collaborative Filtering Systems)

Kỹ thuật lọc cộng tác hoạt động bằng cách xây dựng một cơ sở đữ liệu (ma trậnngười dùng-sản phẩm) sở thích về các sản phẩm theo những người dùng Sau đó kết hợpnhững người dùng với các sở thích và mối quan tâm thích hợp bằng cách tính toán các

độ tương tự giữa những hồ sơ người dùng dé tạo các gợi ý Các kỹ thuật lọc cộng tác cóthé được chia thành hai loại: dua bộ nhớ (memory-based) và dựa mô hình (model-based)

° Hệ thống lai (Hybrid Systems)

Hệ tư van lai là phương pháp sử dụng nhiều hơn 2 kỹ thuật tư van dé áp dụng cho

hệ thống gợi ý Phương pháp này được sử dụng nhằm tận dụng lợi thế của các phươngpháp khác nhau dé khắc phục những nhược điểm của từng phương pháp

1.1.1 Phát biểu bài toán tư vấnPhát biểu bài toán :

Input :

° Cho tập người dùng U , mỗi người dùng 1, thuộc U có đặc điểm I

={ip ib ik}.

° Một tập các sản phâm P , mỗi sản phẩm ?; có các đặc trưng J ={

Jja, -Jx,}

° Một ma trận R = (7) với1= l, N ;J=1, M, thể hiện mối quan

hệ giữa tập người dùng U với tập sản phẩm P Trong đó Tự thể hiện đánh giá của

người dùng u; với sản phẩm pj-M,N lần lượt là số người dùng và số sản phẩm

Trang 18

Các hướng tiếp cận giải quyết bài toán này ta đã trình bày ở mục 1.1 Trongphạm vi đồ án này , nhằm phục vụ cho việc xây dựng chức năng đề xuất gợi ý san pham

trong website ta sẽ giải quyết theo hướng kỹ thuật lọc cộng tác — cụ thé là giải thuật

User-user Collaborative Filtering được trình bày cụ thé trong chương 2 (mục 2.1.4)

1.2 GIỚI THIỆU TONG QUAN BÀI TOÁN TÌM PHAN LOẠI

ANH SAN PHAM

Nhận dạng vat thể trong ảnh được coi là bài toán cơ ban nhất trong lĩnh vực Thịgiác máy tính, là nền tang cho rất nhiều bài toán mở rộng khác như bai toán phân lớp,

định vị, tách biệt vat thé Tuy bài toán cơ bản này đã tồn tại rất nhiều khó khăn dé máy

tính có thé hiểu được các thông tin trong một bức ảnh

Trong đó, những khó khăn tiêu biểu phải [3] kế đến:

- Sự đa dang trong điểm nhìn — Viewpoint: Cùng một vật thê nhưng có thể có ratnhiều vị trí và góc nhìn khác nhau, dẫn đến các hình ảnh thu được về vật thể đó sẽ khônggiống nhau

- Sự đa dang trong kích thước: Các bức ảnh không có cách nao thê hiện trườngthông tin về kích thước của vật thê trong đời thực, và máy tính cũng chỉ có thê tính toán

được tỉ lệ tương đối của vật thể so với bức ảnh bằng cách đếm theo số lượng các điểm

ảnh vật thê đó chiếm trong ảnh

- Các điều kiện khác nhau của chiếu sáng: Ánh sáng có ảnh hưởng mạnh mẽ đếnthông tin thé hiện trong một bức ảnh, đặc biệt là ở mức độ thấp như mức độ điểm ảnh

- Sự ấn giấu một phan của vật thé sau các đối tượng khác trong ảnh: Trong các

bức ảnh, vật thê không nhất định phải xuất hiện với đầy đủ hình dạng mà có thể bị che

lap một phần nào đó bởi nền hoặc các vật thé xung quanh dẫn đến việc thiếu thông tin,

đặc trưng và cảng làm bài toán nhận dạng khó khăn hơn.

- Sự lộn xộn phức tạp của nền: Trong nhiều trường họp, vật thể cần nhận dạng bị

lẫn gần như hoàn toàn vào nền của bức ảnh, sự lẫn lộn về màu sắc, họa tiết giữa vật thể

và nền khiến cho việc nhận dạng trở nên vô cùng khó khăn, ké cả với thị giác con người

- Sự đa dạng về chủng loại vật thé: Vật thé cần nhận dạng có thể bao gồm nhiềuchủng loại khác nhau, với hình dang, màu sắc, kết cau vô cùng khác biệt

Trong phạm vi đồ án nay , ta sẽ tìm hiéu bài toán phân loại sản phẩm hang hóa

ví dụ như laptop, tivi, máy ảnh Là một trường hợp cụ thể của bài toán nhận dạng và

phân lớp, bài toán tìm kiêm nhận dạng sản phâm kê thừa các khó khăn vôn có của bài

Trang 19

toán gốc, và kèm theo là các khó khăn riêng của chính nó, như: số lượng rất lớn về thé

loại các sản phẩm này có sự đa dạng về hình dang , kết cấu ví dụ cùng một loại làlaptop nhưng có rất nhiều kiểu dáng khác nhau vv Tiếp theo ta sẽ tìm hiểu các hướng

tiếp cận giải quyết bai toán

1.2.1 Cac hướng tiếp cận và giải quyết bài toánBài toán phân loại nói chung và bài toán phân loại sản phẩm nói riêng đã tồn tại

rat lâu đã có rất nhiều công trình đưa ra các thuật toán các hướng tiếp cận dé giải quyết

bài toán này

Phương pháp xuất hiện sớm nhất là xử lý ảnh ( Image Processing )

Các phương pháp này tập trung vào phát triển các thuật toán nhằm trích xuất

thông tin, ví dụ các tham số về màu sắc, hình dạng, kết cấu, kích thước , từ bức ảnhđầu vào dé nhận dạng Phương pháp này cơ bản giải quyết được bài toán tuy nhiên còn

rat nhiêu hạn chê cân khac phục

#—— 9) tài lớn nhất ———— Đường kinh xích đạo

Hình 1.3 Các thông tin về hình học được tính toán bởi các thuật toán Xử ly ảnh [4]

Bắt dau từ những năm 2000 , trên các nghiên cứu đã dé xuất áp dụng phương

pháp Học máy - Machine Learning vào bài toán nhận dạng sản phẩm và sau đó đã có rấtnhiều phương pháp dé ra dé cải tiến các thuật toán Học máy chính vì vậy kết qua thuđược tốt hơn rất nhiều so với phương pháp Xử lý ảnh

Dựa trên cơ sở của Học máy, trong những năm gần đây, nhờ sự phát triển vượtbậc về sức mạnh tính toán của các máy tính cũng như sự bùng nô dir liệu trên Internet,

một nhánh đặc biệt trong Học máy là Học sâu - Deep Learning đã đạt được nhiều thànhtựu đáng kể, đặc biệt là trong lĩnh vực Xử lý ảnh và ngôn ngữ tự nhiên Học sâu cũng

Lê Thế Hiếu - D17HTTTI 8

Trang 20

đã được áp dụng rất thành công vào bài toán nhận dang sản phẩm, phương pháp này đã

đạt được kết quả rất cao

Tiếp theo trong phạm vi đồ án , ta tìm hiểu tổng quan về phương pháp học sâutrong việc giải quyết bài toán tìm kiếm phân loại sản phẩm

Phương pháp học sâu

Học sâu là một nhánh đặc biệt của ngành Học máy, và bắt đầu trở nên phổ biến

trong thời gian gần đây do các nhà khoa học đã có thể tận dụng khả năng tính toán mạnh

mẽ của các máy tính hiện đại cũng như khối lượng dữ liệu không 16 (hình ảnh, âm thanh,

văn bản, ) trên Internet [5]

Các mạng huấn luyện theo phương pháp Học sâu còn được gọi với cái tên khác

là mạng nơ-ron sâu (Deep Neural Network) do cách thức hoạt động của chúng Vé cơbản, các mạng này bao gồm rất nhiều lớp khác nhau, mỗi lớp sẽ phân tích dữ liệu đầu

vào theo các khía cạnh khác nhau và theo mức độ trừu tượng nâng cao

Trích xuất đặc trưng | Các thuật toán phân

Mé hình huấn loại như SVM , KNN

luyện

Hinh1.4 Mô hình hoạt động của phương pháp học sâu trong bài toản nhận dạng anh

Trong mô hình trên ta có thể thấy với một mạng Học sâu cho nhận dạng ảnh, cáclớp đầu tiên trong mạng có nhiệm vụ tìm kiếm các đường thăng, đường cong, hoặc đốmmau trong anh đầu vào Các thông tin này sẽ được sử dung làm đầu vào cho các lớp tiếptheo, với nhiệm vụ khó hơn là từ các đường, các cạnh đó tìm ra các thành phần của vật

thể trong ảnh Cuối cùng, các lớp cao nhất trong mạng huấn luyện sẽ nhận nhiệm vụ

phát hiện ra vật thể trong ảnh

Tuy có nhiều điểm ưu việt trong khả năng huấn luyện máy tính cho các bài toánphức tạp, Học sâu van còn rất nhiều giới hạn khiến nó chưa thé được áp dụng vào giảiquyết mọi vấn đề Điểm hạn chế lớn nhất của phương pháp này là yêu cầu về kích thước

Trang 21

dữ liệu huấn luyện, mô hình huấn luyện Học sâu đòi hỏi phải có một lượng không lồ dữ

liệu đầu vào dé có thé thực hiện việc học qua nhiều lớp với một sé lượng lớn nơ-ron va

tham số Đồng thời, việc tính toán trên quy mô dữ liệu và tham số lớn như vậy cũng yêucầu đến sức mạnh xử lý của các máy tính server cỡ lớn Quy trình chọn lọc dữ liệu cũngnhư huấn luyện mô hình đều tốn nhiều thời gian và công sức, dẫn đến việc thử nghiệm

các tham số mới cho mô hình là công việc xa xi, khó thực hiện

Tuy nhiên, nhờ các phương pháp Học tập chuyền giao, hiện nay điểm hạn chếlớn nhất này đã không còn là vẫn đề quá nghiêm trọng

1.2.2 Phát biểu bài toán tìm kiếm phân loại sản phẩm

Phát biểu bài toán :

Input :

° Cho tập sản phẩm I ={ Hủa Úy,}

° Cho tập các danh mục sản phẩm =U {uj U2, Um }

° Cho ảnh sản phẩm đầu vào k

Output :

° Tìm các sản phẩm thuộc I , cùng danh mục với sản phẩm k

Dé giải quyét bài toán nay ta đã dé cập ở mục 1.2.1 Trong phạm vi đô án này ,

nhằm phục vụ cho việc áp dụng bài toán phân loại tìm kiếm sản phẩm đề xây dựng chứcnăng tìm kiếm sản phẩm theo ảnh ta sẽ tiếp cận phương pháp học sâu dé giải quyết bàitoán — cụ thé là sử dụng mô hình VGG16 cùng kỹ thuật Fine-Turning sẽ được trinhbaychỉ tiết ở chương 2

13 KET CHƯƠNG

Trong chương 1 nay, ta có cái nhìn tổng quan về hệ tư van cũng như các kỹ thuật

áp dụng vào bài toán tư vấn gợi ý sản phẩm

Giúp ta có được cái nhìn tổng quan về bài toán phân loại tìm kiếm anh , cáchướng tiếp cận và giải pháp đã được ứng dụng trong bài toán phân loại ảnh từ các phươngpháp thuần tính toán xử lý ảnh tương đối thô sơ cho tới các phương pháp Học máy truyền

thống và cuối cùng là các phương pháp Học sâu Trong chương tiếp theo ta tập trung đi

sâu hơn vào phương pháp kỹ thuật lọc cộng tác trong hệ tư vấn , tìm hiểu thuật toánUser-user Collaborative Filtering ứng dụng xây dựng chức năng tư vấn gợi ý sản phẩm

Trang 22

va ứng dụng của mạng nơ-ron tích chập — VGG 16 cùng kỹ thuật Fine-Turning dé giảiquyết bài toán tìm kiếm phân loại sản phẩm

Trang 23

Đồ án tốt nghiệp đại học Chương 2 Hệ tư vấn dựa trên kỹ thuật lọc cộng tác

CHƯƠNG 2 : HỆ TƯ VẤN DỰA TRÊN KỸ THUẬT LỌC

CONG TAC VA UNG DỤNG MẠNG VGG16 VÀO BÀI TOÁN

PHAN LOẠI TÌM KIEM ANH

Nội dung chương nay ta chia ra làm nội dung chính :

° Trình bài về bài toán tư vẫn dựa trên kỹ thuật lọc cộng tác , ứng dụng xâydựng chức năng gợi ý đề xuất sản phẩm trong website thương mại điện tử

° Tìm hiểu , ứng dụng mang nơ-ron tích chập — VGG16 vào bài toán phânloại tìm kiếm ảnh , áp dụng xây dựng chức năng tìm kiếm sản phẩm bằng hình ảnh

2.1 HỆ TƯ VẤN DỰA TRÊN KỸ THUAT LOC CONG TAC

2.1.1 GIOI THIEU VE LOC CONG TAC

Lọc cộng tác là một kỹ thuật cơ bản và hiệu qua áp dụng trong hệ thống tư van

Kỹ thuật lọc cộng tác hoạt động bang cách xây dựng một cơ sở dir liệu (ma tran người

dùng-sản phẩm) sở thích về các sản phẩm theo những người dùng Sau đó kết hợp những

người dùng với các sở thích và mối quan tâm thích hợp bằng cách tính toán các độ tương

tự giữa những hồ sơ người dùng dé tạo các gợi ý

Các kỹ thuật lọc cộng tác có thể được chia thành hai loại: dựa bộ nhớ

(memory-based) và dựa mô hình (model-(memory-based) :

° Kỹ thuật dựa bộ nhớ (Memorybased) (còn gọi là Phương pháp láng

giềng - Neighborhood-based): gồm các kỹ thuật dựa người dùng (user-based) và dựa

mục tin (item-based), trong đó hoặc là dựa trên dt liệu quá khứ của người dùng “tương

tự - similarity” (User-user Collaborative Filtering), hoặc là dựa trên dữ liệu quá khứ của

những mục tin “tương tự” (Item-Item Collaborative Filtering) Trong phạm vi đồ án

này , ta tập trung nghiên cứu phương pháp User-user Collaborative Filtering áp dụng

vài bài toán tư vấn sản pham cho khách hàng được trình bày trong mục 2.1.4

Đối với nhóm kỹ thuật dựa trên bộ nhớ việc tính toán độ đo tương tự g1ữa người

dùng hoặc sản phẩm là vô cùng quan trọng , nó ảnh hưởng trực tiếp đến kết quả bài toán

Có rất nhiều độ đo đánh giá độ tương tự hiện nay , tuy nhiên trong đồ án này các độ đo

được sử dụng dé đánh giá thuật toán , so sánh trong phan thử nghiệm — đánh giá ( chương

3 ) là : Khoảng cách Euclidean , độ tương quan pearson , hệ số tương tự cosine Các độ

đo nay được trình bày trong mục 2.1.2.

Trang 24

Đồ án tốt nghiệp đại học Chương 2 Hệ tư vấn dựa trên kỹ thuật lọc cộng tac

° Kỹ thuật dựa trên mô hình (Model-based) : quy trình xây dựng mô hình

có thể được thực hiện bằng cách dùng các kỹ thuật khai phá dữ liệu và học máy Các kỹthuật này liên quan đến việc xây dựng các mô hình dự đoán dựa trên dữ liệu thu thập

được trong quá khứ.

2.1.2 MOT SO PHƯƠNG PHÁP TÍNH ĐỘ ĐO TƯƠNG TU

Cho :

- U, v là 2 người dùng trong bai toán tư van

- Tụ › Typ» Tụi › Trị lần lượt là đánh giá của người dùng u và v cho sảnphẩm p.i

P,, P,lan lượt là tập sản phẩm mà người dùng u và v đã đánh giá ,

m là tong số sản phẩm chung của u,v

= 7 g là trung bình tat cả đánh giá của người dùng u và v

Tính :

- Khoảng cach Euclidean ( deuctidean(u.v) ) Hệ

- sỐ tương quan Pearson ( Syearson(U,V) )

° Hệ số tương tự Cosine ( Scos(u, Vv) )

Ta xét ví dụ sau , cho bang sau thê hiện một ma trận người dùng — sản phâm

Điện Nokia Laptop Tivi Iphone IphoneX

thoai 3200 Dell Samsung | 12

samsung 7200 promax

Nguoi 5 4 4 3 4

ding 1 Nguoi 4 2 1 3 2 dùng 2

Nguoi 3 3 3 1 2 5

ding 3

Nguoi 3 4 4 2

ding 4

Bang 2.1 Đánh giá của 4 người dùng cho 6 sản phẩm

Từ bảng dữ liệu trên ta thấy ( xét với ví dụ với người dùng 1 ) :

Trang 25

- Đánh giá của người dùng 1 cho sản phẩm điện thoại sam sung là 5

- Tập san pham mà người dùng 1 đánh giá là ( Điện thoại sam sung , Laptop

Dell 7200, Tivi Samsung, Iphone12 Promax , Iphone X

Trung bình đánh giá của người dùng 1 với các sản phẩm là :

+ t+tH8314— 4

Trgười dùng | 5

° Hệ số tương quan Pearson

Phương pháp này tính toán độ tương quan thống kê giữa xếp hạng chung của haingười dùng để xác định sự giống nhau của họ Công thức tính hệ số tương quan Pearson

DiePy, N Py(Tui(rv¡ ?)

N3 eP„n py(rui R2 VDiePy, N Py (vi 32

(u,v) = (2.2)

Shearson

Với Spearson(U, V) là giá trị tương đồng giữa người dùng u và người dùng v;

B„ñ Pylà tập các sản phẩm hay các mục dữ liệu được xếp hạng bởi cả hai người

dùng; r„„là giá trị xếp hạng của người dùng u cho sản phẩm i; r„¡là giá trị xếp hạng của

người v dùng cho sản phẩm i;

Hệ số tương quan Pearson có giá trị nằm trong đoạn [1,-1] Nếu S>0 thì hai

người này có xu hướng đánh giá giống nhau và ngược lại

Vi du 2.1 : tính toán độ tương quan của người dùng | và người dùng 2 ( từ bảng

dữ liệu đánh giá trên ) 2

Ta ký hiệu người dùng | là A , người dùng 2 là B, taco:

- Paí\ Pg= {Điện thoại samsung, Tivi samsung, Iphonel2 promax , IphoneX}

- Giá trị đánh giá trung bình của người dang A , B lần lượt là 74 =4, % =

Trang 26

deuctidean\U, v)= YP (2.3)

i=]

Với deuctidean(U, V) là giá tri tương đồng giữa người dùng u và người dùng v;

ry là giá trị xếp hạng của người dùng u cho sản phẩm ¡; r„ là giá trị xếp hạng của người vdùng cho sản phẩm i ; m là tổng số sản phẩm chung của u,v

Vi dụ 2.2 : tính khoảng cách eclidean giữa 2 vector đánh gia của người dùng |

và người dung 2 ( từ bang dữ liệu đánh giá trên ) ?

Ta ký hiệu vector đánh giá người dung | là A , người dùng 2 là B, taco:

deuclidean(U, 9) = Ý(S = 4 + (4— LẺ + (3 ~ 3)? + (4~ 2)? = 3.74

e Hệ số tương tự cosine

Hệ số tương tự cosine là độ đo tính sự tương đồng giữa hai người dùng dựa trên

không gian vector đại số tuyến tính [3] Các giá trị xếp hạng của từng người dùng trên

m sản phẩm được biểu diễn bằng một vector m chiều Độ tương đồng của hai ngườidùng u và v được xác định bằng khoảng cách Cosine giữa hai vector theo công thức sau

LiePy N PyŒwi - Tvi)

Scos (UsV) = (2.4)

VDiePyn Py Tui)? WDieryn Py vi)”

Với Scos(u, 0) là giá trị trong đồng giữa người dùng u và người dùng v;

ĐB„ñ P,la tập các san phẩm hay các mục dữ liệu được xếp hạng bởi cả hai ngườidùng; 7 là giá trị xếp hạng của người dùng u cho sản phẩm 1; Tyla gia tri xép hang cua

người v dùng cho sản phẩm i;

Vi dụ 2.3 : tính hệ số tương tự cosine giữa 2 vector đánh giá của người dùng 1

và người dùng 2 ( từ bảng dữ liệu đánh giá trên ) ?

Ta ký hiệu vector đánh gia người dung | là A , người dùng 2 là B, taco:

5*4+4x*lI+3x3+4x2

Šcos(M,U)= =0.921

X(5)?+(42+(3)2+(4)2 * (4)?+(1?+()?+()2

2.1.3 THUẬT TOÁN K-NEIGHBORS (KNN)

° Thuật toán K-Nearest Neighbors (KNN) K- Nearest Neighbors (KNN) là một thuật toán học máy có giám sat (supervised

learning) có thé được sử dụng trong cả phân loại (classification) và hồi quy (regression) Tư tưởng của thuật toán này được thể hiện như sau :

Trang 27

Thuật toán :

° Xác định tham số K số làng giềng gần nhất

° Tính khoảng cách của đối tượng cần phân lớp tới tất cả các đối tượng

có trong tập train

° Lay top K cho giá trị nhỏ nhất (hoặc lớn nhất)

° Trong top K giá trị vừa lấy, ta thông kê số lượng của mỗi lớp, chọnphân lớp cho số lượng lớn nhất

° Ứng Thuật toán KNN vào hệ thống tư vấn dựa trên người dùngMục tiêu của phương pháp này là để dự đoán đánh giá của người dùng X với sảnphẩm Y , ta đi tìm K người dùng u;, ¡ = ( 1, 2, 3, , k) tương tự với X nhất Từ đánhgiá thực tế K người dùng +; với sản phẩm Y ta có thé dự đoán đánh giá của X lên Y

Các bước cụ thê như sau :

Thuật toán :

° Tính khoảng cách / độ tương tự của toàn bộ người dùng khác với

người dùng

° Tìm K người dùng ( 11,1¿, ,,1„) có độ tương tự gần với X nhất

K = {min , d(u;,X)} , với1= 1,2, ,k , d là độ tương tự của 1! voi X

° Tính ước lượng đánh giá r,,cua người dùng X với sản phẩm Y

¬ = E LiePuGy SiMUv) - s ¥

xy Vier, Sim)!

Trong đó :

- + là đánh giá trung bình của người dùng u.

- P,(j) là tập hợp những K người dùng giống với người ding u

- Sim(u,v) là độ tương tự của người dùng u va người dùng v

Tiếp theo ta sẽ ứng dụng kỹ thuật lọc cộng tác trong bài toán tư vấn gợi ý sảnphẩm trên website thương mại điện tử, sử dụng thuật toán User-user Collaborative

Filtering

Trang 28

2.1.4 THUẬT TOÁN USER-USER COLLABORATIVE FILTERING

TRONG BÀI TOÁN TU VAN SAN PHAM

Trong phan nay , sẽ giới thiệu phương pháp User-user Collaborative Filteringthuộc nhóm Loc cộng tac để xây dựng chức năng đề xuất gợi ý sản phẩm trong websitethương mại điện tử , cũng như có cái nhìn tổng quan về mô hình bai toán

2.1.4.1 Mô hình tư vấn lọc cộng tác tích hợp dựa trên người dùng

Mô hình tư vấn lọc cộng tác tích hợp dựa trên người dùng hay mục dữ liệu đượcphát biểu như sau:

Gọi U = { 1ì,u¿, ,ựy } là tập m người dùng , I = { ñ,j¿, ,„ạ} làn sản

phẩm, với mỗi sản pham i; được mô tả bởi một tập gồm / thuộc tính A = { a1,đs, ,đ;

};R = r là ma trận xếp hạng của người dùng cho các sản pham , với mỗi hàng biểudiễn cho một người dùng u;(1 > j > m), mỗi cột biểu diễn cho một sản phẩm i, (1 >k>n), r„là giá trị xếp hạng của người dùng ujcho san phẩm i,

Dựa trên dữ liệu đầu vào, mô hình thực thi qua các bước sau :

° Bước]: Xây dựng ma trận chuẩn hóa dựa trên ma trận xếp hạng R

° Bước 2 : Xây dựng ma trận tương đồng (Sp) từ ma trận xếp hạng đã

được chuân hóa

° Bước 3 : Dự đoán các giá trị đánh giá của người dùng vào các sản phâm chưa được đánh giá

° Bước 4: Tim ra k san phâm có giá trị xếp hạng cao nhat Các bước thực thi được thê hiện qua thuật toán User-user Collaborative Filtering

được trình bày trong phần tiếp theo

2.1.4.2 Thuật toán User-user Collaborative Filtering

Y tưởng của thuật toán nay là xác định mức độ quan tâm cua một user tới

một item dựa trên các users khác gần giống với user này Việc gần giống nhau giữa

các users có thể được xác định thông qua mức độ quan tâm của các users này tớicác items khác mà hệ thống đã biết Vi dụ, A, B đều thích phim Cảnh sát hình sự, tứcđều rate bộ phim này 5 sao Ta đã biết A cũng thích Người phán xử, vậy nhiều khảnăng B cũng thích bộ phim này Các bước trong thuật toán sẽ được thể hiện thông qua

ví dụ 2.4.

Ví dụ 2.4 Cho ma trận xếp hạng

Trang 29

Dự đoán các giá trị đánh gia còn thiếu (? )

Áp dụng giải thuật User-user Collaborative Filtering ta có :

° Bước 1 : Xây dựng ma trận đánh giá chuẩn hóa bằng cách thay thế cácgiá trị đánh giá của người dùng cho các sản phâm bằng hiệu giá trị đánh giá ban đầu trừ

đi giá trị đánh giá trung bình của người dùng đó Các sản phẩm mà người dùng chưađánh giá ( Các 6 màu xám ) thay thé bằng giá trị 0 Điểm trung bình đánh giá của người

giá của người dùng u với sản pham k ; ï„ là tập hợp hay số sản phẩm mà người dùng u

đã đánh giá Vi dụ ta tính điểm trung bình đánh giá của user — up

Tính toán tương tự với các người dùng khác ta được ma trận chuẩn hóa :

° Bước 2 : Xây dựng ma trận tương quan (độ giống nhau giữa các user) từ

ma trận chuẩn hóa ở bước 1 Ta sẽ sử dụng độ đo Pearson được giới thiệu ở mục 2.2 dé

tinh độ tương quan cua các người dùng.

Trang 30

Vi du ta có độ tương quan giữa người dùng up và 1¡ là :

Bang 2.4 Ma trận tương quan

° Bước 3 : Tính toán dự đoán các điểm đánh giá sản phẩm mà người dùng

chưa đánh giá

Ở bước này , dựa vào thuât toán KNN tìm ra k người có độ tương quan lớn nhất

Giá trị đánh giá dự đoán của user x cho sản phẩm y được tính theo công thức

=, Lier, G(Simuy) sựj)

T, =1

xy u DiePy (pSim(uv)|

Trong đó :

- + là đánh giá trung bình của người dùng u

- P,(j) là tập hợp những K người dùng giống với người dùng u

- Sim(u,v) là độ tương tự của người dùng u và người dùng v

- Syj là giá tri đánh giá trung bình của người dùng v cho sản phẩm j

Ví dụ ta dự đoán đánh giá của người dùng + ¡, sản phẩm i¡,, giả sử dựa trên 2

người, ta tính như sau :

Trang 31

Từ ma trận tương quan ta có thấy rằng 2 người dùng có xu hướng đánh giá giống1¡ nhất là up và u3 với độ tương quan lần lượt là 0.92 và -0.7 , khi đó giá trị dự đoán :

Bang 2.5 Ma trận dự đoán đánh gia

° Bước 4 : Đề xuất gợi ý các sản phẩmDựa vào ma trân dựa đoán ta có thê đưa ra danh sách gợi ý sản phâm cho người

dùng.

Vi dụ dựa vào bang ma trận đánh giá trên ta có thé đưa ra gợi ý sản phâm cho us

là các sản phẩm {H,} thay vì in

2.15 UNG DỤNG BÀI TOÁN TU VAN TRONG WEBSITE

THƯƠNG MẠI ĐIỆN TỬ

Ngày nay , các trang website thương mại điện tử rất chú trọng đến tâm lý kháchhàng , nhằm tăng tính thân thiện , lôi kéo được nhiều khách hàng truy cập vào websitenhiều hơn thì các trang webstie đã xây dựng những chức năng tự động đề xuất gợi ý sảnphẩm rat tiện lợi Trong phạm vi đồ án này nhằm mục dich tìm hiểu và thử nghiệm ta

sẽ xây dựng tính năng gợi ý sản phẩm vào trang website dựa vào kỹ thuật User-user

Collaborative Filtering

Dữ liêu đánh

gia sản phẩm của người dùng

Hình 2.1 Sơ đồ kiến trúc module gợi ý đánh giá sản phẩm

Trang 32

° Bước đầu tiên trong việc xây dựng chức năng gợi ý sản phẩm đó là

tiền xử lý dữ liệu

Do đữ liệu đầu vào của ta là các bản ghi đánh giá của người dùng cho các sảnphẩm nên ở bước ta sẽ tiến hành xử lý truy van , lọc loại bỏ các bản ghi không có ýnghĩa Do trong hệ thống này người dùng được đánh giá nhiều lần tại cùng một sảnphẩm cho nên ta sẽ tiến hành tính giá trị trung bình của các lần đánh giá của người dùngtrên mỗi sản phẩm Dữ liệu sau khi chuẩn hóa sẽ làm input cho bước tiếp theo “xây

dựng ma trận dự đoán `.

° Bước tiếp theo ta sẽ tiến hành xây dựng ma trận dự đoán

Ở bước này từ đữ liệu đầu vào ta sẽ xây dựng ma trận dự đoán đánh giá được xây

dung dựa trên thuật toán User-user Collaborative Filtering được trình bay ở mục 2.1.4.

° Xử lý thông tin ngữ cảnh đầu raSau khi có những dự đoán đánh giá từ bước 2 , ta sẽ lọc ra các sản phẩm phù hợptrước khi hiển thị gợi ý sản pham cho người dùng

2.2 UNG DỤNG MẠNG VGG16 VÀO BÀI TOÁN PHAN LOẠI TÌM

KIEM ANH

Bài toán toán nhận dang phân loại ảnh đã tồn tại từ rất lâu , các phương pháp xử

lý ảnh truyền thống còn rất nhiều hạn chế Hiện nay một trong những phương pháp khắcphục được đa số các hạn chế của các phương pháp truyền thống đó là sử dụng phương

pháp học sâu Mạng nơ-ron tích chập (CNN - Convolutional Neural Network) là một

trong những mô hình mạng Học sâu phổ biến nhất hiện nay, có khả năng nhận dạng vàphân loại hình ảnh với độ chính xác rất cao Trong phạm vi đồ án này ta sẽ tìm hiểu về

mạng VGGI6 và ứng dụng xây dựng chức năng tìm kiếm phân loại hình anh

2.2.1 KIÊN TRÚC MẠNG NƠ-RON TÍCH

Các lớp cơ bản trong một mạng CNN bao gồm: Lớp tích chập (Convolutional),

Lớp kích hoạt phi tuyến ReLU (Rectified Linear Unit), Lớp lấy mẫu (Pooling) và Lớpkết nối đầy đủ (Fully-connected), được thay đổi về số lượng và cách sắp xếp dé tạo racác mô hình huấn luyện phủ hợp cho từng bài toán khác nhau

Trang 33

Các lớp Convolutional (nhân chập) và Pooling (lấy Cac lớp Fully-connected Phân loại

mẫu) (kết nối đầy đủ)

Hình 2.2 Kiến trúc cơ bảng mạng no-ron tích chập [5]

Tầng tích chập (C- convolution) : hoạt động như bộ trích chọn đặc trưng, nghĩa

là một hay nhiều kết xuất của tang trước được tích chập với một hay nhiều kernel dé

sinh ra một hay nhiều kết xuất (feature map)

Ví dụ 2.5 Áp dụng bộ lọc tích chập vào ma trận điểm ảnh , cho ma trận các điểmảnh gốc

1111010 0|1|1|110 0|0|11|1]1 001110

Ta tiễn hành nhân tích chập ma trận điểm ảnh ban đầu với bộ lọc tích chập thu

được ma trận diém ảnh mới (S) có giá trị là :

4 |3 ]4

2 |4 |3

213 |4

Ví dụ ta tính giá trị điểm ảnh mới Soo?

Soo= 1#1+0*141+*1+0*0+1*1+0*1+0*1+0*0+1+1=4, các giá trị điểm ảnh

mới được tính tương tự

Trang 34

Lớp kích hoạt phi tuyến ReLU : Lớp này được xây dựng với ý nghĩa đảm bảotính phi tuyến của mô hình huấn luyện sau khi đã thực hiện một loạt các phép tính toántuyến tính qua các lớp Tích chập Lớp Kích hoạt phi tuyến nói chung sử dụng các hàmkích hoạt phi tuyến như ReLU hoặc sigmoid, tanh để giới hạn phạm vi biên độ chophép của giá trị đầu ra Trong số phạm vi đồ án này ta sử dụng hàm ReLU do cài đặtđơn giản, tốc độ xử lý nhanh mà vẫn đảm bảo được tính toán hiệu quả

Hàm ReLU sẽ chuyền tat cả các giá trị âm thành giá trị 0

Hàm ReLU : f(x) =max(0, x) (3.1)

Thông thường, lớp ReLU được áp dung ngay phía sau lớp Tích chập, với dau ra

là một ảnh mới có kích thước giống với ảnh đầu vào, các giá trị điểm ảnh cũng hoàn

toàn tương tự trừ các giá trị âm đã bị loại bỏ.

Ví dụ 2.6 : Việc sử dụng ham ReLu, cho ma trận Feature Map

15 120 |-10 |35

18 |-120|24 | 12 -24 14 21 |25

kích thước kích thước ảnh đầu ra trong khi vẫn giữ được các thông tin quan trọng của

ảnh đầu vào Việc giảm kích thước dt liệu có tác dụng làm giảm được sỐ lượng tham SỐ

cũng như tăng hiệu quả tính toán.

Lớp lay mẫu cũng sử dung một cửa sé trượt dé quét toàn bộ các vùng trong ảnhtương tự như lớp Tích chập, và thực hiện phép lấy mẫu thay vì phép tích chập — tức là

ta sẽ chọn lưu lại một giá tri duy nhất đại diện cho toàn bộ thông tin của vùng ảnh đó

[7]

Trang 35

Hai phương thức lay mẫu thường được sử dụng nhất hiện nay, đó là Max Pooling(lay giá trị điểm ảnh lớn nhất) và Avarage Pooling (lay giá trị trung bình của các điểmảnh trong vùng ảnh cục bộ) Hai phương thức này được thể hiện qua ví dụ 2.7 sau

Ap dung lay mau Max Pooling ta duoc két qua

Ap dụng lay mau Avarage Pooling ta được kết quả

il

Lớp kết nối đầy du (F - Full connection) : thực hiện công việc phân lớp như

trong mạng nơron đa lớp thông thường Các tang sau, mỗi tầng có một số feature map,mỗi feature map có một số filter (kernel) duy nhất, số lượng kernel bằng số lượng featuremap ở tầng trước Các kernel trong cùng một feature map có kích thước bằng nhau, kíchthước kernel là một tham số của bài toán thiết kế mạng Các giá trị điểm ảnh trong một

feature map được tính toán bằng tổng các tích chập của các kernel tương ứng với các

feature map trong tầng trước Số lượng feature map trong tầng cuối cùng (tang output)băng sé luong kết xuất đầu ra của bai toán [7]

Vi du 2.8 : Trong hệ thống website phạm vi đồ án thì có 10 danh mục sản phẩm

, thì sẽ có 10 feature map trong tang output và feature map nào có giá trị cao nhất sẽ

được dùng làm kết quả của bài toán

2.2.2 KIÊN TRÚC MẠNG VGG16

VGGI6 là mạng convolutional neural network được đề xuất bởi K Simonyan

and A.Zisserman, University of Oxford Model sau khi train bởi mạng VGG16 đạt độ

chính xác 92.7% top-5 test trong dữ liệu ImageNet gồm 14 triệu hình ảnh thuộc 1000

lớp khác nhau Kiến trúc tổng quan của mạng VGG16 được thể hiện trong hình dưới đây:

Trang 36

224x224 x3 112 x 112 x 64 56 x 56 x 128 28 x 28 x 256 14 x 14 x 512 7x7x512 1000

|EfỒ 2x2MAxPOOLSrie2

Hình 2.6 Kiến trúc mạng VGG16 [7]

Từ mô hình kiến trúc trên ta có thé thay mạng VGG16 gồm có 13 lớp tích chập

— convolution , 4 lớp lấy mẫu MaxPooling , 3 Lớp kết nỗi day đủ (F - Full connection)

được chia thành 6 lớp chính :

° Ta có thé thấy mỗi lớp tích chập có kích thước 3x3 , Stride = 1 , Padding

= 1, ngay sau đó là lớp kích hoạt phi tuyến ReLu

° Lớp MaxPooling : có kích thước 2x2.

° Lớp l1:

- Đầu vào: Ảnh với kích thước 224 x 224 x 3 (3 là con số tương ứng với 3

màu đỏ, xanh lục, xanh lam trong hệ màu RGB thông thường)

- Ở lớp đầu tiên có 2 lớp tích chập có kích thước mỗi lớp là 3x3 , tiếp theo

là kích hoạt ReLU Mỗi lớp trong số 2 lớp tích chập có số bộ lọc là 64 , bước trượt

(Stride) = 1 , Padding = l1.

- Hai lớp tích chập này sau đó được chuyên qua lớp lay mẫu MaxPooling

có kích thước 2x2 , Stride = 2 , điều này làm giảm đi một nửa số chiều của 2 lớp tích

chập ban dau , ta có đầu ra là 2 lớp tích chập mỗi lớp có kích thước 112 x 112 x 64

° Lớp 2 : Tương tự như lớp 1, tuy nhiên số bộ lọc ở đây 128 , do đó kíchthước của mỗi lớp tích chập ở lớp 2 là 56 x 56 x 128.

° Lớp 3 : Lớp này có 3 lớp tích chập và 1 lớp MaxPooling Số lượng bộlọc lớp nay là 256 làm cho kích thước lớp đầu ra là 28 x 28 x256

Trang 37

° Lớp 4, 5 : ở 2 lớp này đều có 3 lớp tích chập , mỗi lớp có 512 bộ lọc ,

đầu ra của lớp thứ 4 sẽ là 14 x 14 x 512 và đầu ra của lớp thứ 5 là 7 x7 x 512

° Lớp 6 : trong lớp này gồm có 3 lớp kết nối đầy đủ Giòn hai lớp đầu tiên

có 4096 kênh mỗi lớp, lớp thứ ba thực hiện phân loại ILSVRC 1000 chiều và do đó chứa

1000 kênh (một cho mỗi lớp) Lớp cuối cùng là lớp soft-max

2.2.3 Học chuyển giao và tinh chỉnh mô hình huấn luyện

2.2.3.1 Giới thiệu về học chuyén giao — Transfer Learning

Phương pháp học sâu giúp ta có kết quả rất tốt trong bài toán phân loại ảnh , tuynhiên phương pháp này có những hạn chế vô cùng to lớn :

° Yêu cau dit liệu không lồ - Vì mạng có hàng triệu tham số nên để có đượcmột tập tham số tối ưu, cần có rất nhiều đữ liệu

° Yêu cầu khả năng tính toán khổng 16 - Tuy có nhiều dữ liệu nhưng việcđảo tạo thường đòi hỏi nhiều lần lặp lại và sẽ gây tốn kém tải nguyên máy tính

Nhăm khắc phục những hạn chế đồ , một phương pháp học mới được đưa ra và

đã giải quyết được điểm hạn chế nay của Học sâu, đó chính là Học chuyển giao —

Transfer Learning

Học chuyền giao [8] là quá trình khai thác, tái sử dụng các tri thức đã được họctập bởi một mô hình huấn luyện trước đó vào giải quyết một bài toán mới mà khôngphải xây dựng một mô hình huấn luyện khác từ đầu Hiện nay, phương pháp phô biếnthường được áp dụng khi huấn luyện mô hình với một bộ CSDL tương đối nhỏ là sửdụng Học chuyên giao dé tan dụng một mang CNN đã được huấn luyện trước đó với bộ

dữ liệu rat lớn như ImageNet (1,2 triệu ảnh với 1.000 nhãn đánh dấu)

Phương pháp này sử dụng mang CNN theo hai cách chính như sau:

° Mang CNN này sẽ chỉ được sử dụng như một bộ trích chọn đặc trưng cho

bộ CSDL huấn luyện mới, bằng cách thay thế các lớp Fully-connected ở cuối mạng vàgiữ cố định các tham số cho toàn bộ các lớp còn lại của mạng

° Không chỉ thay thế và huấn luyện lại bộ nhận dạng cuối cùng của mạngCNN, ma đồng thời ta thực hiện tối ưu, tinh chỉnh (Fine-tune) một vài hoặc tất cả các

lớp trong mạng

Trong phạm vi đồ án này , ta sẽ nghiên cứu cách tiếp cận thứ 2 đó là kỹ thuật tinh

chỉnh ( Fine — Turning ) mạng học sâu

Trang 38

2.2.3.2 Kỹ thuật Fine-Turning

Y tưởng của Kỹ thuật Fine-Turning là dựa trên nhận định rằng các đặc trưng được họctrong các lớp đầu của mạng là các đặc trưng chung nhất, hữu dụng với phần lớn bài toán,

ví dụ: đặc trưng về cạnh, hình khối hay các khối màu Các lớp sau đó cua mang CNN

sẽ nâng dần độ cụ thé, riêng biệt của các chi tiết phục vụ cho bài toán nhận dạng cầngiải quyết

Mang học sâu ban Tỉnh chỉnh

Hình 2.7 Tư tưởng Kỹ thuật Fine-Turning

Việc áp dụng kỹ thuật Fine-Turning đã giúp hạn chế được tối đa các hạn chế củaphương pháp học sâu ( nêu ở mục 2.2.3) Tiếp theo trong phạm vi đồ án nay , ta sẽ ứngdung kỹ thuật Fine-Turning dé tinh chỉnh xây dựng một mạng huấn luyện mới dựa vàomạng VGGI6 , áp dụng xây dựng chức năng tìm kiếm phân loại hình anh với dữ liệu

° Xây dựng bộ CSDL ảnh huấn luyện

° Xây dựng mạng huấn luyện mới bang cách tinh chỉnh lại mô hình dùng

kỹ thuật Fine-Turning dé giải quyết bài toán nhận dang sản phẩm

° Tìm kiếm phân loại sản phẩm dựa vào mô hình huấn luyện mới Tiếp theo ta sẽ ứng dụng phương pháp này dé xây dựng chức năng tìm kiếm phânloại sản pham trong website thương mại điện tt

Trang 39

2.2.4.2 Xây dựng chức năng tìm kiếm phân loại sản phẩm

Sơ đồ kiến trúc chức năng :

OF * ———— * 7

CC 'Chức nang tim kiêm sản phẩm bang hình anh

=] Client =] Server H Luỗng xử lý

Hình 2.8 Sơ đồ kiến trúc chức năng tìm kiếm sản phẩm bằng hình anh

Luéng hoạt động chính của hệ thống được thê hiện trong hình trên, trong đó cácbước thực hiện của server va client từ lúc khởi động ban đầu tới lúc kết thúc như sau:

° Client :

1 Người dùng truy cập vào hệ thống website

2 Người dùng chọn một ảnh sản phẩm cần tìm kiếm

3 Ảnh được chuyên đến máy chủ

4 Hệ thống đợi kết quả nhận dang từ máy chủ gửi về và hién thị cho ngườidùng , kết quả sẽ là các sản phẩm cùng danh mục sản phẩm

° Chương trình Server :

1 Chương trình khởi động và nạp các thư viện cần thiết

Trang 40

Trong phan 2.1 này , ta đi sâu hon vào phương pháp kỹ thuật loc cộng tác trong

hệ tư vấn Trình bày thuật toán User-user Collaborative Filtering và ứng dụng của nó

để xây dựng chức năng đề xuất sản phẩm Trong phần 2.2 ta sẽ nghiên cứu một bài toánkhác đó là bài toán phân loại tìm kiếm sản phẩm dựa trên phương pháp học sâu cùng kỹthuật Fine-Turning giúp giải quyết bài toán nhận dang anh với bộ dữ liệu huấn luyện

có kích thước nhỏ Từ đó ứng dụng bài toán xây dựng chức năng phân loại tìm kiếm

sản phâm dựa trên đâu vào là ảnh sản phâm

Chương 3 này ta đã tìm hiểu về mạng nơ-ron tích chập (CNN) , tìm hiểu về một

mô hình mạng huấn luyện nồi tiếng VGGI6 , nghiên cứu kỹ thuật tinh chỉnh

Fine-Turning và ứng dung nó xây dựng chức năng tìm kiêm phân loại sản phâm dựa vào dau

vào là ảnh sản phẩm Trong chương tiếp theo ta sẽ tiến hành thử nghiệm và đánh giá

mô hình lọc cộng tác dựa trên người dùng và mô hình mạng huấn luyện học sâu VGG16

Tiêu đề	Tích hợp tìm kiếm ảnh và tư vấn sản phẩm vào website thương mại điện tử
Tác giả	Lê Thế Hiếu
Người hướng dẫn	PGS.TS Trần Đình Que
Trường học	Học viện Công nghệ Bưu chính Viễn thông
Chuyên ngành	Công nghệ thông tin
Thể loại	Đồ án tốt nghiệp đại học
Năm xuất bản	2021
Thành phố	Hà Nội

Định dạng
Số trang	103
Dung lượng	25,84 MB