Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)

Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

-

NGUYỄN NGỌC TUYÊN

NGHIÊN CỨU XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ SẢN PHẨM TRONG THƯƠNG MẠI ĐIỆN TỬ VỚI DEEP

Luận văn được hoàn thành tại:

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

Người hướng dẫn khoa học: TS Phạm Trần Vũ

Phản biện 1:……… Phản biện 2:………

Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông

Vào lúc: giờ ngày tháng năm

Có thể tìm hiểu luận văn tại:

- Thư viện của Học viện Công nghệ Bưu chính Viễn thông

MỞ ĐẦU

1 Tính cấp thiết của đề tài

Trong những năm gần đây, thương mại điện tử [1] phát triển nhanh theo xu thế toàn cầu hoá Thông qua thương mại điện tử nhiều hình thức giao dịch kinh doanh mới được hình thành Với các hình thức này người dùng có thể tiếp cận với hàng hóa, dịch vụ một cách dễ dàng và nhanh chóng hơn rất nhiều so với phương pháp giao dịch truyền thống

Với những lợi ích thế mạnh của mình, những website mua bán hàng hóa, dịch vụ sẽ dần thay thế các gian hàng hay các siêu thị truyền thống Nhưng trên thực

tế người tiêu dùng vẫn còn rất ưa chuộng với phương pháp mua bán cũ Một yếu tố dẫn tới sự thua kém này nằm ở chính các website thương mại điện tử Các hệ thống mua bán trực tuyến này luôn muốn người dùng tiếp cận nhiều mặt hàng cùng một lúc Tuy nhiên với sự đa dạng hàng hóa hiện nay thì khả năng tiếp cận chọn mặt hàng của người dùng sẽ bị hạn chế, họ phải xem qua nhiều sản phẩm, đi tới nhiều liên kết để có thể tìm ra sản phẩm mong muốn Vậy làm sao để hỗ trợ khách hàng trong việc mua bán được thuận lợi hơn? Cụ thể hơn là sản phẩm nào được đề xuất tới khách hàng tiếp theo sau khi khách hàng đã đặt mua hoặc đánh giá một sản phẩm trước đó? Nên đề xuất bao nhiêu sản phẩm là tốt nhất cho khác hàng?

Để hình thức mua bán qua mạng thực sự phát triển thì bên cạnh các lợi thế vốn có của mình việc có thêm một hệ thống trợ giúp là hết sức cần thiết Hệ thống khuyến nghị sản phẩm (recommendation system [6]) được hình thành và phát triển không nằm ngoài mục đích đáp ứng những yêu cầu trên

Lọc cộng tác (Collaborative filtering [6]) và lọc dựa trên nội dung based filtering [6]) là hai hướng tiếp cận truyền thống để thiết kế các hệ thống khuyến nghị Những phương pháp này thông thường dựa vào các đánh giá của các mục làm nguồn thông tin chính để đưa ra các khuyến nghị mà trong thực tế có rất nhiều ứng dụng thì các đánh giá này rất ít, có thể khắc phục được điều này bằng cách lấy nội dung thông tin của các mục để làm nguồn thông tin phụ trợ nhưng khi

(content-nguồn thông tin này không đủ lớn thì sẽ làm ảnh hưởng tới kết quả mong muốn đạt được

Deep learning [10] là một trong những hướng nghiên cứu rất phát triển của lĩnh vực trí tuệ nhân tạo trong những năm gần đây Các mô hình học sâu (Deep learning) đã tạo nên những đột phá lớn trong việc giải quyết các bài toán phức tạp

Nó là thuật toán dựa trên một số ý tưởng từ não bộ với việc tiếp thu nhiều tầng biểu đạt, cả cụ thể lẫn trừu tượng, qua đó làm rõ nghĩa của các loại dữ liệu Điều đặc biệt của công nghệ Deep Learning là sự chính xác cao của nguồn dữ liệu khổng lồ, không bị hạn chế bởi sự quá tải của dữ liệu

Chính vì vậy, chúng tôi đã chọn đề tài nghiên cứu là “ Nghiên cứu xây dựng

hệ thống khuyến nghị sản phẩm trong thương mại điện tử với Deep learning” làm

đề tài nghiên cứu của mình

2 Tổng quan vấn đề nghiên cứu

Với tốc độ phát triển của thương mại điện tử như ngày nay, để thúc đẩy các giao dịch thông qua mạng máy tính thì việc xây dựng hệ thống khuyến nghị sản phẩm là một công việc không thể thiếu Đã có nhiều hệ thống khuyến nghị sản phẩm được xây dựng Tuy nhiên, để lựa chọn được phương pháp phù hợp là một công việc cần nghiên cứu

Mô hình xây dựng hệ thống khuyến nghị dựa trên sự tăng trưởng của Hotmail là mô hình tính toán tốc độ tăng trưởng của Email Mô hình có tác dụng dự đoán xem có bao nhiêu cá nhân tại một thời điểm chấp nhận một sản phẩm nào đó trong tổng số các cá nhân được mời sản phẩm

Mô hình xây dựng hệ thống khuyến nghị dựa trên phương pháp lọc cộng tác

có thể hiểu một cách đơn giản là phương pháp tập hợp các đánh giá của khách hàng, phân biệt khách hàng trên cơ sở các đánh giá của họ và tư vấn các sản phẩm cho khách hàng

Báo cáo luận văn thạc sĩ “Movies recommendation system using collaborative filtering technique supplemented by content with goal programming”

của tác giả Emrah İNAN, tháng 7, 2012 Nội dung tác giả nghiên cứu xây dựng hệ

thống khuyến nghị dành cho dữ liệu Movie sử dụng phương pháp lọc cộng tác để

Movielens[15] được tải trên website: https://grouplens.org/datasets/movielens/

3 Mục tiêu và nhiệm vụ nghiên cứu

- Tìm hiểu lĩnh hệ thống khuyến nghị trong thương mại điện tử

- Nghiên cứu tìm hiểu về các mô hình học sâu (deep learning)

- Thu thập, tìm hiểu, phân tích tài liệu, thông tin liên quan đến luận văn

- Đề xuất phương pháp sử dụng mô hình học sâu (deep learning) cho bài toán hệ thống khuyến nghị sản phẩm trong thương mại điện tử

- Cài đặt thử nghiệm phương pháp và đánh giá kết quả

4 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu:

- Đối tượng nghiên cứu của đề tài là: bài toán hệ thống khuyến nghị sản phẩm trong thương mại điện tử, mô hình học sâu deep learning

Phạm vi nghiên cứu:

- Nghiên cứu lý thuyết về hệ thống khuyến nghị sản phẩm trong thương mại điện tử, mô hình học sâu deep learning, giải quyết bài toán hệ thống khuyến nghị sản phẩm với mô hình học sâu deep leaning

- Thực hiện thử nghiệm với bộ dữ liệu nghiên cứu movielens được tải trên website: https://grouplens.org/datasets/movielens/

5 Phương pháp nghiên cứu

Phương pháp nghiên cứu lý thuyết:

- Nghiên cứu, thu thập thông tin về mô hình học sâu deep learning, hệ thống khuyến nghị sản phẩm trong thương mại điện tử

- Nghiên cứu ứng dụng deep learning vào giải quyết các bài toán phức tạp

- Nghiên cứu ứng dụng deep learning vào giải quyết bài toán hệ thống khuyến nghị sản phẩm trong thương mại điện tử

- Xin ý kiến tư vấn từ các chuyên gia

Phương pháp nghiên cứu thực hành:

- Xây dựng mô hình thử nghiệm phương pháp trên một bộ dữ liệu sẵn movielens được tải trên website: https://grouplens.org/datasets/movielens/ dựa vào kết quả trực quan để phân tích, so sánh, đánh giá các phương pháp

6 Bố cục của luận văn

Nội dung chính luân văn được chia làm ba chương như sau:

- Chương 1 - Hệ thống khuyến nghị sản phẩm trong thương mại điện tử

- Chương 2 - Mô hình học sâu – Deep learning

- Chương 3 - Xây dựng hệ thống khuyến nghị sản phẩm với deep learning

- Chương 4 - Xây dựng hệ thống và thực nghiệm

Trong chương 1, chúng tôi đi nghiên cứu chung về hệ thống khuyến nghị sản phẩm trong thương mại điện tử Chương 2, chúng tôi đi tìm hiểu về deep learning, mạng

nơ ron nhân tạo, ứng dụng của deep learning trong thời đại hiện nay Chương 3, chúng tôi tập trung nghiên cứu xây dựng hệ thống khuyến nghị sản phẩm với deep learning như thế nào Và cuối cùng, chương 4 chúng tôi tiến hành cài đặt thử

nghiệm phương pháp trong chương 3 với bộ dữ liệu Movielens từ kết quả thu được đưa ra đánh giá và nhận xét

CHƯƠNG 1 – HỆ THỐNG KHUYẾN NGHỊ SẢN PHẨM

TRONG THƯƠNG MẠI ĐIỆN TỬ

1.1 Thương mại điện tử

1.2 Hệ thống khuyến nghị sản phẩm trong thương mại điện tử

1.2.1 Giới thiệu

1.2.2 Ứng dụng

1.3 Một số kỹ thuật xây dựng hệ thống khuyến nghị

1.3.1 Mô hình tăng trưởng email

Có nhiều kỹ thuật xây dựng hệ thống khuyên nghị sản phẩm Đầu tiên phải

kể đến mô hình dựa vào sự tăng trưởng của email Chúng ta biết rằng, email của người dùng được lưu trữ trên máy chủ và mọi người gửi email cho nhau bằng trang web Mỗi khi chúng ta sử dụng email, hiển nhiên có một lượng khá lớn thư quảng cáo sản phẩm trong hòm thư của chúng ta Những sản phẩm này lại liên kết với trang web thương mại điện tử nào đó Các trang web căn cứ vào những người sử dụng email để gửi thông tin quảng cáo tới các hòm thư Điển hình cho phương pháp này đó chính là hệ thống khuyến nghị của Hotmail Hotmail thu hút người dùng bằng cách sau mỗi một email thì có một liên kết tới trang chủ của hotmail để cho người dùng đăng ký mới Với tốc độ lan truyền của mạng Internet, hiệu ứng dây chuyền phát huy tác dụng khủng khiếp Mỗi một email gửi đi được coi như một

khuyến nghị tới người nhận email Nó như đánh vào tâm lý người nhận email: “bạn

tôi sử dụng hotmail thì tôi cũng sử dụng xem như thế nào?” Theo thống kê, hotmail

bắt đầu hoạt động tháng 7 năm 1996, tới cuối tháng 7 thì có 20000 người dùng, tới tháng 9 số người dùng là 100000, tháng 1 năm 1997 có khoảng 1 triệu thuê bao Hiện nay hotmail thuộc tập đoàn Microsoft và số người dùng vào khoảng 120 triệu Tuy nhiên hình thức này không còn phù hợp với thời đại ngày nay Các thư gửi quảng cáo sản phẩm người dùng thường cho là thư rác Các sản phẩm giới thiệu tới người dùng cũng không được chính xác do lượng thư giới thiệu sản phẩm quá

nhiều Xuất hiện nhiều hình thức lừa đảo, cấy virus qua email dẫn tới sự tin tưởng sản phẩm quảng cáo qua email giảm sút

1.3.2 Tư vấn dựa trên việc khai phá dữ liệu

Để chính xác hơn trong việc quảng cáo, khuyến nghị sản phẩm tới người dùng Thì khai thác dữ liệu của người dùng trên website, application, gian hàng online là hướng đi đúng đắn Dựa vào nguồn dữ liệu rất lớn và hữu ích này hệ thống

có thể phân tích, tính toán và đưa ra dự đoán xem người dùng có thích sản phẩm nào đó hay không? Mức độ thích là như thế nào? Từ đó đưa ra khuyến nghị tới người dùng

Có rất nhiều cách để đưa ra các dự đoán, ví dụ như:

- Khuyến nghị dựa trên nội dung: là phương pháp phân tích nội dung của sản phẩm từ dữ liệu từ đó đưa ra khuyến những sản phẩm tương tự với những sản phẩm đã từng yêu thích trước đây tới người dùng Phương pháp này có nhược điểm chính là những khách hàng mới chưa có dữ liệu trước đây hoặc khuyến nghị không chính xác vì sở thích của mỗi người có thể thay đổi theo thời gian

- Khuyến nghị dựa trên cộng tác: là phương pháp khuyến nghị sản phẩm yêu thích xuất phát từ người dùng có cùng sở thích và thị hiếu trước đây Ví dụ như bạn bè thân thiết thường sẽ có những sở thích về màu sắc, kiểu dáng, đặc điểm tương tự nhau, người này thích xem phim hoạt hình thì người kia có lẽ cũng như vậy Hệ thống sẽ dựa vào điều này để đưa ra khuyến nghị tới người dùng

- Khuyến nghị dựa trên việc kết hợp khuyến nghị dựa trên nội dung và lọc cộng tác: là phương pháp kết hợp hai phương pháp trên nhằm bổ sung những nhược điểm cho nhau

Những phương pháp xây dựng hệ thống khuyến nghị sản phẩm truyền thống này thường dựa vào các đánh giá của các mục sản phẩm làm nguồn thông tin chính

để đưa ra các khuyến nghị trong khi đó trên thực tế trên nhiều hệ thống nguồn thông tin này lại rất ít, cũng có thể lấy thông tin từ nội dung chính các mục sản phẩm làm thông tin bổ sung cho hệ thống nhưng khi nguồn thông tin này quá ít, không đủ cũng sẽ ảnh hưởng tới kết quả đưa ra Chính vì vậy, nghiên cứu tìm một phương pháp mới là rất cần thiết

Deep learning là một trong những hướng nghiên cứu rất phát triển của lĩnh vực trí tuệ nhân tạo trong những năm gần đây Các mô hình Deep learning đã tạo nên những đột phá lớn trong việc giải quyết các bài toán phức tạp Nó là thuật toán dựa trên một số ý tưởng từ não bộ với việc tiếp thu nhiều tầng biểu diễn, cả cụ thể lẫn trừu tượng, qua đó làm rõ nghĩa của các loại dữ liệu Với sự phát triển của thương mại điện tử sẽ tạo ra nguồn dữ liệu rất lớn gây khó khăn trong việc phân tích

dữ liệu để xây dựng hệ thống khuyến nghị sản phẩm nên việc áp dụng deep learning vào xây dựng hệ thống khuyến nghị sản phẩm trong thương mại điện tử là một hướng nghiên cứu đúng đắn thời điểm này

1.4 Kết luận chương

Ở chương 1 đã giới thiệu tổng quan hệ thống khuyến nghị trong thương mại điện tử, các đặc điểm và ứng dụng của nó Để thúc đẩy lượng giao dịch trong thương mại điện tử thì hệ thống khuyến nghị sản phẩm tới người dùng là không thể thiếu Tuy nhiên việc giao dịch thông qua các website thương mại điện tử tạo ra lượng dữ liệu vô cùng lớn và phức tạp Dữ liệu này chính là thông tin về khách hàng cũng như các sản phẩm giao dịch rất hữu ích cho việc xây dựng một hệ thống khuyến nghị sản phẩm Trong bối cảnh lượng dữ liệu thu thập được ngày càng nhiều như vậy việc sử dụng các mô hình deep learning để phân tích nguồn dữ liệu khổng lồ này là một hướng đi đúng Chương tiếp theo, chúng tôi sẽ trình bày những nghiên cứu của mình về deep learning

CHƯƠNG 2 – MÔ HÌNH HỌC SÂU – DEEP LEARNING

2.1 Giới thiệu

2.2 Mạng nơ ron nhân tạo trong deep learning

2.2.1 Nơ ron sinh học

2.2.2 Mạng nơ ron nhân tạo(ANN - Artificial Neural Networks)

Quá trình hoạt động của mạng nơ ron nhân tạo như sau:

- Đầu tiên là nhận tín hiệu đầu vào từ một nơ ron khác truyền tới hoặc từ input

- Nhân các tín hiệu đầu vào với một trọng số w liên kết tương ứng

- Tính tổng tất cả các tích của tín hiệu và trọng số

- Đưa kết quả thu được tới một hàm truyền [3]

- Cuối cùng gửi kết quả tới một nơ ron tiếp theo hoặc đưa ra output

- Quá trình tiếp tục lặp lại đối với tất cả các nơ ron trong mạng Các nơ ron phối hợp với nhau tạo thành hoạt động chính của mạng nơ ron nhân tạo

Hình 2.3: Cấu tạo một nơ ron nhân tạo [3]

2.2.3 Kiến trúc mạng nơ ron

2.3 Huấn luyện mạng nơ ron nhân tạo

2.3.1 Học có giám sát

2.4.2 Học không có giám sát

2.5 Một số mô hình mạng học sâu

2.5.1 Multi layer Perceptron

Hình 2.7: Mô hình mạng MPL 3 lớp ẩn và lớp output [4]

Mỗi lớp mạng trong mạng MPL có vector input tín hiệu đầu vào, các trọng

số w, ngưỡng bias b, và vector tín hiệu đầu ra Để phân biệt các lớp mạng với nhau người ta dùng chỉ số phụ cho các tham số trong mỗi lớp mạng Thuật toán dùng để huấn luyện cho mô hình mạng truyền thẳng nhiều lớp thường là thuật toán lan truyền ngược [2] sẽ được trình bày cụ thể ở chương 3

2.5.2 Mạng Hopfield

Cấu trúc thì mạng Hopfield là mạng chỉ có một lớp nơ ron, trong đó mỗi nơ ron đều nối với tất cả các nơ ron còn lại Mạng Hopfield được xây dựng dưới dạng mạng một lớp, mỗi nơ ron được truyền ngược lại làm tín hiệu đầu vào cho các nơ ron khác nhưng bản thân các nơ ron không tự liên kết với chính nó

2.5.3 Mô hình Boltzmann Machine

Các nút của một Boltzmann Machine được chia làm 2 lớp, một là khối các nút hiện có thể nhìn thấy (visible units) trong đó là dữ liệu được giữ trên nó, và một

là khói các nút ẩn ( hidden units) chính là các nội dung tiềm ẩn Các nút được kết nối với nhau đối xứng tùy ý nhưng không kết nối với chính mình

2.5.4 Mô hình Restricted Boltzmann Machine

Mô hình Restricted Boltzmann Machine (RBM [5]) là một Boltzmann Machine có kiến trúc hạn chế hơn Hạn chế hơn ở điểm ở Boltzmann Machine các

nút hiện có thể kết nối với nhau và các nút ẩn cũng vậy nhưng ở RBM thì không

Mô hình RBM cũng gồm hai lớp, một lớp là các nút hiện (visible units) và một lớp

là các nút ẩn (hidden units) nhưng không có sự kết nối giữa các nút hiện với nút hiện (visible - visible) hoặc nút ẩn với nút ẩn (hidden - hidden) giữa chúng là hoàn toàn độc lập Với tính năng hạn chế giữa các nút đó làm cho việc đào tạo RBM trở lên dễ dàng hơn Boltzmann Machine

2.6 Kết luận chương

Ở chương 2 đã trình bày nghiên cứu về mô hình học sâu deep learning Deep learning được biết đến như việc tiếp thu nhiều tầng biểu đạt, cả cụ thể lẫn trừu tượng, qua đó làm rõ nghĩa của các loại dữ liệu ví dụ như hình ảnh, âm thanh và văn bản Trên thế giới đã có nhiều công trình nghiên cứu đạt những kết quả khả quan, các ông lớn như Google, Microsoft và Facebook, họ đã tự thành lập những nhóm nghiên cứu và tiếp tục đầu tư vào lĩnh vực này

Mặc dù nghiên cứu về AI cũng như Deep Learning vẫn còn chưa phổ biến ở Việt Nam, chúng vẫn là những xu hướng mà các nhà khoa học của ta cần nắm bắt Với mong muốn nghiên cứu sâu hơn, trong chương 3, luận văn sẽ trình bày vào bài toán cụ thể là nghiên cứu hệ thống khuyến nghị sản phẩm với deep learning