Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (LV thạc sĩ)

Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (LV thạc sĩ)

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

-

NGUYỄN NGỌC TUYÊN

NGHIÊN CỨU XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ SẢN PHẨM TRONG THƯƠNG MẠI ĐIỆN TỬ VỚI DEEP LEARNING

LUẬN VĂN THẠC SĨ KỸ THUẬT

(Theo định hướng ứng dụng)

TP.HỒ CHÍ MINH - 2017

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

-

NGUYỄN NGỌC TUYÊN

NGHIÊN CỨU XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ SẢN PHẨM TRONG THƯƠNG MẠI ĐIỆN TỬ VỚI DEEP LEARNING

Chuyên ngành: HỆ THỐNG THÔNG TIN

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn này là công trình nghiên cứu hoàn toàn của bản thân Trong toàn bộ nội dung của luận văn, những điều đƣợc trình bày hoặc là của

cá nhân tôi hoặc là đƣợc tổng hợp từ nhiều nguồn tài liệu Tất cả các tài liệu tham khảo đều có xuất xứ rõ ràng và đƣợc trích dẫn hợp pháp Các số liệu, kết quả nêu trong luận văn là trung thực và chƣa từng đƣợc ai công bố trong bất kỳ công trình nào khác

Tôi xin chịu hoàn toàn trách nhiệm và chịu mọi hình thức kỉ luật theo quy định cho lời cam đoan của mình

TP.Hồ Chí Minh, ngày 25 tháng 05 năm 2017

Học viên thực hiện luân văn

Nguyễn Ngọc Tuyên

LỜI CẢM ƠN

Đầu tiên, tôi xin phép được gửi lời cảm ơn chân thành nhất đến thầy Phạm

Trần Vũ Thầy là người đã hướng dẫn và luôn theo sát tôi trong quá trình làm luận

văn Thầy luôn tận tình chỉ bảo, hướng dẫn và đưa ra những vấn đề trọng tâm của vấn đề cần giải quyết và giúp tôi cũng cố thêm những kiến thức quan trọng, đưa ra định hướng đúng đắn, và luôn tạo điều kiện để tôi có thể hoàn thành luân văn Tôi xin chúc Thầy luôn thành công trên con đường giảng dạy, và cùng với gia đình được nhiều sức khỏe và hạnh phúc

Tiếp đến, tôi xin được gửi lời cảm ơn đến tất cả các Thầy, Cô đã và đang

giảng dạy ở Trường Học Viện Công Nghệ Bưu Chính Viễn Thông đã truyền đạt

cho tôi thêm những kiến thức mới để hoàn thành luận văn này Tôi xin chúc quý Thầy, Cô luôn nhiều sức khỏe, hạnh phúc và thành đạt

Cuối cùng, tôi cũng xin cảm ơn gia đình, bạn bè, đồng nghiệp đã luôn quan tâm, giúp đỡ, động viên tôi thực hiện luận văn tốt nghiệp cao học này

TP.Hồ Chí Minh, ngày 25 tháng 05 năm 2017

Học viên thực hiện luân văn

Nguyễn Ngọc Tuyên

MỤC LỤC

LỜI CAM ĐOAN i

LỜI CẢM ƠN ii

MỤC LỤC iii

DANH SÁCH HÌNH VẼ v

MỞ ĐẦU 1

1 Tính cấp thiết của đề tài 1

2 Tổng quan vấn đề nghiên cứu 3

3 Mục tiêu và nhiệm vụ nghiên cứu 5

4 Đối tượng và phạm vi nghiên cứu 5

5 Phương pháp nghiên cứu 6

6 Bố cục của luận văn 6

CHƯƠNG 1 – TỔNG QUAN VỀ THƯƠNG MẠI ĐIỆN TỬ 7

1.1 Giới thiệu Error! Bookmark not defined 1.2 Các đặc điểm và cơ sở phát triển 9

1.3 Hệ thống khuyến nghị sản phẩm trong thương mại điện tử 9

1.4 Kết luận chương 13

CHƯƠNG 2 – MÔ HÌNH HỌC SÂU – DEEP LEARNING 15

2.1 Giới thiệu 15

2.2 Mạng nơ ron nhân tạo trong deep learning 17

2.3 Huấn luyện mạng nơ ron nhân tạo 23

2.5 Một số mô hình mạng học sâu 25

2.6 Kết luận chương 33

CHƯƠNG 3 – XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ SẢN PHẨM VỚI DEEP LEARNING 34

3.1 Giới thiệu bài toán và phương pháp tiếp cận 34

3.2 Hệ thống khuyến nghị sản phẩm với deep learning 37

3.3 Tiêu chuẩn và đánh giá 45

3.4 Kết luận chương 47

CHƯƠNG 4 – XÂY DỰNG HỆ THỐNG VÀ THỬ NGHIỆM 48

4.1 Môi trường thực nghiệm 48

4.2 Dữ liệu thực nghiệm 48

4.3 Cài đặt bài toán 49

4.4 Kết luận chương 56

KẾT LUẬN 57

1 Kết quả đạt được 57

2 Hướng nghiên cứu tiếp theo của luận văn 57

DANH MỤC CÁC TÀI LIỆU THAM KHẢO 58

DANH SÁCH HÌNH VẼ

Hình 1.1 Hệ thống khuyến nghị người dùng của Amazon.com 10

Hình 2.1 Minh họa nơ ron sinh học 17

Hình 2.2 Mạng nơ ron sinh học và mạng nơ ron nhân tạo 18

Hình 2.3 Cấu tạo một nơ ron nhân tạo 19

Hình 2.4 Cấu tạo của một mạng nơ ron nhân tạo đơn giản 21

Hình 2.5 Kiến trúc mạng nơ ron truyền thẳng 22

Hình 2.6 Kiến trúc mạng nơ ron phản hồi 23

Hình 2.7 Mô hình mạng MPL 3 lớp ẩn và lớp output 26

Hình 2.8 Cấu trúc mạng Hopfield 28

Hình 2.9 Mạng nơ - ron hồi quy một lớp 30

Hình 2.10 Một Boltzmann Machine 30

Hình 2.11 Một Restricted Boltzmann Machine 32

Hình 3.1 Quy trình của hệ thống khuyến nghị sản phẩm cho người dùng 34

Hình 3.2 Minh họa ma trận đánh giá R ( Rating maxtrix) 35

Hình 3.3 Giảm số chiều của vector 37

Hình 3.4 Một ví dụ giảm số chiều vector 38

Hình 3.5 Kiến trúc mạng của bài toán 39

Hình 3.6 Lan truyền tín hiệu trong quá trình học theo lan truyền ngược 41

Hình 3.7 Lưu đồ hoạt động của hàm huấn luyện 44

Hình 4.1 Kiến trúc mạng xây dựng cho bài toán 50

Hình 4.2 Bảng kết quả độ lỗi sau 20 epochs và biểu đồ 54

Hình 4.3 MAE validation 65

Hình 4.4 MAE training 65

Hình 4.5 RMSE training và validation 65

Hình 4.6 Kết quả của những phương pháp khác 56

MỞ ĐẦU

1 Tính cấp thiết của đề tài

Trong những năm gần đây, thương mại điện tử [1] phát triển nhanh theo xu thế toàn cầu hoá Thông qua thương mại điện tử nhiều hình thức giao dịch kinh doanh mới được hình thành Với các hình thức này người dùng có thể tiếp cận với hàng hóa, dịch vụ một cách dễ dàng và nhanh chóng hơn rất nhiều so với phương pháp giao dịch truyền thống

Với những lợi ích thế mạnh của mình, những website mua bán hàng hóa, dịch vụ sẽ dần thay thế các gian hàng hay các siêu thị truyền thống Nhưng trên thực

tế người tiêu dùng vẫn còn rất ưa chuộng với phương pháp mua bán cũ Một phần vì hình thức mua bán cũ đã dần dần từng bước chuyển từ thói quen thành một nếp văn hóa, đó là văn hóa mua sắm Khi đó người tiêu dùng xem hoạt động mua sắm là hoạt động không thể thiếu trong đời sống hằng ngày Mặt khác các website thương mại điện tử hiện nay dù đã được phát triển rất nhiều nhưng thực sự vẫn chưa thể thay thế được các gian hàng thực Một trong những nguyên nhân dẫn đến sự thua kém này là yếu tố con người, ngoài ra một yếu tố khác nữa dẫn tới sự thua kém này nằm ở chính các hệ thống website thương mại điện tử đó Các hệ thống mua bán trực tuyến này luôn muốn người dùng tiếp cận nhiều mặt hàng cùng một lúc Tuy nhiên với sự đa dạng hàng hóa hiện nay thì khả năng tiếp cận chọn mặt hàng của người dùng sẽ bị hạn chế, họ phải xem qua nhiều sản phẩm, đi tới nhiều liên kết để

có thể tìm ra sản phẩm mong muốn Vậy làm sao để hỗ trợ khách hàng trong việc mua bán được thuận lợi hơn? Cụ thể hơn là sản phẩm nào được đề xuất tới khách hàng tiếp theo sau khi khách hàng đã đặt mua hoặc đánh giá một sản phẩm trước đó? Nên đề xuất bao nhiêu sản phẩm là tốt nhất cho khác hàng?

Để hình thức mua bán qua mạng thực sự phát triển thì bên cạnh các lợi thế vốn có của mình việc có thêm một hệ thống trợ giúp là hết sức cần thiết Hệ thống

khuyến nghị sản phẩm (recommendation system [6]) được hình thành và phát triển không nằm ngoài mục đích đáp ứng những yêu cầu trên Một hệ thống tư vấn tốt có thể đóng vai trò như người trung gian hỗ trợ khách hàng đưa ra quyết định chọn hàng Tiện ích này đóng vai trò như một người bán hàng có khả năng thu thập thông tin về sở thích của khách hàng, sau đó tìm trong kho hàng vô tận của mình những mặt hàng thích hợp nhất với sở thích đó Thực chất của một hệ thống khuyến nghị sản phẩm là quá trình hỗ trợ khách hàng đưa ra quyết định

Các hệ thống khuyến nghị sản phẩm là một tính năng phổ biến của website

và ứng dụng di động nhằm mục đích tư vấn cho khách hàng những mặt hàng thích hợp nhất Những doanh nghiệp lớn như Netflix, Amazon, Google, Facebook, và Twitter đã truy cập vào nguồn dữ liệu dồi dào do người dùng phát sinh ra Việc truy cập vào dữ liệu cho phép các doanh nghiệp này có thể triển khai những hệ thống khuyến nghị nhằm cung cấp nhiều giá trị hơn cho cả người dùng và chính họ

Theo các thống kê được công bố của một số công ty lớn thì hệ thống khuyến nghị giúp tăng lượt giao dịch đáng kể Ví dụ như công ty Netflix, 2/3 các bộ phim

mà người dùng xem trên Netflix là do được khuyến nghị Hệ thống khuyến nghị của Google News làm tăng số lượng kích chuột vào các đường dẫn lên đến 38%, và 35% các mặt hàng trên Amazon đều do hệ thống khuyến nghị cung cấp

Lọc cộng tác (Collaborative filtering [6]) và lọc dựa trên nội dung based filtering [6]) là hai hướng tiếp cận truyền thống để thiết kế các hệ thống khuyến nghị Những phương pháp này thông thường dựa vào các đánh giá của các mục làm nguồn thông tin chính để đưa ra các khuyến nghị mà trong thực tế có rất nhiều ứng dụng thì các đánh giá này rất ít, có thể khắc phục được điều này bằng cách lấy nội dung thông tin của các mục để làm nguồn thông tin phụ trợ nhưng khi nguồn thông tin này không đủ lớn thì sẽ làm ảnh hưởng tới kết quả mong muốn đạt được

(content-Deep learning [10] là một trong những hướng nghiên cứu rất phát triển của lĩnh vực trí tuệ nhân tạo trong những năm gần đây Các mô hình học sâu (Deep

learning) đã tạo nên những đột phá lớn trong việc giải quyết các bài toán phức tạp

Nó là thuật toán dựa trên một số ý tưởng từ não bộ với việc tiếp thu nhiều tầng biểu đạt, cả cụ thể lẫn trừu tượng, qua đó làm rõ nghĩa của các loại dữ liệu Điều đặc biệt của công nghệ Deep Learning là sự chính xác cao của nguồn dữ liệu khổng lồ, không bị hạn chế bởi sự quá tải của dữ liệu

Chính vì vậy, chúng tôi đã chọn đề tài nghiên cứu là “ Nghiên cứu xây dựng

hệ thống khuyến nghị sản phẩm trong thương mại điện tử với Deep learning” làm

đề tài nghiên cứu của mình

2 Tổng quan vấn đề nghiên cứu

Với tốc độ phát triển của thương mại điện tử như ngày nay, để thúc đẩy các giao dịch thông qua mạng máy tính thì việc xây dựng hệ thống khuyến nghị sản phẩm là một công việc không thể thiếu Đã có nhiều hệ thống khuyến nghị sản phẩm được xây dựng Tuy nhiên, để lựa chọn được phương pháp phù hợp là một công việc cần nghiên cứu

Mô hình xây dựng hệ thống khuyến nghị dựa trên sự tăng trưởng của Hotmail là mô hình tính toán tốc độ tăng trưởng của Email Mô hình có tác dụng dự đoán xem có bao nhiêu cá nhân tại một thời điểm chấp nhận một sản phẩm nào đó trong tổng số các cá nhân được mời sản phẩm

Mô hình xây dựng hệ thống khuyến nghị dựa trên phương pháp lọc cộng tác

có thể hiểu một cách đơn giản là phương pháp tập hợp các đánh giá của khách hàng, phân biệt khách hàng trên cơ sở các đánh giá của họ và tư vấn các sản phẩm cho khách hàng

Báo cáo luận văn thạc sĩ “Movies recommendation system using collaborative filtering technique supplemented by content with goal programming”

của tác giả Emrah İNAN, tháng 7, 2012 Nội dung tác giả nghiên cứu xây dựng hệ

thống khuyến nghị dành cho dữ liệu Movie sử dụng phương pháp lọc cộng tác để

Khi xây dựng hệ thống khuyến nghị sản phẩm, việc đánh giá hiệu quả của các phương pháp có ý nghĩa quyết định Để đánh giá khả năng của hệ thống khuyến nghị sản phẩm phải áp dụng hệ thống đó vào thực tế Đó là thuận lợi cho thí nghiệm

hệ thống khuyến nghị sản phẩm trên những khách hàng thực sự để đo được hiệu quả của các phương pháp Tuy nhiên với các nhà nghiên cứu, thông thường không thu hút được số lượng khách hàng tới website để kiểm tra hiệu quả hoạt động Với con

số khách hàng nhỏ, không thể đánh giá chính xác khả năng của hệ thống Trong khi

đó, theo quan điểm cạnh tranh buôn bán trong thương mại điện tử, các kết quả thí nghiệm hệ thống ít khi được công bố Đó là khó khăn cho việc xây dựng hệ thống khuyến nghị sản phẩm, chỉ có thể đánh giá khả năng của hệ thống dựa vào dữ liệu

đã có dùng để nghiên cứu chứ chưa áp dụng trong thực tế

Trong phạm vi luận văn này, chúng tôi tập chung nghiên cứu chính vào các vấn đề: thương mại điện tử, hệ thống khuyến nghị sản phẩm trong thương mại điện

tử, xây dựng hệ thống khuyến nghị sản phẩm với Deep learning Bộ dữ liệu chúng tôi dùng để cài đặt kiểm tra đánh giá là bộ dữ liệu dùng để nghiên cứu

Movielens[15] được tải trên website: https://grouplens.org/datasets/movielens/

3 Mục tiêu và nhiệm vụ nghiên cứu

- Tìm hiểu lĩnh hệ thống khuyến nghị trong thương mại điện tử

- Nghiên cứu tìm hiểu về các mô hình học sâu (deep learning)

- Thu thập, tìm hiểu, phân tích tài liệu, thông tin liên quan đến luận văn

- Đề xuất phương pháp sử dụng mô hình học sâu (deep learning) cho bài toán hệ thống khuyến nghị sản phẩm trong thương mại điện tử

- Cài đặt thử nghiệm phương pháp và đánh giá kết quả

4 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu:

- Đối tượng nghiên cứu của đề tài là: bài toán hệ thống khuyến nghị sản phẩm trong thương mại điện tử, mô hình học sâu deep learning

Phạm vi nghiên cứu:

- Nghiên cứu lý thuyết về hệ thống khuyến nghị sản phẩm trong thương mại điện tử, mô hình học sâu deep learning, giải quyết bài toán hệ thống khuyến nghị sản phẩm với mô hình học sâu deep leaning

- Thực hiện thử nghiệm với bộ dữ liệu nghiên cứu movielens được tải trên website: https://grouplens.org/datasets/movielens/

5 Phương pháp nghiên cứu

Phương pháp nghiên cứu lý thuyết:

- Nghiên cứu, thu thập thông tin về mô hình học sâu deep learning, hệ thống khuyến nghị sản phẩm trong thương mại điện tử

- Nghiên cứu ứng dụng deep learning vào giải quyết các bài toán phức tạp

- Nghiên cứu ứng dụng deep learning vào giải quyết bài toán hệ thống khuyến nghị sản phẩm trong thương mại điện tử

- Xin ý kiến tư vấn từ các chuyên gia

Phương pháp nghiên cứu thực hành:

- Xây dựng mô hình thử nghiệm phương pháp trên một bộ dữ liệu sẵn movielens được tải trên website: https://grouplens.org/datasets/movielens/ dựa vào kết quả trực quan để phân tích, so sánh, đánh giá các phương pháp

6 Bố cục của luận văn

Nội dung chính luân văn được chia làm ba chương như sau:

- Chương 1 - Hệ thống khuyến nghị sản phẩm trong thương mại điện tử

- Chương 2 - Mô hình học sâu – Deep learning

- Chương 3 - Xây dựng hệ thống khuyến nghị sản phẩm với deep learning

- Chương 4 - Xây dựng hệ thống và thực nghiệm

Trong chương 1, chúng tôi đi nghiên cứu chung về hệ thống khuyến nghị sản phẩm trong thương mại điện tử Chương 2, chúng tôi đi tìm hiểu về deep learning, mạng nơ ron nhân tạo, ứng dụng của deep learning trong thời đại hiện nay Chương

3, chúng tôi tập trung nghiên cứu xây dựng hệ thống khuyến nghị sản phẩm với deep learning như thế nào Và cuối cùng, chương 4 chúng tôi tiến hành cài đặt thử nghiệm phương pháp trong chương 3 với bộ dữ liệu Movielens từ kết quả thu được đưa ra đánh giá và nhận xét

CHƯƠNG 1 – HỆ THỐNG KHUYẾN NGHỊ SẢN PHẨM

TRONG THƯƠNG MẠI ĐIỆN TỬ

1.1 Thương mại điện tử

Thương mại điện tử là một từ ngữ không còn xa lạ với chúng ta trong bối cảnh thời đại bùng nổ công nghệ như ngày nay Thương mại điện tử được biết đến với nhiều tên gọi khác nhau, như “thương mại điện tử” (Electronic commerce),

“thương mại trực tuyến” (online trade), “thương mại không giấy tờ” (paperless commerce) hoặc “kinh doanh điện tử” (e- business) Thương mại điện tử là việc mua bán hàng hóa và dịch vụ thông qua các phương tiện điện tử và mạng viễn thông Các cá nhân, doanh nghiệp phát triển và ứng dụng công nghệ thông tin vào mọi hoạt động kinh doanh của mình, từ bán hàng, marketing, thanh toán đến mua sắm, sản xuất, đào tạo, phối hợp hoạt động với nhà cung cấp, đối tác, khách hàng

Với sự phát triển của thời đại công nghệ ngày nay, thương mại điện tử sẽ dần thay thế phương thức thương mại truyền thống bởi lợi ích mà nó đem lại rất lớn Đầu tiên phải nói đến sự thuận tiện của thương mại điện tử đem lại Thay vì phải đi tìm tới tận nhưng của hàng, những công ty để tìm sản phẩm, dịch vụ phù hợp cho mình thì giờ đây chỉ cần một chiếc máy tính, một chiếc laptop, một chiếc tablet hoặc chỉ một chiếc smartphone có kết nối mạng người dùng có thể thoải mái chọn lựa hàng hóa, sản phẩm cho mình cho dù đang ở bất cứ nơi đâu, thời gian nào đều

có thể mua bán, giao dịch được

Thương mại điện tử có khả năng tiếp cận tới nhiều thị trường, thị trường không bị giới hạn bởi vị trí địa lý bởi chi phí đầu tư quảng bá thương hiệu nhỏ hơn rất nhiều phương pháp thương mại truyền thống Thương mại điện tử có thể mở rộng, tìm kiếm, tiếp cận khác hàng, dịch vụ, đối tác trên khắp thế giới nhờ mạng lưới Internet phát triển như ngày nay Việc mở rộng mạng lưới nhà cung cấp, khách

hàng cũng cho phép các tổ chức có thể mua với giá thấp hơn và bán được nhiêu sản phẩm hơn, lợi nhuận cao hơn

Tiếp theo, loại hình kinh doanh này giúp giảm chi phí rất nhiều như chi phí

về mặt giấy tờ, chi phí chia sẻ thông tin quảng cáo, chi phí in ấn và gửi văn bản thông tin sản phẩm, chi phí mặt bằng cửa hàng, chi phí kho hàng …

Với việc thay thế cửa hàng giới thiệu sản phẩm bằng các gian hàng trên mạng, website giới thiệu, siêu thị online giúp cải thiện hệ thống phân phối hàng hóa rất nhiều Tiết kiệm chi phí hàng hóa lưu kho

Thương mại điện tử vượt giới hạn về thời gian và không gian Việc tự động hóa các giao dịch thông qua website, gian hàng online, siêu thị online giúp hoạt động kinh doanh được thực hiện cả ngày, cả tháng, cả năm mà không mất thêm nhiều chi phí

Tiếp đến, hình thức này còn có thể đáp ứng mọi nhu cầu từ phía khách hàng Khách hàng có thể trực tiếp yêu cầu sản phẩm theo ý mình Hoặc các doanh nghiệp

có thể mở ra các điều tra lấy ý kiến phản hồi từ khách hàng từ đó sản xuất các sản phẩm của mình

Thương mại điện tử phát triển kéo theo nhiều mô hình kinh doanh mới Với thương mại điện tử cái gì người ta cũng có thể đem ra để kinh doanh mua bán trao đổi được như: đồ cũ, thông tin khách hàng, quảng cáo, các dịch vụ trung gian… hoặc khách hàng cũng có thể mua hàng theo nhóm nghĩa là cùng nhau mua một sản phẩm nào đó để được hưởng khuyến mại giá rẻ Ví dụ như hình thức kinh doanh website http://muachung.vn là một điển hình của sự thành công của hình thức này

Với lợi thế về thông tin nhanh chóng và khả năng phối hợp giữa các doanh nghiệp thương mại điện tử làm tăng tốc độ tung sản phẩm ra thị trường giúp tăng tốc sự phát triển của doanh nghiệp

Thương mại điện tử tạo điều kiện cho việc thiết lập và củng cố mối quan hệ giữa các thành viên tham gia vào quá trình thương mại Thông qua mạng Internet, các người dùng tham gia (cá nhân, doanh nghiệp, các cơ quan chính phủ ) có thể giao tiếp trực tuyến và liên tục với nhau, làm cho có cảm giác như không có khoảng cách về địa lý và thời gian nữa, nhờ đó sự hợp tác và sự quản lý đều được tiến hành nhanh chóng một cách liên tục Các khách hàng mới, các cơ hội, hình thức kinh doanh mới được phát hiện nhanh chóng trên phạm vi toàn quốc, toàn khu vực, toàn thế giới, và có nhiều cơ hội để lựa chọn hơn

Ngoài ra, thương mại điện tử còn có các lợi ích khác như nâng cao uy tín, hình ảnh doanh nghiệp, cải thiện chất lượng dịch vụ khách hàng Đối tác kinh doanh mới thì đơn giản hóa và chuẩn hóa các quy trình giao dịch, tăng năng suất, giảm chi phí giấy tờ, tăng khả năng tiếp cận thông tin và giảm chi phí vận chuyển, tăng sự linh hoạt trong giao dịch và hoạt động kinh doanh

Trên đây là những lợi ích mà thương mại điện tử đem lại Nhưng với sự phát triển bùng nổ như vậy, thì rõ ràng sẽ kéo theo sự cạnh tranh gay gắt trong thương mại điện tử Khách hàng phải tìm đến những dịch vụ tốt cho họ nhất Những website, những gian hàng mua bán, những siêu thị online…luôn nỗ lực hết mình để phục vụ khách hàng Mục tiêu của họ không gì ngoài tăng lượng giao dịch của người dùng trên dịch vụ Vậy câu hỏi lớn đặt ra: với bối cảnh hiện nay, làm sao để tăng lượng giao dịch điện tử trong thương mại điện tử? Đó là một vấn đề cần phải được nghiên cứu

1.2 Hệ thống khuyến nghị sản phẩm trong thương mại điện tử

1.2.1 Giới thiệu

Hệ thống khuyến nghị (Recommender Systems) là công cụ hoặc phần mềm trong thương mại điện tử cung cấp các gợi ý, khuyến nghị về các sản phẩm cho người dùng Các khuyến nghị này rất quan trọng bởi nó liên quan đến quá trình ra

quyết định về loại sản phẩm cần mua, loại âm nhạc cần nghe, hoặc tin tức cần đọc, đến với người dùng Các hệ thống khuyến nghị là một tính năng phổ biến của

hệ thống các website, application, gian hàng online, siêu thị online nhằm mục đích khuyến nghị tư vấn cho khách hàng những mặt hàng thích hợp nhất Những doanh nghiệp lớn nổi tiếng như Netflix, Amazon, Google, Facebook, và Twitter đã phát triển hệ thống khuyến nghị sản phẩm nhờ vào truy cập vào nguồn dữ liệu dồi dào do người dùng phát sinh ra Từ đó khai thác những dữ liệu bổ ích này xây dựng các hệ thống khuyến nghị chính xác, hiệu quả thúc đẩy lượng giao dịch với người dùng

Dưới đây là một hình ảnh chụp lại hoạt động của hệ thống khuyến nghị sản phẩm của Amazon giúp người dùng tiếp cận được những sản phẩm tốt hơn

Hình 1.1: Hệ thống khuyến nghị người dùng của Amazon.com

(Nguồn: website Amazon.com - Internet)

1.2.2 Ứng dụng

Phạm vi ứng dụng của hệ thống khuyến nghị sản phẩm là rất rộng Trong thương mại điện tử, hầu hết các hệ thống khuyến nghị này là các hệ thống bán hàng, giới thiệu phim, tin tức, ca nhạc, các website, và các dịch vụ Điển hình như:

- Hệ thống khuyến nghị phim: Netflix, Firefly, MovieCritic, MovieLens, Mangarate, Morse

- Hệ thống khuyến nghị âm nhạc: Firefly, CdNow

- Hệ thống khuyến nghị bán hàng: Amazon, Barnes&Noble, TripMatcher, ShopMatcher, E-Markets

- Hệ thống khuyến nghị các website: Websitewatcher, Websitefilter, Websitewasher, Select, Websitedoggie, Gustos

- Hệ thống khuyến nghị tin tức: Shift, Infoscan, NewsSieve, Borger, RAMA, GroupLens

1.3 Một số kỹ thuật xây dựng hệ thống khuyến nghị

1.3.1 Mô hình tăng trưởng email

Có nhiều kỹ thuật xây dựng hệ thống khuyên nghị sản phẩm Đầu tiên phải

kể đến mô hình dựa vào sự tăng trưởng của email Chúng ta biết rằng, email của người dùng được lưu trữ trên máy chủ và mọi người gửi email cho nhau bằng trang web Mỗi khi chúng ta sử dụng email, hiển nhiên có một lượng khá lớn thư quảng cáo sản phẩm trong hòm thư của chúng ta Những sản phẩm này lại liên kết với trang web thương mại điện tử nào đó Các trang web căn cứ vào những người sử dụng email để gửi thông tin quảng cáo tới các hòm thư Điển hình cho phương pháp này đó chính là hệ thống khuyến nghị của Hotmail Hotmail thu hút người dùng bằng cách sau mỗi một email thì có một liên kết tới trang chủ của hotmail để cho người dùng đăng ký mới Với tốc độ lan truyền của mạng Internet, hiệu ứng dây chuyền phát huy tác dụng khủng khiếp Mỗi một email gửi đi được coi như một

khuyến nghị tới người nhận email Nó như đánh vào tâm lý người nhận email: “bạn

tôi sử dụng hotmail thì tôi cũng sử dụng xem như thế nào?” Theo thống kê, hotmail

bắt đầu hoạt động tháng 7 năm 1996, tới cuối tháng 7 thì có 20000 người dùng, tới tháng 9 số người dùng là 100000, tháng 1 năm 1997 có khoảng 1 triệu thuê bao

Hiện nay hotmail thuộc tập đoàn Microsoft và số người dùng vào khoảng 120 triệu Tuy nhiên hình thức này không còn phù hợp với thời đại ngày nay Các thư gửi quảng cáo sản phẩm người dùng thường cho là thư rác Các sản phẩm giới thiệu tới người dùng cũng không được chính xác do lượng thư giới thiệu sản phẩm quá nhiều Xuất hiện nhiều hình thức lừa đảo, cấy virus qua email dẫn tới sự tin tưởng sản phẩm quảng cáo qua email giảm sút

1.3.2 Tư vấn dựa trên việc khai phá dữ liệu

Để chính xác hơn trong việc quảng cáo, khuyến nghị sản phẩm tới người dùng Thì khai thác dữ liệu của người dùng trên website, application, gian hàng online là hướng đi đúng đắn Dựa vào nguồn dữ liệu rất lớn và hữu ích này hệ thống có thể phân tích, tính toán và đưa ra dự đoán xem người dùng có thích sản phẩm nào đó hay không? Mức độ thích là như thế nào? Từ đó đưa ra khuyến nghị tới người dùng

Có rất nhiều cách để đưa ra các dự đoán, ví dụ như:

- Khuyến nghị dựa trên nội dung: là phương pháp phân tích nội dung của sản phẩm từ dữ liệu từ đó đưa ra khuyến những sản phẩm tương tự với những sản phẩm đã từng yêu thích trước đây tới người dùng Phương pháp này có nhược điểm chính là những khách hàng mới chưa có dữ liệu trước đây hoặc khuyến nghị không chính xác vì sở thích của mỗi người có thể thay đổi theo thời gian

- Khuyến nghị dựa trên cộng tác: là phương pháp khuyến nghị sản phẩm yêu thích xuất phát từ người dùng có cùng sở thích và thị hiếu trước đây Ví dụ như bạn bè thân thiết thường sẽ có những sở thích về màu sắc, kiểu dáng, đặc điểm tương tự nhau, người này thích xem phim hoạt hình thì người kia có lẽ cũng như vậy Hệ thống sẽ dựa vào điều này để đưa ra khuyến nghị tới người dùng

- Khuyến nghị dựa trên việc kết hợp khuyến nghị dựa trên nội dung và lọc cộng tác: là phương pháp kết hợp hai phương pháp trên nhằm bổ sung những nhược điểm cho nhau

Những phương pháp xây dựng hệ thống khuyến nghị sản phẩm truyền thống này thường dựa vào các đánh giá của các mục sản phẩm làm nguồn thông tin chính

để đưa ra các khuyến nghị trong khi đó trên thực tế trên nhiều hệ thống nguồn thông tin này lại rất ít, cũng có thể lấy thông tin từ nội dung chính các mục sản phẩm làm thông tin bổ sung cho hệ thống nhưng khi nguồn thông tin này quá ít, không đủ cũng sẽ ảnh hưởng tới kết quả đưa ra Chính vì vậy, nghiên cứu tìm một phương pháp mới là rất cần thiết

Deep learning là một trong những hướng nghiên cứu rất phát triển của lĩnh vực trí tuệ nhân tạo trong những năm gần đây Các mô hình Deep learning đã tạo nên những đột phá lớn trong việc giải quyết các bài toán phức tạp Nó là thuật toán dựa trên một số ý tưởng từ não bộ với việc tiếp thu nhiều tầng biểu diễn, cả cụ thể lẫn trừu tượng, qua đó làm rõ nghĩa của các loại dữ liệu Điều đặc biệt thực tế đã chứng minh công nghệ deep learning đạt được sự chính xác cao khi phải xử lý nguồn dữ liệu khổng lồ, nó ít bị hạn chế bởi sự quá tải của dữ liệu Với sự phát triển của thương mại điện tử sẽ tạo ra nguồn dữ liệu rất lớn gây khó khăn trong việc phân tích dữ liệu để xây dựng hệ thống khuyến nghị sản phẩm nên việc áp dụng deep learning vào xây dựng hệ thống khuyến nghị sản phẩm trong thương mại điện tử là một hướng nghiên cứu đúng đắn thời điểm này

1.4 Kết luận chương

Ở chương 1 đã giới thiệu tổng quan hệ thống khuyến nghị trong thương mại điện tử, các đặc điểm và ứng dụng của nó Để thúc đẩy lượng giao dịch trong thương mại điện tử thì hệ thống khuyến nghị sản phẩm tới người dùng là không thể thiếu Tuy nhiên việc giao dịch thông qua các website thương mại điện tử tạo ra lượng dữ liệu vô cùng lớn và phức tạp Dữ liệu này chính là thông tin về khách hàng

cũng như các sản phẩm giao dịch rất hữu ích cho việc xây dựng một hệ thống khuyến nghị sản phẩm Trong bối cảnh lượng dữ liệu thu thập được ngày càng nhiều như vậy việc sử dụng các mô hình deep learning để phân tích nguồn dữ liệu khổng lồ này là một hướng đi đúng Chương tiếp theo, chúng tôi sẽ trình bày những nghiên cứu của mình về deep learning

CHƯƠNG 2 – MÔ HÌNH HỌC SÂU – DEEP LEARNING

2.1 Giới thiệu

Vài năm gần đây, thuật ngữ deep learning hay mô hình học sâu không còn xa

lạ với những người quan tâm tới công nghệ tự động hóa hay công nghệ thông tin Deep learning là một lĩnh vực chuyên sâu của máy học (Machine learning [3]) trong trí tuệ nhân tạo Trong máy học nguyên tắc chính của nó là các máy tiếp nhận dữ liệu đưa vào và máy sẽ tự học Máy học sẽ học dữ liệu bằng cách sử dụng các thuật toán lặp nhiều lần Nó là một phương pháp phân tích dữ liệu mà nó sẽ tự động hóa việc xây dựng mô hình phân tích cho mình Chính nhờ cách sử dựng các thuật toán lặp nhiều lần để học dữ liệu mà máy học có thể tìm thấy những thông tin giá trị ở rất sâu bên trong mà nó không được lập trình rõ ràng có thể tìm kiếm những thông tin

ấy ở đâu

Deep learning hay mô hình học sâu lại là một lĩnh vực chuyên sâu hơn Với mong muốn những cỗ máy có thể ghi nhớ, xử lý thông tin linh hoạt như con người Dựa trên ý tưởng bộ não nhân tạo, các mạng thần kinh hay mạng nơ ron nhân tạo [4] ra đời dựa trên cơ sở là cấu tạo nơ ron sinh học Mô hình học sâu học tập dựa trên khai thác các mạng thần kinh nhân tạo này nhằm mô phỏng việc đưa ra quyết định như của con người Deep learning kế thừa và sử dụng các kỹ thuật của máy học để giải quyết các vấn đề thực tế và nó đòi hỏi các bộ dữ liệu lớn để tự tập luyện, bởi vì có một số lượng lớn các tham số ban đầu đưa vào là giả không chính xác, các tham số này sẽ được điều chỉnh dần trong quá trình học của mô hình

Mới đây thành tựu nổi bật của deep learning chính là siêu máy tính đánh bại những người chơi bài poker chuyên nghiệp trên thế giới Điều này chứng minh cho chúng ta thấy những tiềm năng rất lớn của deep learning trong tương lai Ngoài ra

sự phát triển một cách đột phá của các công nghệ học sâu được ứng dụng ngày càng nhiều trong các doanh nghiệp, các mô hình kinh doanh và xây dựng các ứng dụng

mới để giải quyết các bài toán trong thực tế cuộc sống con người, trong đó phải kể đến những ứng dụng có tiềm năng trong thương mại như sau:

Ứng dụng trợ lý bằng giọng nói : Ứng dụng này là một trong những ứng

dụng rất nổi tiếng và thông dụng của công nghệ deep learning Nó là tính năng chúng ta có thể tìm thấy hầu hết ở các smartphone, tablet Điển hình như ứng dụng Siri của Apple được giới thiệu vào 10/2011, ứng dụng Google Now trợ lý giọng nói cho hệ điều hành Android hay Microsoft Cortana dành cho hệ điều hành Windows hay ứng dụng tìm kiếm bằng giọng nói trên Xbox One của Microsoft Sử dụng ứng dụng trợ lý bằng giọng nói người dùng có thể dễ dàng tìm kiếm phim, âm nhạc và những nội dung khác bằng chính ngôn ngữ tự nhiên của mình Ứng dụng này sử dụng công nghệ xử lý ngôn ngữ tự nhiên (Natural Language Processing _NPL [16]) dựa trên deep learning

Nhận diện hình ảnh: công nghệ nhận diện ảnh nhằm mục đích phân tích

nhận diện và xác định đối tượng có trong một bức ảnh cũng như hiểu được ngữ cảnh và nội dung trong đó Không xa lạ với ứng dụng này, chúng ta có thể tìm thấy

nó trên mạng xã hội Facebook, nó giúp gợi ý tag bạn bè trong một bức ảnh Điều này giúp hiệu ứng lan truyền trên mạng xã hội phát huy tác dụng rất nhiều Ngoài ra công nghệ này còn áp dụng trong khoa học tội phạm

Quảng cáo: Nhận thấy hiệu quả deep learning mạng lại, rất nhiều doanh

nghiệp đưa deep learning ứng dụng vào marketing, quảng bá thương hiệu, sản phẩm, và dịch vụ Công nghệ deep learning có thể tính toán đưa ra các dự đoán về quảng cáo, hiển thị quảng cáo tới mục tiêu là người dùng một cách chính xác hơn rất nhiều Ví dụ điển hình là công ty Baidu của Trung Quốc một phiên bản tương tự như Google đang nghiên cứu và sử dụng deep learning để dự đoán và quảng cáo một cách chính xác đến người dùng đem lại nguồn lợi nhuận doanh thu lớn cho công ty này

Hệ thống khuyến nghị: Như đã phân tích ở phần trên ứng dụng deep learning

vào trong xây dựng hệ thống khuyến nghị sản phẩm cải thiện hiệu quả giúp tăng lượng giao dịch, tương tác của người dùng Các nền tảng lớn hiện nay như Facebook, Amazon, Netflix, đều có hệ thống khuyến nghị rất mạnh giúp tăng đáng kể độ tương tác của người dùng

2.2 Mạng nơ ron nhân tạo trong deep learning

2.2.1 Nơ ron sinh học

Qua nghiên cứu, người ta phát hiện ra não bộ - cơ quan suy nghĩ và điều khiển của con người chứa tế bào khác với những tế bào bình thường trong cơ thể đó

là khả năng tiếp nhận tín hiệu và xử lý các tín hiệu Các tế bào này được gọi là nơ ron thần kinh Các nơ ron thần kinh được kết nối với nhau được gọi là các đường truyền nơ ron

Hình 2.1: Minh họa nơ ron sinh học

(Nguồn: Nơ ron thần kinh sinh học - Internet)

Một nơ ron sinh học như vậy cấu tạo gồm 2 phầm: các nhánh vào ra và nhân

tế bào Các nhánh vào ra lại được liên kết với các nơ ron khác trong não bộ Hoạt động của một nơ ron sinh học như sau: nhánh vào ra tiếp nhận tín hiệu đưa vào nhân xử lý tín hiệu rồi truyền tải ra nhánh, và tiếp tục từ nhánh nó lại được tuyền tải tới nơ ron kế tiếp để xử lý

Với mong muốn tạo ra những cỗ máy thông minh có khả năng xử lý thông tin linh hoạt, suy nghĩ như con người Dựa trên cơ sở kiến thức về nơ ron sinh học con người đã xây dựng mạng nơ ron nhân tạo với hi vọng tạo nên một bộ máy nhân tạo có khả năng như bộ não người

Hình 2.2: Mạng nơ ron sinh học và mạng nơ ron nhân tạo

(Nguồn: mạng nơ ron thần kinh, mạng nơ ron nhân tạo - Internet)

2.2.2 Mạng nơ ron nhân tạo(ANN - Artificial Neural Networks)

Một trong những chức năng của các nơ ron sinh học đó là khả năng ghi nhớ hay là khả năng lưu lại những gì đã được học và phân biệt những kiến thức đó mỗi khi được lặp lại Có thể đơn giản hóa quá trình hoạt động của nơ ron sinh học là nhận tín hiệu vào trong nhân, xử lý tín hiệu, lưu lại kết quả, đưa tín hiệu đã xử lý ra

và liên lạc với các nơ ron khác để tiếp tục quá trình Dựa trên điều này mạng nơ ron nhân tạo mô phỏng lại và cũng thực hiện những hoạt động như vậy Quá trình hoạt động của mạng nơ ron nhân tạo như sau:

- Đầu tiên là nhận tín hiệu đầu vào từ một nơ ron khác truyền tới hoặc từ input

- Nhân các tín hiệu đầu vào với một trọng số w liên kết tương ứng

- Tính tổng tất cả các tích của tín hiệu và trọng số

- Đưa kết quả thu được tới một hàm truyền [3]

- Cuối cùng gửi kết quả tới một nơ ron tiếp theo hoặc đưa ra output

- Quá trình tiếp tục lặp lại đối với tất cả các nơ ron trong mạng Các nơ ron phối hợp với nhau tạo thành hoạt động chính của mạng nơ ron nhân tạo

Để hiểu rõ hơn về hoạt động của mạng nơ ron nhân tạo chúng ta cùng nhau tìm hiểu cấu tạo của một nơ ron nhân tạo như thế nào

Hình 2.3: Cấu tạo một nơ ron nhân tạo [3]

Trong đó:

- Tập tín hiệu (x1, x2, , xm) với m >= 1: là những tín hiệu đầu vào của nơ ron Thông thương tập tín hiệu này thường được đưa vào dưới dạng một vector m chiều Nó có thể là tín hiệu input ban đầu hoặc là tín hiệu đầu ra của một nơ ron trước đó

- Tập các trọng số (w1, w2, , wm) : là tập các trọng số liên kết của nơ ron tương ứng với m tín hiệu đầu vào (x1, x2, , xm) Các trọng số này thông thường được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học của mạng tới khi nào đạt được một mục đích nào đó

- ∑ là hàm tổng của tích các tín hiệu đầu vào và trọng số liên kết trên một nơ ron nhân tạo

- f ở đây là hàm truyền hay còn gọi là hàm kích hoạt (activation function) Tác dụng của hàm truyền f này là để giới hạn phạm vi đầu ra của mỗi nơ ron Phạm vi đầu ra của mỗi nơ ron thường được giới hạn trong đoạn giá trị [0,1] hoặc [-1,1] Tùy vào từng bài toán thực tế mà ta lựa chọn hàm truyền cho phù hợp

- b là ngưỡng (còn gọi là hệ số bias) Giá trị này được dùng để phân ngưỡng trên hàm truyền Tương tự các trọng số, giá trị ngưỡng tại mỗi nơ ron cũng được cập nhật trong quá trình huấn luyện của mạng

Tín hiệu đầu ra sau khi qua xử lý thông thường có tối đa một đầu ra Gọi Y là giá trị của tín hiệu đầu ra Tham khảo [3] Giá trị Y được tính theo công thức:

(T là tổng các tích tín hiệu đầu vào x và trọng số tương ứng w)

Một mạng nơ ron nhân tạo là một mạng lưới gồm các nơ ron nhân tạo liên kết với nhau Một mạng nơ ron có thể có một lớp mạng (còn được gọi là tầng mạng) hoặc nhiều lớp mạng, lớp input không được tính là một lớp mạng Mỗi lớp mạng có

chứa một hoặc nhiều nơ ron Hình vẽ minh họa một mạng nơ ron đơn giản có 2 lớp mạng lớp ẩn và Output, có nhiều hơn 2 lớp mạng thì có nhiều lớp ẩn hơn

Hình 2.4: Cấu tạo của một mạng nơ ron nhân tạo đơn giản [3]

2.2.3 Kiến trúc mạng nơ ron

Một nơ ron trong mạng có thể thực hiện được chức năng xử lý thông tin nhất định, nhưng tiêu điểm chính trong xây dựng và tính toán trong mạng lưới nơ ron thần kinh nhân tạo là sự phối hợp giữa các nơ ron như thế nào trong một mô hình kiến trúc thống nhất Các tính toán trên một mạng nơ ron được xác định qua các yếu tố: kiểu nơ ron như thế nào? Kiến trúc kết nối các nơ ron ra làm sao? Và sử dụng thuật toán nào để huấn luyện cho mạng học tập?

Về bản chất chức năng và nhiệm vụ của một mạng nơ ron giống như một hàm số ánh xạ

F: X → Y Trong đó: F là hàm ánh xạ, X là tập tín hiệu đầu vào và Y là tập các tín hiệu đầu ra

Input

Output

Lớp ẩn

Mạng nơ ron nhân tạo chỉ đơn giản làm nhiệm vụ ánh xạ các vector đầu vào

x ∈ X sang các vector đầu ra y ∈ Y thông qua một tiêu chuẩn đánh giá nào đó, cụ thể ở đây tiêu chuẩn đánh giá là các trọng số liên kết trong mạng

Kiến trúc của mạng nơ ron chính là cách thức kết nối các nơ ron trong mạng nhƣ thế nào Các nơ ron trong mạng có thể đƣợc kế nối với tất cả các nơ ron khác gọi là mạng nơ ron có kết nối đầy đủ (fully connected) hoặc chỉ kết nối giữa các nơ ron trong các lớp mạng khác nhau còn gọi là mạng kết nối cục bộ (partially connected)

Kiến trúc mạng đƣợc phân loại dựa trên tính chất kết nối của các nơ ron Kiến trúc mà các nơ ron đƣợc kết nối truyền thẳng với nhau theo một chiều còn gọi

là kiến trúc mạng truyền thẳng (feedforward architechture), kiến trúc các nơ ron có kết nối phản hồi (nghĩa là có phản hồi theo chiều ngƣợc lại) đƣợc gọi là kiến trúc mạng phản hồi (Feedback architecture)

Hình 2.5: Kiến trúc mạng nơ ron truyền thẳng [4]

Hình 2.6: Kiến trúc mạng nơ ron phản hồi [4]

2.3 Huấn luyện mạng nơ ron nhân tạo

Huấn luyện mạng là quá trình huấn luyện cho mạng nơ ron sao cho mạng này có thể học và lưu trữ ghi nhớ những kiến thức đã được học Quá trình này thực chất là việc điều chỉnh các tham số trong mạng nơ ron như trọng số liên kết, giá trị ngưỡng bias tại các nơ ron trong mạng để từ tín hiệu đầu vào ban đầu sau khi đưa qua mạng nơ ron tính toán đưa ra được tín hiệu đầu ra mong muốn Có thể hiểu một cách đơn giản hơn quá trình hoạt động huấn luyện của mạng nơ ron như sau: ban đầu các tham số (trọng số, hàm tổng, hàm truyền, các giá trị ngưỡng) được đưa vào mạng nơ ron một cách ngẫu nhiên Từ tập dữ liệu training ( tập dữ liệu huấn luyện) được đưa vào, mỗi một lần huấn luyện mạng các tham số lại được điều chỉnh sao cho tốt nhất Kết thúc quá trình huấn luyện ta thu được một mạng gồm các tham số tốt nhất để khi mạng hoạt động sẽ thu được kết quả tốt nhất Quá trình huấn luyện mạng hay quá trình học tập của mạng được chia làm hai phương pháp phổ biến đó

là học có giám sát (supervised learning) và học không có giám sát (unsupervised learning)

2.3.1 Học có giám sát

Phương pháp học có giám sát là phương pháp học để thực hiện một công việc có sự giám sát của một hình thức nào đó Cụ thể, phương pháp học có giám sát được mô tả như sau: ban đầu chúng ta sẽ đưa vào mạng một số mẫu đầu vào và đầu

ra tương ứng Với một thuật toán huấn luyện, mạng nơ ron có nhiệm vụ tính toán, thay đổi các tham số sao cho tín hiệu đầu ra thực tế của mạng tính toán được gần với đầu ra mong muốn nhất có thể

Với phương pháp này, tập tín hiệu mẫu để đưa vào quá trình huấn luyện là tập gồm có 2 vector I{ xi, ti } trong đó xi là vector tín hiệu đầu vào của mạng và ti là vector tín hiệu đầu ra mong muốn tương ứng với xi Nhiệm vụ của thuật toán huấn luyện là phải đưa ra một cách tính toán cập nhật các tham số sao cho với tín hiệu đầu vào xi ta thu được kết quả tín hiệu đầu ra yi và sai số giữa kết quả thu được này

và tín hiệu đầu ra mong muốn ti là nhỏ nhất Đối với các bài toán nhận dạng, bản chất của phương pháp học có giám sát này là học để phân lớp đầu vào trên tập mẫu huấn luyện, trong đó số lớp cần phân loại là biết trước Nhiệm vụ của việc học là xác định (thay đổi và cập nhật) các tham số mạng để mỗi đầu vào sẽ được đưa vào đúng lớp chứa nó

Thuật toán huấn luyện điển hình thường được sử dụng trong phương pháp học này là thuật toán LMS (Least Mean Square error [2]) và thuật toán lan truyền ngược (Back Propagation [2])

2.4.2 Học không có giám sát

Phương pháp này trái ngược với phương pháp trên, nghĩa là phương pháp học mà không có bất cứ sự giám sát nào hay không có một hình thức nào để giám sát việc học Với phương pháp học này, tập dữ liệu mẫu để học là một vector tín hiệu đầu vào xi , nhiệm vụ tiếp theo của bài toán là phải phân chia tập mẫu này thành các nhóm con nhỏ hơn, mỗi nhóm có chứa tập các tín hiệu đầu vào có đặc

điểm giống nhau Việc phân nhóm ra như vậy giúp phân loại một cách tự động các tín hiệu đầu vào và số lớp được phân loại ra là không biết trước

Tín hiệu đầu vào trong phương pháp này được xem như một tập các biến ngẫu nhiên Tiếp sau đó một mô hình phân lớp sẽ được xây dựng cho tập dữ liệu đó Theo [2] trong học không có giám sát, hàm chi phí được quyết định bởi phát biểu của bài toán và nó phải được cực tiểu hóa (chi phí thấp nhất có thể)

Phần lớn ứng dụng của phương pháp này áp dụng cho các bài toán ước lượng như mô hình hóa thống kê, nén, lọc(filtering) và phân mảnh Trong thực tế, phương pháp học có giám sát được ứng dụng nhiều hơn phương pháp học không có giám sát Kiểu huấn luyện không có giám sát thường không thích hợp với bài toán phân loại mẫu vì rất khó đảm bảo chắc chắn rằng có sự tương ứng giữa các lớp được tạo

ra một cách tự động với các lớp dữ liệu thực sự Phương pháp này sẽ thích hợp hơn với các bài toán mô hình hóa biểu diễn dữ liệu

Ngoài hai phương pháp trên còn có phương pháp “học kết hợp” Thuật ngữ

“kết hợp” đề cập đến các kiến trúc học sâu bao gồm hoặc sử dụng cả hai phương

pháp học có giám sát và không giám sát Tùy vào mỗi bài toán cụ thể, việc kết hợp hai phương pháp học này nhằm đem lại kết quả tốt hơn cho giá trị đầu ra cuối cùng của bài toán

2.4 Một số mô hình mạng học sâu

2.4.1 Multi layer Perceptron

Multi layer Perceptron – MPL hay mô hình mạng học sâu truyền thẳng nhiều lớp là mạng nơ ron được sử dụng phổ biến nhất

Một mạng MLP tổng quát là mạng nơ ron có n lớp (n≥2) trong đó gồm có: lớp dữ liệu đầu vào (thông thường lớp đầu vào không được tính trong số lớp của mạng), một lớp đầu ra, còn lại là (n-1) lớp ẩn

Hình 2.7: Mô hình mạng MPL 3 lớp ẩn và lớp output [4]

Mỗi lớp mạng trong mạng MPL có vector input tín hiệu đầu vào, các trọng

số w, ngưỡng bias b, và vector tín hiệu đầu ra Để phân biệt các lớp mạng với nhau người ta dùng chỉ số phụ cho các tham số trong mỗi lớp mạng Ví dụ như ở trong lớp mạng thứ i thì tham số của nó là trọng số wi , ngưỡng bi Hàm truyền cũng có thể có nhiều hàm truyền Các nơ ron cùng một lớp thông thường sẽ có cùng một hàm truyền

Kiến trúc của một mạng MLP tổng quát có thể mô tả như sau: Đầu vào là các

vector (x 1 , x 2 , x 3 , … x m ) trong không gian m chiều, đầu ra là các vector (y 1 , y 2 , y 3 ,

… y n) trong không gian n chiều Đối với các bài toán phân loại, p chính là kích thước của mẫu đầu vào, n chính là số lớp cần phân loại

Hoạt động của mạng MLP như sau: Tại lớp đầu vào các nơ ron nhận tín hiệu vào xử lý (tính tổng trọng số, gửi tới hàm truyền) rồi cho ra kết quả (là kết quả của hàm truyền), kết quả này sẽ được truyền tới các nơ ron thuộc lớp ẩn thứ nhất, các nơ ron tại đây tiếp nhận như là tín hiệu đầu vào, xử lý và gửi kết quả đến tầng ẩn thứ 2, quá trình tiếp tục cho đến khi các nơ ron thuộc lớp ra cho kết quả

Thuật toán dùng để huấn luyện cho mô hình mạng truyền thẳng nhiều lớp thường là thuật toán lan truyền ngược [2] sẽ được trình bày cụ thể ở chương 3