Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)

Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)Ứng Dụng Mạng Neural Vào Hệ Gợi Ý Trong Thương Mại Điện Tử (tt)

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

-

VÕ ĐỨC ANH

ỨNG DỤNG MẠNG NEURAL VÀO HỆ GỢI Ý TRONG

THƯƠNG MẠI ĐIỆN TỬ

TÓM TẮT LUẬN VĂN THẠC SĨ

(Theo định hướng ứng dụng)

HỒ CHÍ MINH - 2017

Luận văn được hoàn thành tại:

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

Người hướng dẫn khoa học: PGS TS LÊ TUẤN ANH

Phản biện 1: TS Nguyễn Tuấn Đăng

Phản biện 2: TS Đặng Trường Sơn

Luận văn đã được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông

Vào lúc: 11 giờ 30 ngày 05 tháng 08 năm 2017

Có thể tìm hiểu luận văn tại:

- Thư viện của Học viện Công nghệ Bưu chính Viễn thông

1

CHƯƠNG 1 - TỔNG QUAN

1.1 Tổng quan về thương mại điện tử

Hệ gợi ý

Hệ gợi ý hay hệ khuyến nghị (Recommender system - RS) là một dạng của hệ hỗ

trợ quyết định, cung cấp giải pháp mang tính cá nhân hóa mà không phải trải qua quá trình tìm kiếm phức tạp Hệ thống có thể đưa ra những mục thông tin phù hợp cho người dùng bằng cách dựa vào dữ liệu về hành vi trong quá khứ của họ rồi dự đoán thông tin mới mà người dùng có thể cần Hệ thống gợi ý với việc đưa ra các thông tin gợi ý cho người dùng, hiển thị thêm những nội dung liên quan sẽ giúp giữ người dùng ở lại trang lâu hơn, tăng số lượng khách hàng tiềm năng, giúp đẩy mạnh tiêu thụ sản phẩm Thông tin gợi ý, nội dung liên quan nói trên là các đề xuất, các gợi mở, lựa chọn, là kết quả được tính toán dựa trên việc thu thập dữ liệu về người dùng liên quan tới việc xem, mua hàng, đánh giá cá nhân trước đó

Các dạng gợi ý cũng có nhiều loại: gợi ý các sản phẩm tới người tiêu dùng, các thông tin sản phẩm mang tính cá nhân hóa, tổng kết các ý kiến từ cộng đồng, các xu hướng trào lưu hiện tại, các nội dung được quan tâm, các chia sẻ, các phê bình, đánh giá mang tính số đông liên quan tới yêu cầu, mục đích cho người sử dụng Trong lĩnh vực thương mại điện tử, để xây dựng hệ gợi ý chúng ta cũng dựa vào nhiều yếu tố: lượt xem, lượt mua,

số lượng mua, đánh giá sản phẩm, nhận xét phản hồi…từ đó làm cơ sở để phân loại đưa ra các thông tin phù hợp cho khách hàng

1.2 Tổng quan về mạng neural

Cấu trúc mạng neural

Mỗi neural nhân tạo là một đơn vị xử lý thông tin, nó được mô phỏng theo neural sinh học trong bộ não con người Neural là thành phần cơ bản của một mạng neural Cấu trúc của một neural được mô tả như hình dưới

2

Hình 1.1: Neural nhân tạo

Các thành phần cơ bản của một neural nhân tạo bao gồm:

• Tập các đầu vào: Là các tín hiệu vào (input signals) của neural, các tín hiệu này

thường được đưa vào dưới dạng vectơ N chiều

• Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng số liên

kết – Link weight) Trọng số liên kết giữa tín hiệu vào thứ j với neural k thường được kí hiệu là 𝑤𝑘𝑗 Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng

• Hàm tổng: Dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó

• Ngưỡng (còn gọi là độ lệch – bias): Ngưỡng này thường được đưa vào như một

thành phần của hàm truyền

• Hàm truyền (còn gọi là hàm kích hoạt – activation function): Hàm này được dùng

để giới hạn phạm vi đầu ra của mỗi neural Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho Thông thường, phạm vi đầu ra của mỗi neural được giới hạn trong đoạn [0, 1] hoặc [-1, 1] Các hàm truyền rất đa dạng, có thể là hàm tuyến tính hoặc phi tuyến Việc lựa chọn hàm truyền là tùy vào bài toán

• Đầu ra: Là tín hiệu đầu ra của một neural, mỗi neural sẽ có tối đa là một đầu ra

Mạng neural nhân tạo (Artificial Neural Network - ANN) gọi tắt là mạng neural là mô hình

xử lý thông tin mô phỏng hoạt động như hệ thần kinh của con người Nó được tạo nên từ một số lượng lớn các neural kết nối với nhau thông qua các liên kết làm việc như một thể thống nhất nhằm giải quyết một vấn đề cụ thể nào đó Một mạng neural nhận tạo được cấu hình cho một ứng dụng cụ thể, thông qua quá trình học từ tập các mẫu huấn luyện Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các neural

Phân loại mạng neural

• Mạng neural truyền thẳng một lớp (hay còn gọi là perceptron một lớp)

• Mạng neural truyền thẳng nhiều lớp (hay còn gọi là perceptron nhiều lớp)

• Mạng neural tự tổ chức (mạng Kohonen, hay là mạng cạnh tranh)

3

1.3 Lý do chọn đề tài

Mạng neural với khả năng linh hoạt và mới phát triển mạnh mẽ trở lại đây đang ngày càng được ứng dụng trong nhiều lĩnh vực thực tế, giải quyết những vấn đề khó tưởng chừng như không thực hiện được Đặc biệt là các bài toán nhận dạng mẫu, lọc dữ liệu và

dự báo Đã có nhiều công trình nghiên cứu, bài báo mở ra hướng ứng dụng của mạng neural, nhiều mô hình mạng neural đã đưa lại những kết quả rất khả quan Bởi vậy khả năng ứng dụng mạng neural vào hệ gợi ý là triển vọng và hoàn toàn khả thi

Autoencoder là một mô hình mạng neural dùng để học không giám sát (Unsupervised learning) thông qua các mã (code) với ý tưởng là nếu một mô hình mạng neural có số nút mã trung gian nhỏ hơn số nút đầu vào thì mô hình đó sẽ học được các đặc tính ẩn của dữ liệu Chính vì điều này mà Autoencoder học được cách biểu diễn cho một tập dữ liệu, giúp dự đoán đầu ra từ một đầu vào ban đầu Trong thực tế, Autoencoder đã được ứng dụng thành công để giảm chiều dữ liệu, tất nhiên không làm mất đi các đặc tính quan trọng của dữ liệu Các công trình nghiên cứu hướng ứng dụng gần đây về Autoencoder cũng đem lại những kết quả tốt Đó chính là lý do lựa chọn đề tài

1.4 Mục tiêu của đề tài

Nghiên cứu các kỹ thuật đã áp dụng thành công hiện nay vào hệ gợi ý, đánh giá các

ưu nhược điểm của từng kỹ thuật

Nghiên cứu mô hình mạng Autoencoder và các biến thể của nó, xem xét và đánh giá chi tiết khả năng ứng dụng vào hệ gợi ý

Đề xuất một mô hình mạng Autoencoder phù hợp cho bài toán thương mại điện tử nhằm đưa ra được gợi ý có độ chính xác cao

Tối ưu mô hình mạng, thực hiện so sánh và đánh giá các kết quả thực nghiệm với các phương pháp khác

1.5 Phạm vi và nội dung nghiên cứu

Tập trung nghiên cứu các thành phần trong hệ thống gợi ý, đặc biệt là trong bài toán thương mại điện tử, các hệ gợi ý đã hoàn chỉnh

Nghiên cứu các mô hình mạng neural mà cụ thể là Autoencoder, xem xét khả năng ứng dụng thực tế và các lĩnh vực bài toán đã được ứng dụng thành công

Tổng quan về các giải pháp cho hệ gợi ý hiện nay, các cách thức tiếp cận, thành công cũng như hạn chế của từng phương pháp Đánh giá một cách thức tiếp cận khác, một hướng ứng dụng mới

4

Tham khảo các tập dữ liệu thực nghiệm mở được cung cấp nhằm phục vụ mục đích nghiên cứu, thực nghiệm đặc biệt là về thương mại điện tử Xem xét các bộ công cụ thực nghiệm hiện nay, đánh giá và lựa chọn bộ công cụ phù hợp

Tập trung nghiên cứu và đi sâu tìm hiểu về mô hình mạng Autoencoder và các biến thể của nó Tiến hành ứng dụng mô hình mạng Autoencoder vào tập thực nghiệm thu được, tối ưu và đánh giá kết quả

Phạm vi đề tài tập trung vào việc thực nghiệm kết quả, đặc biệt là huấn luyện và tối

ưu mô hình Kết quả được so sánh để điều chỉnh các tham số mô hình mạng Quá trình thực nghiệm tập trung giải quyết hai vấn đề quan trọng nhất là giảm tối đa thời gian huấn luyện và tăng độ chính xác của kết quả

Hình 2.1: Ma trận trọng số biểu diễn đánh giá của một người dùng 𝒖 với một sản phẩm 𝒊

Mỗi dòng là một user, mỗi cột là một item và mỗi ô là một giá trị đánh giá biểu diễn của user trên item tương ứng Các giá trị đánh giá thường nằm trong một miền giá trị nhất định (ví dụ năm mức độ từ 1 tới 5) Các ô trống là những item chưa được đánh giá Đáng lưu ý là thường mỗi user chỉ đánh giá cho một vài item nhất định, do vậy có rất nhiều ô trống, ma trận kiểu này gọi là ma trận thưa (Sparse matrix)

Ta có một vài quy ước hình thức như sau:

- Coi 𝑼 là tập hợp 𝑛 người dùng (user), |𝑼| = 𝑛 và 𝑢 là một người dùng bất kì (𝑢 ∈ 𝑼)

- Coi 𝑰 là tập hợp 𝑚 sản phẩm (item), |𝑰| = 𝑚 và 𝑖 là một sản phẩm bất kì (𝑖 ∈ 𝑰)

- Coi 𝑹 là tập hợp các giá trị đánh giá của người dùng (user) đối với sản phẩm (item), và

𝑟𝑢𝑖 ∈ 𝑹 là giá trị đánh giá của người dùng 𝑢 trên sản phẩm 𝑖

- Coi 𝑫𝒕𝒓𝒂𝒊𝒏 ⊆ 𝑼 × 𝑰 × 𝑹 là tập dữ liệu huấn luyện

- Coi 𝑫𝒕𝒆𝒔𝒕 ⊆ 𝑼 × 𝑰 × 𝑹 là tập dữ liệu kiểm thử

Các kỹ thuật chính

Có thể phân loại thành ba nhóm phương pháp chính như sau:

• Lọc dựa trên nội dung (Content-based filtering)

6

Phương pháp tập trung dựa vào các đặc tính của sản phẩm để suy luận độ phù hợp với người dùng Mỗi người dùng được mô hình thông qua một hồ sơ Hệ thống sẽ đưa ra những sản phẩm mới nhất tới người dùng thông qua việc xem xét giữa mô tả thuộc tính, nội dung của những sản phẩm tương tự như sản phẩm mà người dùng đã chọn trong quá khứ

• Lọc cộng tác (Collaborative Filtering)

Đây là hướng tiếp cận thành công hiện nay Phương pháp này tập hợp các đánh giá từ người dùng đối với sản phẩm (xem nhiều, mua nhiều, đánh giá tốt…) và sử dụng để tiến hành phân loại Hệ thống sử dụng lọc cộng tác dự đoán mối quan tâm của người dùng đối với một sản phẩm dựa trên tính toán độ tương tự giữa các người dùng, độ tương tự giữa các sản phẩm

• Phương pháp lai (Hibrid approach)

Tức kết hợp hai hay nhiều phương pháp trên cùng một hệ thống Mỗi phương pháp có thế mạnh hay hạn chế riêng nên khi kết hợp sẽ làm giảm hạn chế thấp nhất

2.3 Thuật toán lọc cộng tác

Phát biểu bài toán lọc cộng tác:

Cho tập hữu hạn 𝑈 = {𝑢1, 𝑢2, … , 𝑢𝑁} là tập gồm N người dùng, 𝐼 = {𝑖1, 𝑖2, … , 𝑖𝑀} là tập gồm

M sản phẩm Mỗi sản phẩm 𝑖 ∈ 𝐼 có thể là hàng hóa, phim ảnh, sách báo, tài liệu hay dịch vụ hoặc bất cứ dạng thông tin nào mà người dùng cần đến Mối quan hệ giữa tập người dùng U

và tập sản phẩm I được biểu diễn thông qua ma trận đánh giá 𝑅 = {𝑟𝑢𝑖, 𝑢 = 1 𝑁, 𝑖 =

1 𝑀} Mỗi giá trị 𝑟𝑢𝑖 thể hiện đánh giá của người dùng 𝑢 ∈ 𝑈 đối với sản phẩm 𝑖 ∈ 𝐼 Giá trị

𝑟𝑢𝑖 có thể được thu thập trực tiếp hoặc gián tiếp thông qua phản hồi từ người dùng Giá trị

𝑟𝑢𝑖 = ∅ được hiểu người dùng 𝑢 chưa đánh giá hoặc chưa bao giờ biết đến mặt hàng 𝑖 Nhiệm

vụ của lọc cộng tác là dự đoán quan điểm của người dùng 𝑢 đối với mặt hàng mới 𝑖, trên cơ

sở đó tư vấn cho người dùng những sản phẩm phù hợp

Ma trận đánh giá (Rating matrix) R là thông tin đầu vào với M dòng và N cột, các giá trị được biểu trong miền hữu hạn 𝑟𝑢𝑖 ∈ {∅, 1, 2, … , R} Giải thuật CF thực hiện tính toán để đưa ra giá trị dự đoán 𝑟̂𝑢𝑖𝛼 cùng danh sách các khoản mục gợi ý cho người dùng 𝛼 có độ tương tự phù hợp

Dựa trên ma trận đánh giá, các phương pháp lọc cộng tác thực hiện hai tác vụ: Dự đoán quan điểm của người dùng hiện thời về các sản phẩm mà họ chưa đánh giá, đồng thời đưa ra danh sách các sản phẩm có đánh giá cao nhất phân bổ cho người dùng hiện thời

Có thể phân loại thành hai cách tiếp cận chính:

7

• Lọc cộng tác dựa vào bộ nhớ (Memory-based, còn gọi là phương pháp láng giềng,

Neighborhood-based)

Lọc cộng tác dựa trên bộ nhớ tiếp cận theo hai phương pháp chính là:

o Lọc cộng tác dựa trên người dùng (User-based approach)

Dựa trên dữ liệu quá khứ của người dùng tương tự (similarity)

o Lọc cộng tác dựa trên sản phẩm (Item-based approach)

Dựa trên dữ liệu quá khứ của các sản phẩm tương tự

Cả hai cách tiếp cận này đều gặp phải hạn chế là: Vấn đề dữ liệu thưa (Sparse matrix), vấn đề người dùng mới (New user) và sản phẩm mới (New item)

• Lọc cộng tác dựa vào mô hình (Model-based)

Sử dụng tập đánh giá để xây dựng mô hình huấn luyện Kết quả của mô hình huấn luyện được sử dụng để sinh ra dự đoán quan điểm của người dùng về sản phẩm chưa được họ đánh giá Ưu điểm của phương pháp này là mô hình huấn luyện có kích thước nhỏ hơn rất nhiều so với ma trận đánh giá và thực hiện dự đoán nhanh Mô hình chỉ cập nhật lại khi có những thay đổi lớn và chỉ thực hiện lại phần xây dựng mô hình

Kỹ thuật k láng giềng gần nhất (User/Item k-nearest neighbors)

Kỹ thuật k láng giềng gần nhất dựa trên người dùng (hoàn toàn tương tự nếu dựa trên sản phẩm) là xác định độ tương tự giữa hai người dùng thông quan việc so sánh các đánh giá của họ trên cùng sản phẩm, sau đó dự đoán đánh giá trên sản phẩm i bởi người dùng u, thông qua các đánh giá của người dùng tương tự với người dùng u

Ta coi một dòng hay một cột là một vectơ Ta xác định độ tương tự giữa các Users hay các Items bằng một cơ sở tính toán cụ thể gọi là khoảng cách Khoảng cách càng nhỏ thì có nghĩa

là đối tượng xem xét càng gần nhau và như vậy độ tương tự càng lớn Ngược lại, khoảng cách càng lớn thì độ tương tự càng nhỏ Một số khoảng cách tiêu biểu như sau:

Độ tương tự giữa người dùng u và người dùng 𝑢′ có thể được tính theo Cosine hoặc Pearson như sau:

𝑠𝑖𝑚𝑐𝑜𝑠𝑖𝑛𝑒(𝑢, 𝑢′) = ∑𝑖∈𝐼𝑢𝑢′𝑟𝑢𝑖 𝑟𝑢′𝑖

√∑𝑖∈𝐼𝑢𝑢′𝑟𝑢𝑖2√∑𝑖∈𝐼𝑢𝑢′𝑟𝑢 ′ 𝑖2

𝑠𝑖𝑚𝑝𝑒𝑎𝑟𝑠𝑜𝑛(𝑢, 𝑢′) = ∑ (𝑟𝑢𝑖− 𝑟̅𝑢) (𝑟𝑢

′ 𝑖 𝑖∈𝐼𝑢𝑢′ − 𝑟̅𝑢′)

√∑ (𝑟𝑢𝑖 − 𝑟̅𝑢)2 𝑖∈𝐼𝑢𝑢′ √∑ (𝑟𝑢 ′ 𝑖− 𝑟̅𝑢′)2

𝑖∈𝐼𝑢𝑢′

Trong đó:

𝑟𝑢𝑖 và 𝑟𝑢′ 𝑖 là đánh giá của người dùng u và 𝑢′ trên sản phẩm 𝑖 tương ứng

𝐼𝑢𝑢′ là tập các sản phẩm được đánh giá bởi người dùng u và 𝑢′

𝑟̅𝑢 là đánh giá trung bình trên tất cả các sản phẩm của người dùng u

𝑟̅𝑢′ là đánh giá trung bình trên tất cả các sản phẩm của người dùng 𝑢′

Sau khi tính toán độ tương tự giữa các người dùng, đánh giá của người dùng u trên sản phẩm

𝑖 được dự đoán theo công thức:

𝑠𝑖𝑚(𝑢, 𝑢′) là độ tương tự giữa hai người dùng u và 𝑢′ được xác định ở trên

𝐾𝑢 là số người dùng có độ lân cận gần người dùng u (k láng giềng gần nhất của u)

9

Kỹ thuật phân rã ma trận (matrix factorization)

Kỹ thuật phân rã ma trận (Matrix Factorization – MF) là kỹ thuật chia một ma trận lớn

X thành hai ma trận có kích thước nhỏ hơn W và H, sao cho ta có thể xây dựng lại X từ hai

ma trận nhỏ hơn này càng chính xác càng tốt

𝑋 ~ 𝑊𝐻𝑇 như hình minh họa

Hình 2.2: Phân rã ma trận

Trong đó: 𝑊 ∈ 𝑅|𝑈|×𝐾 là một ma trận mà mỗi dòng 𝑢 là một vectơ bao gồm K nhân tố tiềm

ẩn (latent factors) mô tả người dùng 𝑢; và 𝐻 ∈ 𝑅|𝐼|×𝐾 là một ma trận mỗi dòng 𝑖 là một vectơ bao gồm K nhân tố tiềm ẩn mô tả cho sản phẩm 𝑖 (thông thường 𝐾 ≪ |𝑈| và 𝐾 ≪ |𝐼|) Gọi 𝑤𝑢𝑘 và ℎ𝑖𝑘 là các phần tử tương ứng của ma trận W và H, khi đó xếp hạng của người

dùng 𝑢 trên sản phẩm 𝑖 được dự đoán bởi công thức

𝑟̂𝑢𝑖 = ∑ 𝑤𝑢𝑘ℎ𝑖𝑘 = w ℎ𝑇

𝐾

𝑘=1Như vậy, vấn đề chủ chốt trong kỹ thuật MF là làm thế nào tìm được giá trị của hai tham số

W và H Hai tham số này có được bằng cách tối ưu hóa hàm mục tiêu (object function) tương

tự như hàm lỗi RMSE (Root Mean Squared Error)

𝑢,𝑖∈𝐷𝑡𝑟𝑎𝑖𝑛

• Chính tắc hoá (Regularization)

Để ngăn ngừa sự quá khớp hay học vẹt (overfitting – xảy ra khi dữ liệu huấn luyện thì cho kết quả tốt nhưng dữ liệu thử nghiệm lại kém) người ta thay đổi hàm mục tiêu bằng cách

10

thêm vào một đại lượng gọi là chính tắc hóa (Regularization) nhằm điều khiển độ lớn của các

giá trị trong W và H Hàm mục tiêu lúc này trở thành:

𝑂𝑀𝐹 = ∑ (𝑟𝑢𝑖 − ∑ 𝑤𝑢𝑘ℎ𝑖𝑘

𝐾

𝑘=1

)2

𝑢,𝑖∈𝐷𝑡𝑟𝑎𝑖𝑛

+ 𝜆 (‖𝑊‖𝐹2 + ‖𝐻‖𝐹2)

Trong đó 𝜆 là hệ số chính tắc hóa (0 ≤ 𝜆 < 1) và ‖ ‖𝐹2 là chuẩn Frobenius

• Chuẩn hoá dữ liệu

Thông thường ma trận trọng số các đánh giá của người dùng đối với sản phẩm rất thưa

Ta có thể cho các ô này giá trị bằng 0 (tức là không có đánh giá), tuy nhiên cách này cho kết quả không tốt Một cách khác là cho giá trị là trung bình cộng của tất cả các mức đánh giá Khi nói tới việc đánh giá đối với một sản phẩm, mỗi người dùng sẽ có một mức đánh giá cá nhân riêng Ngay cả khi đã định nghĩa rõ ràng các mức đánh giá (ví dụ, 1 = “hoàn toàn không đồng ý”, 2 = “không đồng ý”, 3 = “trung tính”, 4 = “đồng ý”, 5 = “hoàn toàn đồng ý”), một

số người vẫn có thể đánh giá tuỳ theo mức độ của họ, tuỳ thuộc vào cảm tính Nếu người dễ tính, dù không hoàn toàn hài lòng họ vẫn đánh giá là 5, ngược lại có người khó tính, mặc dù hoàn toàn đồng ý nhưng họ cũng chỉ đánh giá là 3 Vì vậy bước chuẩn hoá này là rất quan trọng

2.4 Autoencoder

Autoencoder là một biến thể quan trọng của deep neural network Bản chất, đây là một

mô hình mạng neural mà được huấn luyện để cố gắng sao chép dữ liệu đầu vào thành đầu ra của chính nó Bên trong, mô hình của nó có một lớp ẩn 𝒉 mô tả cho một mã được sử dụng

để đại diện cho đầu ra Mạng có thể được xem gồm hai phần: một phần làm chức năng mã hoá 𝒉 = 𝒇(𝒙) và một bộ giải mã tạo ra các tái thiết 𝐫 = 𝒈(𝐡) Kiến trúc này được trình bày trong hình 2.4

Hình 2.3: Kiến trúc tổng quát của một autoencoder, ánh xạ một đầu vào x tới một đầu

ra (gọi là tái thiết) r thông qua mã h