Nghiên cứu phân tích hành vi mua hàng của khách hàng sử dụng mạng nơ ron

HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - NGUYỄN BÁ QUYỀN NGHIÊN CỨU PHÂN TÍCH HÀNH VI MUA HÀNG CỦA KHÁCH HÀNG SỬ DỤNG MẠNG NƠRON LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – 2021 HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - NGUYỄN BÁ QUYỀN NGHIÊN CỨU PHÂN TÍCH HÀNH VI MUA HÀNG CỦA KHÁCH HÀNG SỬ DỤNG MẠNG NƠRON CH CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ: 8.48.01.01 ĐỀ CƢƠNG LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƢỜI HƢỚNG DẪN KHOA HỌC: TS PHẠM HOÀNG DUY HÀ NỘI – 2021 i LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn thực dƣới hƣớng dẫn TS Phạm Hoàng Duy Mọi tham khảo dùng luận văn đƣợc trích dẫn nguồn gốc rõ ràng Các nội dung nghiên cứu kết đề tài trung thực chƣa đƣợc công bố cơng trình TÁC GIẢ Nguyễn Bá Quyền ii MỤC LỤC LỜI CAM ĐOAN i DANH MỤC HÌNH VẼ iv DANH MỤC BẢNG v THUẬT NGỮ VIẾT TẮT vi MỞ ĐẦU .1 CHƢƠNG PHÂN TÍCH HÀNH VI KHÁCH HÀNG 1.1 Khái quát hành vi khách hàng 1.1.1 Giới thiệu chung 1.1.2 Các yếu tố ảnh hƣởng đến hành vi tiêu dùng 1.1.3 Đóng góp luận văn kỹ thuật liên quan 1.2 Phạm vi công việc nghiên cứu 1.2.1 Khái quát vấn đề 1.2.2 Mục đích nghiên cứu 10 1.2.3 Đối tƣợng phạm vi nghiên cứu 10 1.2.4 Phƣơng pháp nghiên cứu 12 CHƢƠNG MẠNG RNN VÀ KỸ THUẬT PHÂN TÍCH 13 2.1 Mạng Nơron vấn đề 13 2.1.1 Tổng quan mạng lƣới thần kinh 13 2.2 Phƣơng pháp nghiên cứu 18 2.2.1 Mạng RNN sở .18 2.2.2 Các phƣơng pháp nhúng 19 2.2.3 Cơ chế ý 23 2.3 Xử lý liệu .27 CHƢƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 29 3.1 Bộ liệu .29 3.2 Cách thức thực nghiệm đánh giá 31 3.2.1 Cách thức thực nghiệm .31 3.2.2 Cách thức đánh giá .33 3.3 Cài đặt phần mềm 33 3.3.1 Tổng quan phần mềm 33 3.3.2 Cài đặt framework Tensorflow 33 iii 3.3.3 Cài đặt package Gensim 34 3.4 Thực nghiệm mã nguồn đánh giá kết 35 3.4.1 Thực nghiệm mã nguồn 35 3.4.2 Đánh giá kết 37 KẾT LUẬN VÀ ĐỊNH HƢỚNG NGHIÊN CỨU 49 TÀI LIỆU THAM KHẢO 50 iv DANH MỤC HÌNH VẼ 14 ẻ .16 -P .16 Mơ hình RNN-Emb-Jointly-Lin and RNN-Emb-Jointly-Nonlin 21 K ố Mơ hình RNN-Att-HS-Lin and RNN-Att-HS-N ú T ẩ 24 Mơ hình RNN-Att-Emb-Lin RNN-Att-Emb-Nonlin 27 P 32 nhúng khác .39 ú 40 ú khác .41 ú 42 ú 43 ú ú ú ú - RNN-Att-Emb-Lin 44 ú - RNN-Att-Emb-Nonlin .45 ú ẩ - RNN-Att-HS-Nonlin 46 ú ú g ẩ RNN-Att-HS-Lin 47 v DANH MỤC BẢNG ú ú N 19 24 .39 vi THUẬT NGỮ VIẾT TẮT Kí hiệu Ý nghĩa RNN(Recurrent Nơron network) Mạng Nơron hồi quy LSTM(Long short-term memory) Kiến trúc trí nhớ ngắn hạn, dài hạn RNN-Emb-Word2vec Phép nhúng kết hợp với Word2vec RNN-Emb-Jointly-Lin Phép nhúng kết hợp phân loại tuyến tính RNN-Emb-Jointly-Nonlin Phép nhúng kết hợp phân loại phi tuyến tính Phép nhúng riêng biệt đƣợc điều chỉnh vi RNN-Emb-Word2vec-Finetune cấp chung RNN-Emb-Output Phép nhúng đƣợc đào tạo riêng biệt Cơ chế ý đến trạng thái RNN ẩn với RNN-Att-HS-Lin trọng số ý tuyến tính Cơ chế ý đến trạng thái RNN ẩn với RNN-Att-HS-Nonlin trọng số ý phi tuyến tính Cơ chế ý trỏ đến phép nhúng có trọng RNN-Att-Emb-Lin số tuyến tính Cơ chế ý trỏ đến phép nhúng có trọng RNN-Att-Emb-Nonlin số phi tuyến tính MỞ ĐẦU Dự đốn hành vi khách hàng tƣơng lai nhiệm vụ quan trọng để mang lại cho họ trải nghiệm tốt cải thiện hài lịng họ Một ví dụ thực tế đƣợc quan sát thấy hệ thống thƣơng mại điện tử, nơi khách hàng tránh việc tìm kiếm thơng qua danh mục sản phẩm không thực cần thiết thay vào họ có sản phẩm đƣợc đề xuất đáp ứng đƣợc điều họ quan tâm Hành vi khách hàng đƣợc biểu diễn dƣới dạng liệu mô tả tƣơng tác qua thời gian, ví dụ tƣơng tác mặt hàng mà khách hàng mua xem Do đó, lịch sử tƣơng tác khách hàng đƣợc mơ hình hóa dƣới dạng liệu có đặc điểm cụ thể kết hợp với thơng qua khía cạnh thời gian Để kiểm tra, khách hàng mua điện thoại di động mới, họ mua phụ kiện cho điện thoại di động tƣơng lai gần khách hàng mua sách, họ quan tâm đến sách tác giả thể loại Để đƣa dự đốn xác điều quan trọng Một cách phổ biến để xử lý liệu xây dựng tính thủ cơng để tổng hợp thơng tin từ liệu q khứ Ví dụ: ngƣời ta đếm số lƣợng sản phẩm mua danh mục cụ thể N ngày qua số ngày kể từ lần mua cuối Việc tạo số tính đƣợc làm thủ cơng tạo vectơ đặc trƣng đƣợc đƣa vào thuật toán học máy nhƣ hồi quy logistic Mặc dù đạt đƣợc kết tốt với phƣơng pháp này, nhƣng có số mặt hạn chế Đầu tiên, phần mối quan hệ thời gian trình tự bị bỏ qua Mặc dù chúng có bao gồm tính chứa thông tin từ tƣơng tác khứ nhƣng thực tế bao gồm tất thơng tin có liệu thơ Chỉ tín hiệu đƣợc mã hóa tính đƣợc mơ hình dự đốn ghi lại Thứ hai, thơng thƣờng có tập hợp lớn tính đƣợc tạo thủ cơng tay Các nhà khoa học liệu dành nhiều thời gian để thiết kế thử nghiệm tính mới, mà nhiều tính số khơng cải thiện hiệu suất dự đoán Ngay họ cải thiện, khó để biết liệu tập hợp tính thủ cơng thực tế có tối ƣu cho vấn đề hay khơng, q trình thử nghiệm thêm tính thủ công không dừng lại dừng lại thuật toán đạt mức chấp nhận đƣợc Mức hiệu suất khác xa so với tiềm thực Thứ ba, số trƣờng hợp, việc tính tốn tính thủ cơng dẫn đến việc xử lý liệu tốn Với việc học sâu nhận đƣợc nhiều ý năm qua, cách tiếp cận liệu đƣợc khám phá Mạng thần kinh tái tạo (RNN) động để học mẫu phức tạp, chúng có khả trì trạng thái ẩn đƣợc cập nhật hàm phi tuyến tính phức tạp đƣợc học từ liệu Họ nắm bắt thơng tin phát triển xảy bƣớc thời gian trƣớc Trong năm qua, RNN đạt đƣợc trình độ tiên tiến vấn đề nhƣ lập mơ hình ngơn ngữ, nhận dạng giọng nói, dịch máy nhận dạng chữ viết tay, tác vụ có số điểm tƣơng đồng với toán dự đoán hành động tƣơng lai từ liệu tƣơng tác khứ, theo nghĩa liệu đƣợc biểu diễn Luận văn nghiên cứu kỹ thuật khác sử dụng RNN để dự đoán hành vi khách hàng tƣơng lai Cụ thể hơn, tập trung vào hai khía cạnh: Nghiên cứu phép nhúng đƣợc sử dụng để tạo đại diện mục vectơ hữu ích giúp cải thiện dự đốn với RNN Tiếp theo đánh giá phân tích biểu diễn vectơ lựa chọn thay khác để tìm hiểu mục nhúng Nghiên cứu cách chế ý giúp giải thích dự đốn mơ hình RNN Sau phân tích hiệu suất biến thể chế ý khác cung cấp ví dụ dự đốn đƣợc giải thích nguyên tắc khứ 37 watch_train = [] # populate the list with the movie ID for i in tqdm(users_train): temp = train_df[train_df["userId"] == i]["movieId"].tolist() watch_train.append(temp) 3.4.1.7 Đào tạo cho mơ hình Để đào tạo mơ hình, mã nguồn sử dụng thƣ viện gensim Module chứa thƣ viện Word2Vec, đƣợc sử dụng để xử lý lƣợng liệu lớn hỗ trợ giao diện Pythonic, mã nguồn bên dƣới áp dụng RNN-emb-Word2vce: model = Word2Vec(window = 10, sg = 1, hs = 0,negative = 10, alpha=0.03, min_alpha=0.0007, seed = 14) model.build_vocab(watch_train, progress_per=200) model.train(watch_train, total_examples = model.corpus_count, epochs=10, report_delay=1) Tiếp theo in mơ hình để kiểm tra cần X = model[model.wv.vocab] X.shape 3.4.2 Đánh giá kết Trong phần đánh giá này, luận văn làm rõ hai kết cho mục tiêu đƣợc đặt chƣơng Thứ nhất, thấy thơng qua việc sử dụng phép nhúng kết hợp với word2vec giúp cho việc tối ƣu hóa vector liệu tƣơng tác khách hàng đề phục vụ cho việc dự đốn hành vi tƣơng lai Trong ví dụ phần 3.4.2.1, thấy rõ việc phép kết hợp với word2vec kết hợp thông tin thời gian phát hành phim, thể loại chuỗi kiện cụ thể Điều có nghĩa có số khách hàng xem liên tiếp phim thời kỳ, thể loại câu chuyện Thứ hai, chế ý sử dụng trọng số ý đƣợc thử nghiệm góp 38 phần đƣa dự đoán hành vi khách hàng tƣơng lai dựa vào tƣơng tác khứ Trong phần phân tích mục 3.4.2.2 cho thấy việc dự đoán hành vi khách hàng tƣơng lai cho liệu cụ thể đề cập phần trƣớc hỗ trợ việc đƣa chiến lƣợc phù hợp để tiếp cận khách hàng tốt Cần lƣu ý việc dự đoán hành vi khách hàng việc giới thiệu phim tới khách hàng có điểm chung đƣa dự đoán khách hàng tƣơng lai để từ có chế quảng cáo, tiếp thị kinh doanh phù hợp, tránh ngƣợc lại xu hƣớng khách hàng Tuy nhiên có điểm khác biệt hai hình thức phân tích hành vi khách hàng mang ý nghĩa dự đoán rộng phức tạp so với giới thiệu phim tới khách hàng 3.4.2.1 Đánh giá kết việc phân tích phép nhúng Trong phần này, luận văn trình bày kết phân tích cho phép nhúng thu đƣợc phƣơng pháp khác Mục đích để quan sát đặc điểm đƣợc thể mục nhúng Lƣu ý tham khảo RNN-EmbWord2vec, Skip-gram với lấy mẫu gián tiếp (word2vec) đƣợc sử dụng trực tiếp, với phép nhúng RNN-Emb-Jointly-Lin RNN-Emb-Word2vec-Finetune phép nhúng ma trận , với phép nhúng RNN-Emb-Jointly-Nonlin sử dụng phép toán đƣợc giới thiệu chƣơng ( ) 39 nh 3.2 Độ mát xác thực phương pháp nhúng khác Trục x đại diện cho số lần lặp lại ảng 3.1 Năm phim tương tự hàng đầu Trong ví dụ đầu tiên, thấy ngƣời xem phim “Finding Nemo” có phim giống với phim đƣợc liệt kê gợi ý thêm cho khách hàng Chúng ta thấy tất phƣơng pháp ngoại trừ RNNEmb-Jointly-Nonlin trả phim có thể loại, bao gồm phim dành cho thiếu niên khác top 5, nhƣ Monsters, Inc or The Incredibles Ngƣợc lại, với phép nhúng RNN-Emb-Jointly-Nonlin khó tìm thấy điểm tƣơng đồng với “Finding Nemo” đƣợc gợi ý cho ngƣời xem top phim giống 40 Ví dụ thứ hai cho thấy phim đƣợc gợi ý cho ngƣời xem chủ đề với phim “Star War IV” Các mơ hình RNN-Emb-Word2vec RNN-EmbWord2vec-Finetune dƣờng nhƣ mã hóa mật thiết phim có liên quan nhiều mặt ngữ nghĩa, chúng có nhiều phim Star War top So với trƣờng hợp trƣớc, thấy mối quan hệ số phim thuộc top với phép nhúng RNN-Emb-Jointly-Nonlin, giống nhƣ phim Star War phim Sci-Fi nhƣ Terminator Trong ví dụ thứ ba, ba mơ hình dƣờng nhƣ đặt phim Hornor / Drama khác gần với [REC] Điều thú vị, ví dụ cuối cùng, phim giống dẫn đầu The Shining cho RNN-Emb-Word2vec hai phim đạo diễn nh 3.3 Biểu diễn phép nhúng cho việc phân tích phim cũ phim Hình 3.9 cho thấy kết phép nhúng cho phim cũ (từ năm 1900 đến năm 1970) phim (từ năm 2000 trở đi) sau giảm kích thƣớc phép nhúng xuống giá trị với t-SNE Đối với tất mơ hình, cho thấy số khu vực có mật độ phim cũ tập trung cao 41 nh 3.4 Biểu diễn phép nhúng cho phim phát hành vào năm khác Trong hình 3.10, tiếp tục xem xét việc phép đại diện nhúng phạm vi cụ thể năm phát hành Trong ba phƣơng pháp, thấy cụm tập trung theo năm phát hành Điều thú vị mơ hình có sử dụng phép nhúng kết hợp, nhận thấy nhóm phim kết thúc thời gian (2010-2013, 2013-2014, 2014 hơn) đƣợc đặt gần nhau, mơ hình khác, nhóm xa 42 nh 3.5 Biểu diễn phép nhúng cho phim khác nhau, khác thể loại Hình 3.11 cho thấy việc biểu diễn phép nhúng cho phim thuộc thể loại khác Chúng ta thấy tất phƣơng pháp gộp phim kinh dị lại với Chúng ta thấy nhóm lớn phim kinh dị nhóm thể loại nhỏ khác, loại phụ cụ thể phim kinh dị Các mơ hình sử dụng phép nhúng dƣờng nhƣ nhóm số phim dành cho trẻ em lại với nhau, đặc biệt phép nhúng RNN-Emb-Word2vec phép nhúng RNN-EmbWord2vec_Finetune RNN-Emb-Word2vec có phân tách rõ ràng thể loại dành cho trẻ em thể loại kinh dị, hai thể loại khác Ngƣợc lại, mơ hình sử dụng phép nhúng kết hợp lại biểu diễn số khu vực có trộn lẫn phim trẻ em phim kinh dị Có nhiều vùng khác mà thấy thuộc thể loại phim tình cảm, nhƣng thể loại phim tình cảm thể loại rộng liên quan đến nhiều thể loại khác 43 nh 3.6 Biểu diễn phép nhúng cho phim khác Hình 3.12 cho thấy phép nhúng số đoạn phim đặc biệt Nhƣ thấy, phép nhúng RNN-Emb-Word2vec mã hóa chặt chẽ tất thể loại khác nhau, ngoại trừ phim Rocky hoàn toàn tách biệt so với phim khác Có vẻ nhƣ ba phƣơng pháp cịn lại gộp nhóm số phim thể loại, nhƣng thấy số phim thể loại khác nằm khu vực khác Nói chung, quan sát thấy tất biểu diễn phép nhúng chứa số thông tin mục mã hóa Word2vec học biểu diễn thông qua việc sử dụng ngữ cảnh mục Nhƣ thấy, phép nhúng sử dụng word2vec dƣờng nhƣ kết hợp thông tin thời gian phát hành phim, thể loại thời gian cụ thể Điều có nghĩa có số khách hàng xem liên tiếp phim thời kỳ, thể loại câu chuyện tiếp nối Chúng ta thấy phƣơng pháp khác kết hợp loại thơng tin phép nhúng Các phƣơng pháp cố gắng tối ƣu hóa biểu diễn phép nhúng cho nhiệm vụ cụ thể, RNN-Emb-Word2vec-Finetune bắt đầu với việc biểu diễn phép nhúng sử dụng word2vec Vì nhiệm vụ bao gồm dự đoán phim đƣợc đƣa dựa vào phim trƣớc đây, cách biểu diễn phép nhúng đƣợc tập trung đào tạo có kết hợp với việc tính tốn bối cảnh 44 3.4.2.2 Phân tích tính tập trung Nhƣ đề cập, trọng số ý cung cấp mức độ tập trung mơ hình vào phần tử chuỗi để đƣa dự đốn Do đó, số ý hữu ích để giải thích dự đốn Trong phần này, số ví dụ dự đoán trọng số ý cho phƣơng pháp khác đƣợc đƣa đánh giá Đầu tiên, phép nhúng có trọng số tuyến tính RNN-Att-Emb-Lin đƣợc sử dụng để làm ví dụ, phƣơng pháp cung cấp khả diễn giải cao cho phép nhúng nh 3.7 Cơ chế ý kết hợp phép nhúng (tuyến tính) - RNN-Att-Emb-Lin Hình 3.13 cho thấy ví dụ Ở cùng, thấy danh sách 28 phim theo trình tự từ thấp lên cao đƣợc khách hàng quan tâm Thứ tự từ trái sang phải, hàng một, hàng cuối đại diện cho phim Trọng số ý đƣợc biểu thị màu sắc, màu tối cho thấy mơ hình tập trung nhiều ý Ở phía dƣới, thấy 10 phim đƣợc dự đoán đứng đầu xu hƣớng đƣợc ngƣời xem ƣu tiên lựa chọn Cụ thể, ta thấy phép nhúng dự đoán mạnh mẽ cho show truyền hình “Louis CK” có khả đƣợc xem cao với xác suất đƣợc xếp hạng cao Tiếp đó, ta có thêm 45 hiển thị 10 xác suất dự đoán hàng đầu xác suất dự đoán thứ hai “David Cross: Bigger & Blackerer” chƣơng trình hài kịch khác Với phép nhúng tuyến tính RNN-Att-Emb-Lin ta thu đƣợc dự đốn với xác suất cao tập trung vào thể loại hài kịch Hình 3.14 cho thấy kết ý đến phép nhúng có trọng số phi tuyến tính (RNN-Att-Emb-Nonlin) Qua kết này, nhanh chóng nhận thấy trọng số ý đƣợc phân bổ nhiều phim khác nh 3.8 Cơ chế ý kết hợp nhúng (phi tuyến tính) - RNN-Att-Emb-Nonlin Trong ví dụ 3.14, mơ hình dự đốn chƣơng trình giải trí Louis CK nằm top 10 ví dụ đầu tiên, trái ngƣợc với ba dự đoán ý đến phép nhúng có trọng số tuyến tính, mơ hình tập trung vào phim khác 46 nh 3.9 Cơ chế ý kết hợp phép nhúng trạng thái ẩn (phi tuyến tính) - RNNAtt-HS-Nonlin Hình 3.15 cho thấy ví dụ chế ý trạng thái ẩn với trọng số phi tuyến tính (RNN-Att-HS-Nonlin) Ở cần lấy xem xét trạng thái ẩn mã hóa thơng tin từ đầu vào trƣớc Do đó, thực tế mơ hình tập trung vào trạng thái ẩn cụ thể đảm bảo mơ hình tập trung vào phim cụ thể Tuy nhiên, đầu vào phim khiến dân mạng phải ý mạnh mẽ đến trạng thái ẩn, tín hiệu cho thấy phim cụ thể có ảnh hƣởng mạnh mẽ đến phần cuối dự đoán Trong trƣờng hợp này, thấy điểm tƣơng đồng với ý đến nhúng với trọng số phi tuyến tính, ý đƣợc chia số phim Điều để dẫn đến đa dạng dự đốn Ví dụ, có chƣơng trình “Louis C.K.” hiển thị 10 dự đốn hàng đầu hình 3.15 47 nh 3.10 Cơ chế ý kết hợp phép nhúng trạng thái ẩn (tuyến tính) dựa RNN-Att-HS-Lin Hình 3.16 hiển thị ví dụ cho chế ý với ý đến trạng thái ẩn với trọng số tuyến tính (RNN-Att-HS-Lin) Chúng ta quan sát thấy mơ hình dƣờng nhƣ có xu hƣớng tập trung mạnh mẽ trạng thái ẩn cuối cùng, điều xảy nhiều ví dụ Trong trƣờng hợp này, thật khó biết mơ hình biết phim cuối quan trọng sử dụng phim cho dự đoán, mơ hình mang thơng tin tồn chuỗi đến trạng thái ẩn cuối Do đó, trƣờng hợp này, xác định trọng số ý hữu ích để phát phim quan trọng dự đốn Nói chung, nhận thấy việc sử dụng ý đến nhúng với trọng số tuyến tính cung cấp nhìn sâu sắc lý mơ hình dự đốn phim phim có xác suất cao Phƣơng pháp cung cấp số phim quan trọng mơ hình mà có điểm tƣơng đồng với phim đƣợc dự đốn hàng đầu Các mơ hình có trọng số ý phi tuyến tính cung cấp phim lớn hơn, quan trọng để mơ hình đƣa dự đoán Chúng ta nhận thấy điều giúp đa dạng dự đoán, việc có nhiều phim có mức độ ý làm cho mơ 48 hình hữu ích cho mục đích giải thích Chúng ta tin có nhiều dự đốn lý phƣơng pháp phi tuyến tính đạt đƣợc độ R-Precision tốt Chỉ xem xét một vài phim ngụ ý dự đoán hàng đầu liên quan nhiều đến phim Ở số khách hàng, dự đốn tốt ngắn hạn, họ quan tâm đến phim liên quan đến phim cuối họ xem Ví dụ: khách hàng xem phim liên quan đến Artificial Intelligence, ngƣời xem quan tâm đến phim khác chủ đề thời gian ngắn hạn Tuy nhiên, sau số tháng quan tâm đến chủ đề giảm Top 10 dựa loại phim có nhiều khả có nhiều kết trùng khớp với phim xem thực cho khách hàng top 10 dựa phim liên quan đến Trí tuệ nhân tạo Cuối cùng, mơ hình với ý tuyến tính đến trạng thái ẩn thƣờng tập trung hầu hết ý vào trạng thái ẩn cuối Có hai trƣờng hợp giải thích hành vi Đầu tiên mơ hình thực tập trung vào phim này, phim cuối quan trọng để xác định phim mà khách hàng quan tâm Thứ hai mơ hình mang tất thơng tin từ phim trƣớc, phần cuối bị ẩn trạng thái chứa thông tin tất phim trƣớc Trong trƣờng hợp cuối này, khơng thể sử dụng trọng số ý để phim quan trọng dự đoán 49 KẾT LUẬN VÀ ĐỊNH HƢỚNG NGHIÊN CỨU Luận án nghiên cứu việc sử dụng mạng thần kinh hồi quy để dự đoán hành vi khách hàng từ liệu tƣơng tác khứ RNN chứng tỏ tình hữu dụng việc lập mơ hình liệu tƣơng tác khách hàng để dự đoán mặt hàng mà khách hàng mua tƣơng lai Việc sử dụng kỹ thuật nhúng cải thiện đáng kể hiệu mơ hình RNN đơn giản dự đoán ngắn hạn dài hạn Các phƣơng pháp nhúng khác biểu diễn đặc trƣng khác mà khách hàng quan tâm nhƣ thời gian phim đƣợc phát hành, thể loại câu chuyện Kỹ thuật Word2vec có ƣu rõ ràng chút, nhƣng phƣơng pháp khác đạt đƣợc hiệu suất tƣơng tự với mục tiêu Nghiên cứu tƣơng lai khám phá phƣơng pháp để học cách nhúng cách sử dụng liệu mục (ví dụ nhƣ năm phim, đạo diễn, v.v.) sử dụng phép nhúng biểu đồ tri thức Cơ chế ý cơng cụ hữu ích để giải thích dự đốn đƣợc thực mơ hình Trong thử nghiệm với tập liệu Movielens, ý đến nhúng có trọng số tuyến tính cung cấp phim vài phim quan trọng mơ hình để đƣa dự đoán Đặc biệt kỹ thuật cho phép cải thiện hiệu suất dự đoán dài hạn Một lĩnh vực nghiên cứu quan trọng làm để biểu diễn thời gian điện tử RNN RNN có ƣu để biểu diễn liệu nhƣ nghiên cứu xử lý ngôn ngữ tự nhiên, nơi mà khái niệm thời gian khơng tồn (khơng có thời gian từ, chúng thƣờng xuyên đƣợc lấy mẫu lần lƣợt) Tuy nhiên, nhiệm vụ nhƣ biểu diễn tƣơng tác khách hàng, có khoảng thời gian lần tƣơng tác Thời gian chứa thơng tin quan trọng, khơng giống lần tƣơng tác xảy sau lần trƣớc vài giây so với lần tƣơng tác xảy sau năm Chúng ta thấy RNN không chứa thơng tin chúng đại diện cho thứ tự chuỗi tƣơng tác 50 TÀI LIỆU THAM KHẢO [1] Alexander M Rush, Sumit Chopra, and Jason Weston “A Nơron attention model for abstractive sentence summarization” EMNLP (2015) [2] A Graves, A Mohamed, and G Hinton “Speech recognition with deep recurrent Nơron networks” Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference (2013), pp 6645–6649 [3] A Graves “Generating sequences with recurrent Nơron networks” Arxiv preprintarXiv:1308.0850(2013) [4] A Graves and J Schmidhuber “Framewise phoneme classification with bidirectional lstm and other Nơron network architectures” IEEE Transactions on Neural Networks 18(5) (2005), pp 602–610 [5] Balazs Hidasi, Alexandros Karatzoglou, Linas Baltrunas, and Domonkos Tikk “Session-based Recommendations With Recurrent Neural Networks” ICLR (2016) [6] B Carterette “Multiple testing in statistical analysis of systems-based information retrieval experiments” ACM Transactions on Information Systems (TOIS) [7] Y Bengio, P Simard, and P Frasconi “Learning long-term dependencies with gradient descent is difficult” IEEE Transactions on Neural Networks (1994), pp 157–166 51 BẢN CAM ĐOAN Tôi cam đoan thực việc kiểm tra mức độ tƣơng đồng nội dung luận văn/luận án qua phần mềm DoIT cách trung thực đạt kết mức độ tƣơng đồng % toàn nội dung luận văn/luận án Bản luận văn/luận án kiểm tra qua phần mềm cứng nộp để bảo vệ trƣớc hội đồng Nếu sai xin chịu hình thức kỷ luật theo quy định hành Học Viện Hà Nội, ngày tháng năm HỌC VIÊN CAO HỌC/NCS (Ký ghi rõ họ tên) ... tượng phạm vi nghiên cứu Luận văn tập trung vào nghiên cứu toán phân tích hành vi khách hàng tập trung vào hành vi mua hàng nhằm xác định cá nhân có hội lớn để thực vi? ??c mua hàng, sử dụng mạng lƣới... 3 CHƢƠNG PHÂN TÍCH HÀNH VI KHÁCH HÀNG Trong chƣơng này, tập trung xác định thành phần trình định mà khách hàng tn theo, mơ hình đƣợc giới thiệu nghiên cứu hành vi khách hàng, nghiên cứu lý thuyết...HỌC VI? ??N CƠNG NGHỆ BƢU CHÍNH VI? ??N THƠNG - NGUYỄN BÁ QUYỀN NGHIÊN CỨU PHÂN TÍCH HÀNH VI MUA HÀNG CỦA KHÁCH HÀNG SỬ DỤNG MẠNG N? ?RON CH CHUYÊN NGÀNH : KHOA