Luận văn thu thập dữ liệu thực tế từ người dùng và các trang về khách sạn trên trang mạng xã hội FaceBook. Dữ liệu người dùng bao gồm:
- 5090 người dùng - 753 khách sạn - 2702 hành vi Rate - 2585 hành vi Add Friend - 961 hành vi Post - 4629 hành vi Like - 1995 hành vi comment
Các hành vi lấy được từ mạng xã hội FaceBook là: Friend, Post, Like, Comment, Rate.
Bộ dữ liệu được lấy trong vòng 8 tháng: 3/2016 - 11/2016 vàvới các bộ dữ liệu đã được xử lý để đạt được mức quy định sau:
- Loại bỏ khách sạn không có các hành vi tương tác nào của người dùng.
- Loại bỏ các người dùng không tương tác với bất kỳ một khách sạn nào.
- Phân loại, gán nhãn cho các bài post và comment, giữ lại các bài có nội dung
tích cực.
Hành vi Post, Comment có chứa các câu quan điểm có thể bằng tiếng
Việt hoặc tiếng Anh.
Các hành vi bằng tiếng Việt sẽ được gán nhãn bằng tay.
nhãn là tích cực trong trường hợp điểm số trả về: score ≥ 0.7 (0 ≤ score ≤ 1)
Mô hình dữ liệu hệ thống tư vấn khách sạn dựa trên hành vi người dùng trong mạng xã hội:
Hình 3.1. Mô hình dữ liệu hệ thống HotelRecomendSystem
Bảng tbluser
Đây là bảng lưu trữ thông tin của người dùng. Bảng bao gồm 3 trường:
STT Tên trường Kiểu dữ liệu
và độ dài Nullable Unique
P/F Key
Mặc
định Mô tả
1 user_id varchar(25) X P Khóa chính
của bảng tbluser, là một chuỗi lưu thông tin theo id của
2 name varchar(100) Tên người dùng
3 link varchar(100) Địa chỉ truy
cập của người dùng
Bảng tblhotel
Đây là bảng lưu trữ thông tin của khách sạn. Bảng bao gồm 4 trường:
STT Tên trường Kiểu dữ liệu
và độ dài Nullable Unique
P/F Key
Mặc
định Mô tả
1 hotel_id varchar(25) X P Khóa chính
của bảng tblhotel, là một chuỗi lưu thông tin theo id của
2 name varchar(100) Tên khách sạn
3 link varchar(100) Địa chỉ của
khách sạn
4 address varchar(200) Địa chỉ truy
cập của khách sạn
Bảng tblpost
Đây là bảng lưu trữ thông tin các bài post của người dùng-khách sạn. Bảng bao gồm 4 trường:
STT Tên trường
Kiểu dữ liệu
và độ dài Nullable Unique
P/F Key
Mặc
định Mô tả
1 user_id varchar(25) X F id của người
dùng
2 hotel_id varchar(25) X F id của khách
sạn
3 post_conten
t
varchar(1000) Nội dung
người dùng post bài về khách sạn
4 status int Trạng thái của
bài post:
- 1: tích cực
- 0: không tích cực
Bảng tblcomment
Đây là bảng lưu trữ thông tin các bài comment của người dùng-khách sạn. Bảng bao gồm 4 trường:
STT Tên trường Kiểu dữ liệu
và độ dài Nullable Unique
P/F Key
Mặc
định Mô tả
1 user_id varchar(25) X F id của người
dùng
2 hotel_id varchar(25) X F id của khách
sạn
3 comment_co
ntent
varchar(1000) Nội dung
người dùng comment về khách sạn
- 1: tích cực
- 0: không tích cực
Bảng tblrate
Đây là bảng lưu trữ thông tin đánh giá của người dùng-khách sạn. Bảng bao gồm 3 trường:
STT Tên trường Kiểu dữ liệu
và độ dài Nullable Unique
P/F Key
Mặc
định Mô tả
1 user_id varchar(25) X F id của người
dùng
2 hotel_id varchar(25) X F id của khách
sạn
3 star int Đánh giá của
người dùng về khách sạn (mức 1->5)
Bảng tbllike
Đây là bảng lưu trữ thông tin like người dùng-khách sạn. Bảng bao gồm 2 trường:
STT Tên trường Kiểu dữ liệu
và độ dài Nullable Unique
P/F Key
Mặc
định Mô tả
1 user_id varchar(25) X F id của người
dùng
2 hotel_id varchar(25) X F id của khách
Đây là bảng lưu trữ thông tin về mối quan hệ friend giữa người dùng-người dùng. Bảng bao gồm 2 trường:
STT Tên trường Kiểu dữ liệu
và độ dài Nullable Unique
P/F Key
Mặc
định Mô tả
1 user_id varchar(25) X F id của người
dùng
2 friend_id varchar(25) X F id của người
dùng
3.2 Phương pháp thử nghiệm
Trong phạm vi luận văn sẽ thực hiện thử nghiệm và đánh giá dựa trên hai phương pháp sử dụng độ đo trung bình tuyệt đối lỗi MAE.
Tập dữ liệu thử nghiệm được chia thành hai tập huấn luyện và tập kiểm
tra :
Tập dữ liệu: chọn ngẫu nhiên 2302 đánh giá (85,23%) cho tập huấn luyện ,
400 đánh giá (14,77%) cho tập kiểm tra .
Việc tạo tập huấn luyện và tập kiểm tra như trên được thực hiện 10
lần, kết quả kiểm nghiệm và đánh giá được lấy trung bình trên 10 lần kiểm nghiệm. Các thử nghiệm và kết quả tính toán trong phạm vi đồ án được thực hiện trên hệ thống phần cứng: CPU Intel core i5, RAM 4GB; hệ thống phần mềm: Hệ điều hành Windows 7 Ultimate, phần mềm Matlab 2014.
Trước tiên, toàn bộ dữ liệu thử nghiệm được chia thành hai phần, một phần
Utrain được sử dụng làm dữ liệu huấn luyện, phần còn lại Utest được sử dụng để kiểm tra.Tập Utrain chứa 85% đánh giá và tập Utest chứa 15% đánh giá. Dữ liệu huấn luyện được sử dụng để xây dựng mô hình theo thuật toán mô tả ở trên. Với mỗi người
dùng i thuộc tập dữ liệu kiểm tra, các đánh giá (đã có) của người dùng được chia
làm hai phần Oi và Pi.Oi được coi là đã biết, trong khi đó Pi là đánh giá cần dự đoán từ dữ liệu huấn luyện và Oi.
Sai số dự đoán với mỗi khách hàng i thuộc tập dữ liệu kiểm tra được tính bằng trung bình cộng của sai số tuyệt đối giữa hai giá trị được dự đoán và giá trị thực của tất cả các sản phẩm thuộc tập .
Sai số dự đoán trên toàn tập dữ liệu kiểm tra được tính bằng trung bình cộng
sai số dự đoán cho mỗi khách hàng thuộc .
3.3 Kết quả thử nghiệm
Kịch bản 1: Thử nghiệm độ đo trung bình tuyệt đối lỗi MAE dựa trên hành vi đánh giá. Giá trị MAE thử nghiệm dựa trên hành vi đánh giá được thể hiện trong bảng 3.1 dưới đây.
Bảng 3.1. Giá trị MAE thử nghiệm dựa trên hành vi đánh giá
Số lượng người dùng trong tập láng giềng
80 100 120 140
R 0.4257 0.4391 0.4891 0.4911
Kịch bản 2: Thử nghiệm độ đo trung bình tuyệt đối lỗi MAE dựa trên việc kết hợp hành vi đánh giá với một trong số các hành vi Friend, Like, Post, Comment.
Trong đó: Việc lấy giao giữa hành vi rate và các hành vi khác được thực hiện như sau:
K=KR ∩ KX
if K = then K = KR
Giá trị MAE thử nghiệm dựa trên việc kết hợp hành vi đánh giá với một hành vi người dùng trong mạng xã hội được thể hiện trong bảng 3.2 dưới đây.
Bảng 3.2. Giá trị MAE thử nghiệm dựa trên việc kết hợp với một hành vi
RF 0.1995 0.2127 0.2220 0.2366
RP 0.2832 0.2964 0.3465 0.3484
RL 0.2241 0.2373 0.2845 0.3299
RC 0.2495 0.2020 0.2061 0.2028
Kết quả thử nghiệm cho thấy việc kết hợp với một hành vi trong mạng xã hội đưa ra kết quả khả quan, độ trung bình tuyệt đối lỗi MAE đã giảm đáng kể so với việc thử nghiệm chỉ dựa trên hành vi đánh giá ban đầu. Trong đó:
- Phương pháp kết hợp Combinated-Comment cho kết quả tốt nhất.
- Phương pháp kết hợp Combinated-Friend tốt hơn phương pháp Combinated-Like. - Phương pháp kết hợp Combinated-Post cho kết quả kém tốt hơn so với 3 phương pháp trên.
Kết quả này cũng là tiền đề cho việc lựa chọn độ ưu tiên trong việc lấy giao của các tập láng giềng trong kịch bản 2.
Kịch bản 3: Thử nghiệm độ đo trung bình tuyệt đối lỗi MAE dựa trên việc kết hợp hành vi đánh giá với hai hành vi người dùng trong mạng xã hội.
Trong đó: Việc lấy giao giữa hành vi đánh giá và các hành vi khác được thực hiện với độ ưu tiên theo kết quả dựa trên kịch bản 2, đó là RC, RL, RF, RP (độ ưu tiên giảm dần).
Giá trị MAE thử nghiệm dựa trên việc kết hợp hành vi đánh giá với hai hành vi người dùng được thể hiện trong bảng 3.3 dưới đây.
Bảng 3.3. Giá trị MAE thử nghiệm dựa trên việc kết hợp với hai hành vi
Phương pháp Số lượng người dùng trong tập láng giềng
80 100 120 140 RLF 0.1371 0.1504 0.1561 0.2102 RLP 0.2241 0.2373 0.2845 0.3299 RCL 0.1986 0.2020 0.2061 0.2028 RFP 0.1995 0.2127 0.2220 0.2366 RCF 0.1984 0.1585 0.1212 0.1179 RCP 0.2495 0.2020 0.2061 0.2028
Phương pháp Combinated-Comment-Friend cho kết quả tốt nhất ứng với trường hợp số lượng người dùng là 140 với sai số MAE là 0.1179.
Phương pháp Combinated-Like-Friend cho kết quả tốt nhất so với phương pháp còn lại ứng với trường hợp số lượng người dùng trong tập láng giềng là 80 và 100.Phương pháp Combinated-Comment-Friend cho kết quả tốt nhất ở trường hợp số lượng người dùng trong tập láng giềng là 120 và 140.
Các phương pháp kết hợp với hai hành vi đều cho giá trị MAE đều nhỏ hơn so với phương pháp kết hợp với một hành vi thông thường. Điều này cho thấy việc kết hợp là có hiệu quả, trong đó phương pháp Combinated-Comment-Friend là tốt nhất ứng với trường hợp k = 140.
Kịch bản 4: Thử nghiệm độ đo trung bình tuyệt đối lỗi MAE dựa trên việc kết hợp hành vi đánh giá với 3 hành vi người dùng trong mạng xã hội.
Việc lấy giao giữa hành vi đánh giá và các hành vi khác được thực hiện với độ ưu tiên theo kết quả dựa trên kịch bản 3, đó là RCF, RCL, RCP, RLP, RFP, RLF (độ ưu tiên giảm dần).
Giá trị MAE thử nghiệm dựa trên việc kết hợp hành vi đánh giá với ba hành vi người dùng trong mạng xã hội được thể hiện trong bảng 3.4 dưới đây.
Bảng 3.4. Giá trị MAE thử nghiệm dựa trên việc kết hợp với ba hành vi
Phương pháp Số lượng người dùng trong tập láng giềng
80 100 120 140
RFPL 0.1371 0.1504 0.1561 0.2102
RFPC 0.1984 0.1585 0.1212 0.1179
RFLC 0.1361 0.1395 0.1016 0.1505
RPLC 0.1986 0.2020 0.2061 0.2028
Kết quả thử nghiệm dựa trên việc kết hợp với ba hành vi cho kết quả MAE nhỏ hơn so với phương pháp kết hợp giữa hai hành vi. Trong đó RFLC ứng với số lượng người dùng trong tập láng giềng bằng 140 cho kết quả tốt nhất.
Kịch bản 5: Thử nghiệm độ đo trung bình tuyệt đối lỗi MAE dựa trên việc kết hợp hành vi đánh giá với tất cả các hành vi người dùng trong mạng xã hội.
Việc lấy giao giữa hành vi đánh giá và các hành vi khác được thực hiện với độ ưu tiên giảm dần theo kết quả dựa trên kịch bản 4, đó là Rate, Friend, Like, Comment, Post.
Giá trị MAE thử nghiệm dựa trên việc kết hợp hành vi đánh giá với tất cả các hành vi người dùng trong mạng xã hội được thể hiện trong bảng 3.5 dưới đây.
Bảng 3.5. Giá trị MAE thử nghiệm dựa trên việc kết hợp tất cả các hành vi
Phương pháp Số lượng người dùng trong tập láng giềng
80 100 120 140
RFPLC 0.1361 0.1395 0.1016 0.1505
Kết quả thử nghiệm dựa trên việc kết hợp hành vi đánh giá với tất cả các hành vi cho kết quả MAE bằng với trường hợp nhỏ nhất so với phương pháp kết hợp RFLC. Điều này được giải thích bằng việc không tồn tại người dùng nào trong tập láng giềng qua việc lấy giao của hành vi đánh giá với cả 4 hành vi, thay vào đó việc lấy giao này dựa trên kết quả của RFLC.
3.4. Kết luận chương 3
Kết quả thử nghiệm các phương pháp tư vấn kết hợp đề xuất cho thấy chất lượng tư vấn được cải thiện đáng kể so với các phương pháp tư vấn cơ bản. Điều đó chỉ có thể lý giải phương pháp tiếp cận của luận văn đã xác định được tốt hơn mức độ tương tự giữa các cặp người dùng, cũng như phương pháp dự đoán thích hợp nhất.
KẾT LUẬN
1.Kết quả đạt được
Đề tài hướng tới một chủ đề có ý nghĩa về lý thuyết và thực tiễn của khoa học máy tính được cộng đồng nghiên cứu quan tâm. Luận văn đã trình bày về các vấn đề liên quan đến mạng xã hội và một số phương pháp tư vấn dựa vào hành vi người dùng trong mạng xã hội. Cụ thể là:
Giới thiệu về mạng xã hội, độ tương đồng giữa các cặp người dùng dựa vào các hành vi trong mạng xã hội.
Luận văn trình bày phương pháp tư vấn dựa vào mỗi hành vi người dùng và kết hợp các hành vi người dùng trong mạng xã hội bao gồm:
Phương pháp tư vấn kết hợp một hành vi:
- Phương pháp tư vấn kết hợp hành vi Like
- Phương pháp tư vấn kết hợp hành vi Post
- Phương pháp tư vấn kết hợp hành vi Comment
- Phương pháp tư vấn kết hợp hành vi Friend
Phương pháp tư vấn kết hợp hai hành vi:
- Phương pháp tư vấn kết hợp hai hành vi Comment và Friend
- Phương pháp tư vấn kết hợp hai hành vi Comment và Like
- Phương pháp tư vấn kết hợp hai hành vi Comment và Post
Phương pháp tư vấn kết hợp ba hành vi:
- Phương pháp tư vấn kết hợp ba hành vi Comment, Like, Friend
- Phương pháp tư vấn kết hợp ba hành vi Comment, Like, Post
Phương pháp tư vấn kết hợp bốn hành vi Comment, Like, Friend, Post
Đề tài giới thiệu bộ dữ liệu thử nghiệm cho các thuật toán đã trình bày trong từng phương pháp tư vấn. Thử nghiệm cài đặt trên Matlab cho từng thuật toán ứng với bộ dữ liệu đã thu thập được. Kết quả thử nghiệm được đánh giá theo các tiêu chí về độ chính xác, sai số trung bình và thời gian thực hiện tư vấn.
Tuy nhiên trong quá trình thực hiện và cài đặt mô hình thuật toán vẫn còn một số hạn chế sau:
- Thưa thớt dữ liệu người dùng: bộ dữ liệu sưu tập bằng tay lên còn hạn chế,
trong quá trình thu thập dữ liệu, người dùng trong mạng xã hội không công khai danh sách bạn bè, không thể hiện hết được hành vi, mối quan hệ giữa các người dùng với nhau.
Đề tài sử dụng nhãn tích cực với các văn bản comment và post, chưa tính chưa xử lý khía cạnh nhãn là tiêu cực.
2. Hướng phát triển
Hướng phát triển tiếp theo trong tương lai tiếp tục phát triển hệ thống với số lượng người dùng và khách sạn lớn hơn, cập nhật bộ dữ liệu, phân loại thành tư vấn các địa điểm như các nhà hàng, khu vui chơi giải trí, không gian làm việc.
TÀI LIỆU THAM KHẢO
[1] Nguyễn Duy Phương, Đỗ Thị Liên, Từ Minh Phương (2013), “Xác định độ tương tự cho người dùng và sản phẩm trong lọc cộng tác dựa trên mô hình đồ thị”, Fair Huế 2013.
[2]C.C.Aggarwal, J.L. Wolf, K.L. Wu, and P.S.Yu, “Horting Hatches an Egg: A New Graph-Theoretic Approach to Collaborative Filtering”, Proc. Fifth ACM SIGKDD Int’l Conf. Knowledge Discovery and Data Mining (1999).
[3]Charu C. Aggarwal. 2011. Social Network Data Analytics (1st ed.). Springer Publishing Company, Incorporated.
[4]J. S. Breese, D. Heckerman, and C. Kadie, “Empirical analysis of Predictive Algorithms for Collaborative Filtering”, In Proc. of 14th Conf. on Uncertainty in Artificial Intelligence, pp. 43-52 (1998).
[5] Aaron J. Defazio and Tibério S. Caetano, “A Graphical Model Formulation of Collaborative Filtering Neighbourhood Methods with Fast Maximum Entropy Training”, 2012.
[6]M. Deshpande, G. Karypis,“Item-Based Top-N Recommendation Algorithms”, ACM Transactions on Information Systems. Volume 22, Issue 1, pp. 143 - 177 (2004).
[7]T. Hofmann, “Latent Semantic Models for Collaborative Filtering”, ACM Trans. Information Systems, vol. 22, No. 1, pp. 89-115 (2004).
[8]J.L. Herlocker, J.A. Konstan, L.G. Terveen, and J.T. Riedl (2004), “Evaluating Collaborative Filtering Recommender Systems”, ACM Trans. Information Systems, vol. 22, No. 1, pp. 5-53.
[9]B. Sarwar, G. Karypis, J. Konstan, and J. Riedl, “Item-Based Collaborative Filtering Recommendation Algorithms”, WWW 2001: 285-295 (2001).
[10]X. Su, T. M. Khoshgoftaar (2009), “A Survey of Collaborative Filtering Techniques”. Advances in Artificial Intelligence, vol 2009, pp.1-20.
[12]R. Jin, L. Si, and C. Zhai, “Preference-Based Graphic Models for Collaborative Filtering”, Proc. 19th Conf. Uncertainty in Artificial Intelligence (UAI 2003) [13]https://vi.wikipedia.org/wiki/D%E1%BB%8Bch_v%E1%BB%A5_m%E1%BA