(Luận Văn Thạc Sĩ Khoa Học Máy Tính) Phân Tích Độ Tin Cậy Của Bình Luận Trực Tuyến Trong Thương Mại Điện Tử

Dÿ liáu th°¢ng m¿i đián tử

Với sự phát triển rộng rãi của mạng Internet và quỏ trỡnh số hoỏ liờn tục của cuộc sống hiện đại, ngưòi tiờu dùng từ hầu hết mọi quốc gia hiện nay đều tiếp cận và được hưáng lợi từ việc giao dịch thương mại trực tuyến. Những hành vi đú bao gồm việc ngưòi bỏn cú thể bày bỏn thụng tin sản phẩm lờn website, đi kèm với thông tin tên, mô tả, giá của sản phẩm, những ưu đãi kèm theo, thông tin liờn lạc, … Đối với ngưòi cú nhu cầu mua hàng, họ cú thể tỡm kiếm sản phẩm thông qua nhiều cách như truy vấn từ khóa, lựa chọn sản phẩm được liệt kê danh sách (giống với việc đi siêu thị mua hàng), xem thông tin sản phẩm, giá cả, liờn lạc với ngưòi bỏn hoặc để lại phản hồi đối với sản phẩm.

Bài toỏn dā đoỏn đò tin c¿y của bỡnh lu¿n trāc tuy¿n

Sự phát triển của Internet và các website đang cho phép khách hàng chia sẻ những trải nghiệm, ý kiến và phản hồi của mình đối với sản phẩm, dịch vụ hoặc nhãn hàng dưới dạng bình luận trực tuyến cho những khách hàng khác. Sự ảnh hưáng của bình luận sản phẩm đến quyết định của ngưòi tiờu dựng nổi bật đến mức nhiều cụng ty hiện đang lưu trữ cỏc bài bỡnh luận trờn trang web của riờng họ để cho phộp những ngưòi cựng nhúm thảo luận về chất lượng sản phẩm của họ4.

Mụ hỡnh đa ph°Âng thức k¿t hÿp m¿ng n ron đồ thị cho dā đoỏn đò tin c¿y của bình lu¿n

Tận dụng dữ liệu đa phương thức và ý tưáng trên, luận văn đề xuất tận dụng dữ liệu văn bản và hình ảnh kết hợp với mạng nơ ron tích chập đồ thị giữa các dữ liệu bình luận (Graph enhance intra-review Coherence Reasoning - GCR) để giải quyết bài toán dự đoán độ tin cậy của bình luận. Bên cạnh đó, luận văn đề xuất mô đun phân tích tính nhất quán của bình luận trong mỗi sản phẩm (intra-review coherent reasoning) sử dụng mạng nơ ron tích chập (GCN) nhằm tìm kiếm sự liên kết giữa nội dung văn bản và hình ảnh của bài bình luận, sử dụng chúng như một đặc trưng mạnh mẽ để dự đoán độ hữu ích của bài bình luận.

CH¯ĂNG 4. THĀC NGHIàM VÀ KắT QUÀ

Mô tÁ dÿ liáu

Mỗi bỡnh luận trong tập dữ liệu cú một trưòng thụng tin ghi lại điểm số độ hữu ích của bình luận. Điểm số này là số lượt bình chọn (voting) đến từ những khách hàng khác dành cho bình luận ấy. Điều này thể hiện rằng, một bình luận cú lượt voting cao mang đến độ tin cậy và hữu ớch cho những ngưòi mua hàng khác.

Từ đó, số lượt voting của một bình luận có thể được coi như nhãn giả (pseudo label) thể hiện cho mức độ tin cậy của nó. Dựa trên quá trình tiền xử lý dữ liệu tại [29], ta lọc những bình luận có lượt bình chọn bằng 0 vì chúng không thể hiện rừ ràng phản hồi của khỏch hàng. Ngoài ra, do cú rất nhiều giỏ trị voting có thể có, nên những votes này sẽ được chuẩn hoá lại thành 5 mục nhãn tương ứng với 5 mức độ tin cậy dựa.

Trên thực tế, có những sản phẩm chỉ có vài lượt bình luận thậm chí không có bình luận nào hoặc có hàng nghìn bình luận. Để phù hợp với mô hình xếp hạng, những sản phẩm có quá ít hoặc quá nhiều lượt bình luận sẽ bị loại đi. Mô hình sau khi hội tụ sẽ được sử dụng để đưa ra kết quả dự đoán trên tập test nhằm đánh giá độ ổn định và kiểm tra overfitting.

Ph°¢ng pháp đánh giá và cài đặt thāc nghiám Phương pháp đánh giá

Khi đã đánh giá được những review có sự tin cậy đã được xếp hạng lên đầu hay chưa, câu hỏi khác được đặt ra là trong những bình luận tin cậy đó, mức độ tin cậy của chúng đã được sắp xếp đúng chưa. Để trả lòi cõu hỏi này, ta sử dụng độ đo NDCG@N với N thể hiện top N bỡnh luận trong bối cảnh ngưòi dựng chỉ đọc một số lượng nhất định bỡnh luận, trong trưòng hợp này ta xột N = 3 và N = 5. Do đó, những danh sách có độ dài lớn hơn sẽ có khả năng cho kết quả DCG cao hơn bất chấp chất lượng so với những danh sách ít phần tử hơn.

Giá trị của NDCG@N luôn thuộc khoảng [0,1] với 1 cho kết quả tốt nhất rằng DCG giống với IDCG, tức xếp hạng cho kết quả chính xác nhất theo độ giảm của mức tin cậy. Việc chỉnh sửa thay đổi được thực hiện á phần học thông tin mạng đồ thị giữa các bình luận, cụ thể là thay thế 1 lớp mạng MLP bằng một lớp tích chập GCN như trong phần đề xuất. Sau khi thu được dữ liệu sau quá trình tiền xử lý, với dữ liệu văn bản, chúng sẽ được đưa qua bộ tách từ để phục vụ cho quá trình trích xuất đặc trưng sau.

Cài đặt lớp phân tích mạng đồ thị đánh giá của MCR bao gồm 2 lớp mạng MLP, do vậy, trong cài đặt thực nghiệm mạng GCR, chỉ sử dụng 1 lớp MLP đầu tiên và lớp thứ 2 sẽ được thay thế bằng một lớp GCN. Nếu tham số (parameter) là các giá trị của mô hình được sinh ra từ dữ liệu huấn luyện giúp thể hiện mối liên hệ giữa các đại lượng trong dữ liệu, thì siêu tham số hoàn toàn không phụ thuộc vào dữ liệu huấn luyện mà được lựa chọn thủ cụng từ ngưòi huấn luyện. Khi mô hình dùng hết dữ liệu của tập huấn luyện, đó là khi hoàn thành một epoch và mô hình tiếp tục lặp lại việc lấy mẫu từng tập nhỏ lại cho đến khi hết tập train.

K¿t quÁ thāc nghiám Đánh giá hiệu quả của GCN

GCN khi đó có thể nắm bắt được những thông tin quan trọng về không gian trong mạng, thứ mà những mạng truyền thống như MLP không thể làm được [23]. Với những thực nghiệm của mô hình đề xuất trên 3 embedding khác nhau, kết quả cho thấy, Word2Vec cho kết quả tốt nhất trong tất cả các thử nghiệm, sau đó đến FastText và cuối cựng là GLoVE. Word2Vec cũng sử dụng từ làm đơn vị nhỏ nhất để nhúng, tuy nhiên Word2Vec sử dụng mạng nơron để học, do vậy nó có thể học được những pattern ẩn mà GLoVE không học được.

Tuy phương pháp này có thể giảm việc out-of-vocabulary tức các từ không xuất hiện trong tập nhỳng, nhưng đồng thòi nú cũng cú thể bắt được cỏc từ nhiễu (viết thiếu, viết tắt, ký hiệu, …) vốn là đặc điểm của văn bản trên không gian mạng. Xem xét độ cải thiện chất lượng mô hình trên 3 bộ dữ liệu khi sử dụng mô hình GCR dùng Word2Vec, có thể thấy mô hình này mang đến kết quả tốt hơn hẳn so với GCR dùng GLoVE khi so với mô hình cơ sá. Như vậy, việc sử dụng mô hình GCR cho bài toán dự đoán độ tin cậy bình luận với dữ liệu văn bản và hình ảnh cho kết quả tốt hơn MCR - một mô hình state-of-the-art hiện tại với dữ liệu đa phương thức.

Việc sử dụng GCN ngoài việc mang đến hiệu quả mô hình tốt hơn trên các độ đo đánh giá, nó còn giúp tăng tốc độ huấn luyện do số lượng tham số ít hơn so với mạng MLP. Thực nghiệm huấn luyện mô hình trên GPU cho thấy, bộ nhớ chiếm dụng trong quá trình huấn luyện của GCN ít hơn so với mô hình cơ sá dùng MLP trên cùng một tập dữ liệu và bộ siêu tham số lớn hơn. Với việc các thiết đặt đều giống nhau giữa mô hình cơ sá và mô hình đề xuất, việc bộ nhớ GPU của mô hình đề xuất thấp hơn thể hiện số lượng tham số cần đào tạo của GCR ớt hơn MCR.

TÀI LIàU THAM KHÀO

[11] Devlin, Jacob, Chang, Ming-Wei, Lee, Kenton and Toutanova, Kristina BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 56th Annual Meeting of the Association for Computational Lin-guistics (Volume 1: Long Papers), pages 698–708. In Proceedings of the 2019 Conference on Empirical Methods in Nat-ural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 188–197.

[21] Joan Bruna and Wojciech Zaremba and Arthur Szlam and Yann LeCun (2014), Spectral Networks and Locally Connected Networks on Graphs. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp.5927-5936. [30] Mikael Henaff and Joan Bruna and Yann LeCun (2015) Deep Convolutional Networks on Graph-Structured Data.

[33] Moore, S.G., Attitude predictability and helpfulness in online reviews: The role of explained actions and reactions. The reviews are in: Yelp users are four-star consumers, 06.27.2013.http://www.nielsen.com/us/en/newswire/2013/the-reviews-are-in–yel p-users-are-four-star-consumers.html. The general inquirer: A computer system for content analysis and retrieval based on the sentence as a unit of information.