(Luận Văn Thạc Sĩ Khoa Học Máy Tính) Phân Tích Độ Tin Cậy Của Bình Luận Trên Trang Web Thương Mại Điện Tử

DANH MĀC HÌNH VẼHình 1.1 Doanh số thương mại điện tử bán lẻ toàn cầu từ 2014 đến 2024 4 Hình 1.2 Một trang thông tin về sản phẩm trên website Amazon 5 Hình 1.3 Bình luận đánh giá của khá

NGUYỄN HỮU QUANG

PHÂN TÍCH ĐỘ TIN CẬY CỦA BÌNH LUẬN TRÊN TRANG

WEB THƯƠNG MẠI ĐIỆN TỬ

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

HÀ NỘI – 2021

NGUYỄN HỮU QUANG

PHÂN TÍCH ĐỘ TIN CẬY CỦA BÌNH LUẬN TRÊN TRANG

WEB THƯƠNG MẠI ĐIỆN TỬ

Ngành: Khoa học máy tính

Chuyên ngành: Khoa học máy tính

Mã Số: 8480101.01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC: TS LÊ ĐỨC TRỌNG

HÀ NỘI – 2021

LÞI CÀM ¡N

Em xin gửi lßi cảm ơn chân thành đến TS Lê Đức Trọng đã hướng dẫn, giúp

đỡ tận tình, chi tiết em trong quá trình học tập cũng như trong việc hoàn thànhluận văn

Bên cạnh đó, em cũng xin cảm ơn TS Harry Nguyen - là ngưßi đã tư vấn,đưa ra những lßi khuyên bổ ích và định hướng em giải quyết nhiều vấn đề

Em xin cảm ơn Khoa Khoa học máy tính - Trưßng Đại học Công nghệ, Đạihọc Quốc gia Hà Nội đã tạo điều kiện giúp em hoàn thành đề tài này

Do giới hạn kiến thức và khả năng lý luận của bản thân còn nhiều thiếu sót vàhạn chế, kính mong sự chỉ dẫn và đóng góp của các Thầy, Cô để bài luận văncủa tôi được hoàn thiện hơn Xin chân thành cảm ơn!

LÞI CAM ĐOAN

Tôi xin cam đoan toàn bộ nội dung được trình bày trong luận văn Phân tích

độ tin cậy của bình luận trên trang web thương mại điện tử là kết quả quá trình

tìm hiểu và nghiên cứu của tôi Các dữ liệu được nêu trong đồ án là hoàn toàntrung thực, phản ánh đúng kết quả đo đạc thực tế Mội thông tin trích dẫn đềutuân thủ các quy định về sá hữu trí tuệ; các tài liệu tham khảo được liệt kê rõràng Tôi xin chịu hoàn toàn trách nhiệm với những nội dung được viết trongluận văn này

Hà Nội, ngày 25 tháng 10 năm 2021

Ng°ßi cam đoan Nguyßn Hÿu Quang

1.2 Bài toán dự đoán độ tin cậy của bình luận trực tuyến 71.3 Mô hình đa phương thức kết hợp mạng nơ ron đồ thị cho dự đoán độ tin

3.1 Đề xuất sử dụng mạng nơ-ron đồ thị tích chập trong mô-đun phân tích

3.2 Đánh giá ảnh hưáng của các mô hình nhúng 38

DANH MĀC HÌNH VẼ

Hình 1.1 Doanh số thương mại điện tử bán lẻ toàn cầu từ 2014 đến 2024 4 Hình 1.2 Một trang thông tin về sản phẩm trên website Amazon 5 Hình 1.3 Bình luận đánh giá của khách hàng đối với sản phẩm trên website

Hình 3.2 Cách thức hoạt động của mô đun phân tích quan hệ giữa các bình

Hình 3.3 Bộ nhúng ngôn ngữ được sử dụng để chuyển văn bản thành vectơ

Hình 4.2 Phân chia tập dữ liệu trong huấn luyện và đánh giá mô hình 42

Hình 4.4 So sánh kết quả MCR giữa ba mô hình nhúng trong tập Clothing 51 Hình 4.5 So sánh kết quả MCR giữa ba mô hình nhúng trong tập Electronics 51 Hình 4.6 So sánh kết quả MCR giữa ba mô hình nhúng trong tập

DANH MĀC BÀNG BIÂU

Bảng 4.2 So sánh kết quả mô hình GCR với MCR trên bộ nhúng GLoVE 48 Bảng 4.3 So sánh chất lượng mô hình GCR trên ba tập dữ liệu với ba bộ

PHÄN Mà ĐÄU

Những năm gần đây, thương mại điện tử đang trá nên phổ biến và dần tráthành một phần trong cuộc sống của mọi ngưßi với việc nhu cầu mua sắm củacon ngưßi ngày càng tăng cao Bình luận của khách hàng đối với sản phẩm tráthành phương tiện tham khảo của ngưßi dùng trước khi đưa ra quyết định muahàng Từ đó, bài toán dự đoán độ tin cậy của bình luận ra đßi nhằm hỗ trợ kháchhàng ra quyết định Tận dụng thông tin về văn bản, đánh giá của bình luận vàsản phẩm, luận văn đề xuất một mô hình mạng nơron tích chập đồ thị cho bàitoán dự đoán độ tin cậy

Trong luận văn, em tập trung vào việc đề xuất mô hình mạng đồ thị phân tíchquan hệ giữa các bình luận và tìm hiểu ảnh hưáng của các bộ nhúng ngôn ngữđối với chất lượng mô hình Từ kết quả thực nghiệm đưa ra nhận xét, đánh giá

để hiểu rõ hơn về thuật toán sử dụng, mức độ cải thiện của mô hình Luận vănbao gồm các chương:

Chương 1: trình bày về sự phát triển bùng nổ và phổ biến của thương mạiđiện tử nói chung và các trang web thương mại điện tử nói riêng Điều này dẫnđến việc các trang web tạo ra và lưu trữ lượng dữ liệu thông tin khổng lồ trong

đó có bình luận của khách hàng đối với sản phẩm họ quan tâm Trình bày vềđộng lực thúc đẩy nghiên cứu và giải quyết bài toán độ tin cậy của bình luận Từ

đó đưa ra đề xuất một mô hình đa phương thức sử dụng mạng nơ ron tích chập

đồ thị cho bài toán dự đoán độ tin cậy bình luận sử dụng dữ liệu văn bản và hìnhảnh

Chương 2: trình bày một số nghiên cứu liên quan đến mô hình cho bài toán dựđoán độ tin cậy của bình luận và các mô hình mạng nơ ron đồ thị Trình bày kiếnthức cơ sá cho mô hình đa phương thức cho bài toán dự đoán độ tin bình luận.Trình bày lý thuyết về dữ liệu đồ thị, mạng nơ ron tích chập trên dữ liệu đồ thịlàm cơ sá cho mạng GCN được đề xuất

Chương 3: trình bày về mô hình đề xuất phân tích quan hệ giữa các bình luận

sử dụng mạng GCN nhằm nâng cao chất lượng mô hình dự đoán độ tin cậy bình

luận Trình bày ý tưáng cơ bản của các bộ nhúng ngôn ngữ nhằm hướng tới thựcnghiệm trên các bộ nhúng khác nhau để tìm hiểu sự ảnh hưáng của chúng đếnchất lượng mô hình đề xuất.

Chương 4: trình bày về dữ liệu thực nghiệm, thống kê và tiền xử lý dữ liệubình luận Đưa ra phương pháp đánh giá mô hình dự đoán cùng với phươngpháp cài đặt thử nghiệm mô hình trên tập dữ liệu Trình bày kết quả thử nghiệm

mô hình đề xuất, so sánh các kết quả thu được trên các bộ dữ liệu khác nhau.Chương 5: đưa ra các kết quả em đạt được khi hoàn thành luận văn cũng nhưnhận xét tổng thể về luận văn đã thực hiện

Trong quá trình tìm hiểu, phân tích đánh giá, em không tránh khỏi những saisót, mong thầy cô đóng góp ý kiến để em có thể ngày càng hoàn thiện hơn về kỹnăng tìm hiểu, giải quyết bài toán cũng như phương pháp đánh giá phân tích vấnđề

CH¯¡NG 1 GIàI THIàU BÀI TOÁN

Chương 1 giới thiệu về bài toán dự đoán độ tin cậy của đánh giá, tính hữu ích,thực tiễn của bài toán, ý tưáng của mô hình đa phương thức được sử dụng trongluận văn; trình bày đóng góp của luận văn trong việc sử dụng mạng nơ ron tíchchập đồ thị và sử dụng các bộ nhúng ngôn ngữ khác nhau nhằm cải tiến hiệu quảcủa phương pháp tốt nhất hiện có cùng kết quả đạt được

1.1 Dÿ liáu th°¢ng m¿i đián tử

Trong vài năm trá lại đây, thương mại điện tử (e Commerce) đã trá thành mộtphần không thể thiếu trong ngành bán lẻ toàn cầu Với sự phát triển rộng rãi củamạng Internet và quá trình số hoá liên tục của cuộc sống hiện đại, ngưßi tiêudùng từ hầu hết mọi quốc gia hiện nay đều tiếp cận và được hưáng lợi từ việcgiao dịch thương mại trực tuyến Song song với đó, số lượng ngưßi mua hàngtrực tuyến không ngừng tăng lên hàng năm Vào năm 2020, có hơn 2 tỷ ngưßimua hàng1 hoặc dịch vụ trực tuyến với doanh số bán lẻ lên đến 4.2 tỷ đô la Mỹtrên toàn thế giới2 Cũng trong năm đại dịch này, doanh số thương mại điện tửtăng hơn 25% theo Statista

Hình 1.1 cho thấy doanh số của nền thương mại điện tử bán lẻ từ năm 2014đến năm 2020 và dự đoán những năm tới (số liệu tháng 12 năm 2020) Số liệutăng từ năm 2014 đến 2020 cho thấy sự phát triển ổn định và nhanh chóng củanền thương mại điện tử và tiềm năng to lớn khi các chuyên gia dự đoán doanh sốtiếp tục tăng trong 4 năm kế tiếp

2 "E-commerce worldwide - statistics & facts | Statista." 27 thg 10 2021, https://www.statista.com/topics/871/online-shopping/ Ngày truy cập 25 thg 11 2021.

1 " Digital buyers worldwide 2021 | Statista." 13 thg 10 2021, https://www.statista.com/statistics/251666/number-of-digital-buyers-worldwide/ Ngày truy cập 25 thg

11 2021.

Hình 1.1 Doanh số thương mại điện tử bán lẻ toàn cầu từ 2014 đến 20243

Thương mại điện tử là hình thức kinh doanh cho phép ngưßi mua và ngưßibán giao dịch hàng hóa qua Internet Những ngưßi tham gia, bao gồm ngưßi bán

và mua hàng có thể chọn trong số những nền tảng trình duyệt để tìm kiếm, sosánh, đăng thông tin những sản phẩm hoặc dịch vụ Tính đến năm 2019, việcmua bán trên các gian hàng trực tuyến chiếm thị phần lớn nhất mua hàng trựctuyến lớn nhất trên thế giới Dẫn đầu trong số những websites bán lẻ trực tuyếnvới lượng truy cập lớn nhất là Amazon với hơn 3.6 tỷ lượt ghé thăm hàng thángtrong năm 2020 Những ngưßi dùng truy cập các website thương mại điện tửthông qua ứng dụng web trên máy tính hoặc ứng dụng trên điện thoại di động.Trong bối cảnh Internet và World Wide Web phát triển bùng nổ và phổ biếnnhanh chóng, ngưßi dùng Internet tiếp cận với việc mua sắm trực tuyến ngày

3 "Global retail e-commerce market size 2014-2023 | Statista." https://www.statista.com/statistics/379046/worldwide-retail-e-commerce-sales/ Ngày truy cập 25 thg

11 2021.

càng dễ dàng và thuận tiện với chi phí rẻ Một hệ quả tất yếu, các dịch vụ muasắm online nhanh chóng nổi lên như một hiện tượng kinh doanh và xã hội.

Hình 1.2 Một trang thông tin về sản phẩm trên website Amazon

Những nền tảng web trực tuyến như Amazon được thiết kế giống như một

<chợ= mua sắm gồm đa dạng sản phẩm như đồ điện tử, gia dụng, may mặc, …Những ngưßi bán đăng sản phẩm của mình lên website - nơi những ngưßi cónhu cầu cần mua tìm kiếm và xem các sản phẩm họ cần Bên phía ngưßi muahàng, họ có hàng ngàn sự lựa chọn giữa rất nhiều mặt hàng và thương hiệu Cácsản phẩm được sắp xếp theo loại mặt hàng, nhãn hàng, theo nhiều phân khúc giágiống như một siêu thị khổng lồ Thậm chí, việc tìm kiếm sản phẩm trên websitecòn nhanh và dễ dàng hơn việc tìm mua sản phẩm á cửa hàng ngoài thực tế Đóchính là điểm mạnh thu hút ngưßi dùng của thương mại điện tử so với thươngmại truyền thống Việc nhu cầu mua sắm ngày càng tăng, sự tiện lợi, dễ sử dụngkéo theo số ngưßi dùng đông đảo đã hàng ngày, hàng giß tạo ra khối lượng dữliệu khổng lồ Dữ liệu trên các trang web thương mại điện tử có thể kể đến làthông tin sản phẩm, thông tin ngưßi dùng, phản hồi, bình luận của ngưßi dùng

về một sản phẩm, …

Trang web thương mại điện tử được xây dựng hướng đến việc trá thành nềntảng trung gian trong việc mua bán giữa mọi ngưßi Những nền tảng này tạo ra

môi trưßng mua bán bằng cách mô phỏng hành vi ngoài thực tế Những hành vi

đó bao gồm việc ngưßi bán có thể bày bán thông tin sản phẩm lên website, đikèm với thông tin tên, mô tả, giá của sản phẩm, những ưu đãi kèm theo, thôngtin liên lạc, … Đối với ngưßi có nhu cầu mua hàng, họ có thể tìm kiếm sảnphẩm thông qua nhiều cách như truy vấn từ khóa, lựa chọn sản phẩm được liệt

kê danh sách (giống với việc đi siêu thị mua hàng), xem thông tin sản phẩm, giá

cả, liên lạc với ngưßi bán hoặc để lại phản hồi đối với sản phẩm

Hình 1.3 Bình luận đánh giá của khách hàng đối với sản phẩm trên website

Amazon.com

Những thông tin này được ngưßi mua hàng hoặc ngưßi bán tạo ra trong quátrình mua sắm hoặc bày bán gian hàng của mình trên website Hay nói cách khác

nó ghi lại các hành vi, nội dung mà ngưßi dùng website để lại Như vậy, thươngmại điện tử phát triển sinh ra lượng dữ liệu lớn và đa dạng Dữ liệu này thể hiệnnhững hành vi, ý định thực tế từ ngưßi dùng Do vậy, việc khai thác, tận dụngchúng có thể mang lại nhiều giá trị cho doanh nghiệp và bản thân những kháchhàng Mục tiếp theo sẽ trình bày về dữ liệu bình luận sản phẩm của khách hàng

và bài toán dự đoán độ tin cậy của bình luận được kỳ vọng mang đến nhiều giátrị lợi ích cho ngưßi dùng

1.2 Bài toán dā đoán đß tin c¿y của bình lu¿n trāc tuy¿n

à mục trên, ta đã nói đến việc khách hàng đưa ý kiến, bình luận của mình đốivới sản phẩm trên trang web thương mại điện tử Những bình luận trực tuyếnngày nay đã trá thành yếu tố quan trọng trong việc giúp khách hàng đưa ra quyếtđịnh mua sắm Những bình luận thể hiện ý kiến mang tính chân thực từ nhữngkhách hàng khác đã mua, sử dụng sản phẩm để lại Những bình luận trực tuyếncủa ngưßi dùng được coi như một dạng truyền miệng được số hoá [10] Do đó,chúng mang đến giá trị tham khảo nhất định cho những khách hàng tiềm năng -những ngưßi đang phân vân về sản phẩm Trong một nghiên cứu tại [33], Moore

đã chỉ ra rằng 92% khách hàng ngày nay đọc những bình luận của ngưßi dùngkhác trước khi mua một sản phẩm Như vậy rõ ràng, bên cạnh thông tin mô tảsản phẩm, việc đọc bình luận trá thành hành vi quen thuộc, cần có của mọingưßi mua hàng Điều này tương đồng với thói quen ngoài đßi thật của chúng ta

đó là trước khi mua một món hàng, bên cạnh việc tìm hiểu nó, chúng ta thưßng

có xu hướng tìm hỏi những ngưßi đã trải nghiệm sản phẩm hoặc có kinh nghiệm

về loại mặt hàng liên quan Ngoài ra, các bình luận trực tuyến khác nhau về mức

độ hỗ trợ của chúng đối với khách hàng do mang tính chủ quan Thực tế, khôngphải tất cả bình luận đều có ích đối với ngưßi đọc Chúng có thể mang nhữngthông tin không chính xác, không đáng tin cậy hoặc spam

Sự phát triển của Internet và các website đang cho phép khách hàng chia sẻnhững trải nghiệm, ý kiến và phản hồi của mình đối với sản phẩm, dịch vụ hoặcnhãn hàng dưới dạng bình luận trực tuyến cho những khách hàng khác Nghiêncứu [36] chỉ ra rằng khách hàng dựa nhiều vào những bình luận trực tuyến đểđưa ra quyết định mua hàng của mình và chúng được tin tưáng chỉ sau những lßikhuyên từ bạn bè Sự ảnh hưáng của bình luận sản phẩm đến quyết định củangưßi tiêu dùng nổi bật đến mức nhiều công ty hiện đang lưu trữ các bài bìnhluận trên trang web của riêng họ để cho phép những ngưßi cùng nhóm thảo luận

về chất lượng sản phẩm của họ4

Bên cạnh việc thương mại điện tử phát triển tạo ra lượng dữ liệu khổng lồ,đặc biệt là dữ liệu bình luận đầy tiềm năng khai thác, nảy sinh một vấn đề khácđầy thách thức là việc quá tải thông tin đối với khách hàng Trên thực tế, vì sốlượng khách hàng lớn, do đó lượng ý kiến, phản hồi sản phẩm cũng theo đó giatăng Một sản phẩm hoàn toàn có thể có đến hàng nghìn bình luận, kéo dài hàngtrăm trang Ngưßi tiêu dùng hầu như không thể đọc tất cả các bình luận trướckhi đưa ra quyết định mua hàng, đặc biệt là đối với các sản phẩm đã được hàngtrăm và hàng nghìn khách hàng bình luận với các ý kiến không nhất quán [39].Như một hệ quả, ngưßi dùng mất khá nhiều thßi gian cho việc duyệt tìm nhữngreview họ cảm thấy tin tưáng Thay vào đó, những gì ngưßi tiêu dùng thực sựcần có thể chỉ là một vài bình luận "tin cậy" nhất Một số trang web khuyếnkhích ngưßi dùng đánh sự sự hữu ích của bình luận thông qua việc bỏ phiếu chocâu hỏi <Review này có hữu ích với bạn?= Để làm nổi bật tính năng này, cáctrang web hiển thị bình luận dựa trên lượt vote của độ hữu ích Ví dụ, thiết lậpmặc định hiển thị thứ tự bình luận trên Amazon.com là xếp hạng bình luận theo

độ giảm dần của lượt vote hữu ích Tính năng này cho phép ngưßi tiêu dùngnhanh chóng tìm được những bình luận đáng tin cậy nhất giúp việc đưa ra quyếtđịnh mua hàng nhanh chóng và hiệu quả hơn Từ đó, nền tảng thu hút kháchhàng hơn và nâng cao trải nghiệm sử dụng web Đơn cử với Amazon, chỉ một

4 "Our Cars & Customers speak for themselves - Rentaclassic." https://www.rentaclassic.co.nz/our-customers-speak-for-themselves/ Ngày truy cập 25 thg 11 2021.

câu hỏi <Review này có hữu ích với bạn?= đã mang về cho hãng thêm 2,7 tỷ đôdoanh thu Hơn nữa, các bình luận đáng tin cậy hay hữu ích là cần thiết cho cácdịch vụ thương mại điện tử vì nó có thể thu hẹp khoảng cách giữa ngưßi mua vàngưßi bán theo hướng đôi bên cùng có lợi Tại đây, ngưßi tiêu dùng có thể đưa

ra quyết định nhanh chóng qua sau khi được các bình luận tin cậy, hữu ích vàngưßi bán hàng có thể tăng lợi nhuận bằng cách hiển thị những bình luận chấtlượng

Mặc dù mang đến nhiều lợi ích cho nhiều bên, nhưng vẫn có nhiều vấn đề khókhăn trong việc xác định đâu là những bình luận tin cậy Không phải tất cả mọingưßi đều đưa ra lượt bỏ phiếu của mình với các bình luận, mặc dù chúng thật

sự có giá trị tham khảo Và cũng không phải nền tảng thương mại điện tử nàocũng có nhiều ngưßi dùng chịu vote cho bình luận sản phẩm giống nhưAmazon.com và Yelp.com Thực tế, có đến 60% những bình luận trực tuyến trên

2 nền tảng trên không nhận được phiếu nào cho sự tin cậy hoặc không [29] Điềunày xảy đến thưßng xuyên hơn đối với những website và sản phẩm mới hoặc cólượt truy cập thấp, ít phổ biến hơn

Những vấn đề trên dẫn đến một hướng nghiên cứu đầy hứa hẹn về việc xâydựng hệ thống tự động dự đoán mức độ tin cậy cho các bài bình luận trực tuyến

Sự xuất hiện của hệ thống dự đoán này sẽ giúp ngưßi dùng đưa ra quyết địnhnhanh chóng, chính xác mà không phải phụ thuộc hoàn toàn vào cơ chế votinghiện giß Thực tế đã có một số nghiên cứu về bài toán dự đoán độ tin cậy củabình luận Về dữ liệu, các phương pháp đầu tiên tập trung chủ yếu việc khai thác

và phân tích dữ liệu văn bản của bình luận [7, 29, 53, 54] Vì thực tế các bàibình luận trước đây chủ yếu chỉ có dữ liệu dạng văn bản và đây cũng là dạngphổ biến nhất Những năm trá lại đây, các nền tảng website bắt đầu cho phépngưßi dùng để lại hình ảnh đi kèm để tăng thêm độ xác thực và thông tin Khi

đó, các phương pháp dự đoán độ tin cậy có thêm những nghiên cứu về phân tíchhình ảnh đi kèm [28, 34] Tuy nhiên, [21] đề xuất việc sử dụng thêm metadatacủa sản phẩm (ví dụ tiêu đề, thương hiệu, danh mục, mô tả) bên cạnh nội dungcủa chính bài bình luận Về phương thức, có hai hướng thưßng được đề cập đến

trong những nghiên cứu đó là (i) tận dụng kinh nghiệm để trích xuất đặc trưngthủ công bao gồm cấu trúc, từ vựng, biểu cảm, … từ thông tin bài bình luận đưavào các mô hình học máy và (ii) sử dụng mạng học sâu [49, 51] để thu được đặctrưng với số chiều thấp hơn từ dữ liệu gốc với lớp phân loại hoặc hồi quy á cuối

mô hình Mô hình được đề xuất dưới đây tận dụng cả 2 loại dữ liệu văn bản vàhình ảnh để cải thiện hiệu suất dự đoán mức độ tin cậy của bình đánh giá

1.3 Mô hình đa ph°¢ng thức k¿t hÿp m¿ng n¢ ron đồ thị cho dā đoán đß tin c¿y của bình lu¿n

Trong luận văn này, em đề xuất một mô hình đa phương thức suy luận liên kếtgiữa văn bản và hình ảnh của sản phẩm và bình luận kết hợp với mạng nơ ron đồthị để dự đoán độ tin cậy của bình luận Mô hình này dựa trên mô hìnhMulti-perspective Coherent Reasoning (MCR) [27] cho dữ liệu đa phương thứcvới cải tiến đến từ việc thay thế mạng MLP bằng mạng GCN trong việc học mốiquan hệ mạch lạc giữa các nút trong đồ thị bình luận Ngoài ra, luận văn tìmhiểu, thử nghiệm và đánh giá ảnh hưáng của các bộ nhúng ngôn ngữ đến chấtlượng mô hình đề xuất - điều chưa được nghiên cứu thực hiện trên mô hình cơ

sá Dưới đây trình bày ý tưáng cơ bản của phương pháp đề xuất dựa trên MCR.Phương pháp MCR sử dụng dữ liệu đa phương thức (multimodal data) baogồm văn bản và hình ảnh để phân tích và đưa ra dự đoán Cụ thể, đối với nhữngbình luận có nhiều loại dữ liệu, độ tin cậy không chỉ được xác định bái nội dungvăn bản mà còn chịu ảnh hưáng bái sự kết hợp của dữ liệu đa phương thức

Hình 1.4 Ví dụ xem xét một sản phẩm trên Amazon và những bình luận xung

quanh sản phẩmXem xét sản phẩm nồi áp suất trên website Amazon.com và 3 bình luận củangưßi dùng, được đánh số thứ tự lần lượt (1), (2) và (3) để làm rõ ý tưáng củaphương thức Tại mục thông tin của sản phẩm, có thể thấy chúng bao gồmnhững nội dung chính dùng để nhận diện sản phẩm đó là tên, mô tả sản phẩm vàhình ảnh minh hoạ Đối với bình luận (1), có thể thấy ngoài việc khách hàng đưa

ra ý kiến về sản phẩm nồi áp suất bằng văn bản, họ đã chụp lại hình ảnh chiếcnồi cùng với món ăn được họ nấu bằng sản phẩm Việc này đã giúp làm tăngtính thuyết phục, tin cậy về những điều ngưßi dùng phản hồi lại Ngưßi dùngchứng minh được rằng, họ đã thực sự mua và trải nghiệm sản phẩm, do vậy họ

đủ cơ sá để đưa ra bình luận cho sản phẩm Trong trưßng hợp này, có vẻ họ rấthài lòng về sản phẩm Với những bình luận kiểu này, rõ ràng chúng mang đếnlượng thông tin đầy đủ, có tính xác thực cao, đáng tin cậy cho những ngưßi đếnsau Sang đến bình luận (2), khách hàng cũng đưa ra bình luận gồm cả dạng vănbản và hình ảnh Tuy nhiên, nội dung hình ảnh của bình luận này là hình ảnh củamột miếng sưßn nướng chứ không phải nồi áp suất giống với bình luận (1) Điềunày đặt ra nghi vấn về tính xác thực của bình luận (2) đó là liệu ngưßi dùng có

thực sự đã sử dụng sản phẩm hay chưa Rõ ràng, so về độ tin cậy, thì bình luận(1) có điểm số cao hơn do có bằng chứng rõ ràng hơn Đến với bình luận (3), cóthể thấy quan điểm và bằng chứng của ngưßi bình luận tương đối mơ hồ vìchúng không liên quan đến các khía cạnh chất lượng sản phẩm.

Dựa vào ví dụ trên, có thể thấy các bài bình luận có nội dung văn bản và hìnhảnh không đồng nhất với nhau và với sản phẩm có xu hướng không tin cậy.Ngược lại, một bài bình luận đáng tin cậy với ngưßi đọc (bình luận (1)) khôngchỉ chứa nội dung văn bản giàu thông tin, đúng trọng tâm mà còn cả nội dunghình ảnh thống nhất Tận dụng dữ liệu đa phương thức và ý tưáng trên, luận văn

đề xuất tận dụng dữ liệu văn bản và hình ảnh kết hợp với mạng nơ ron tích chập

đồ thị giữa các dữ liệu bình luận (Graph enhance intra-review CoherenceReasoning - GCR) để giải quyết bài toán dự đoán độ tin cậy của bình luận.Trong đó, mô đun phân tích mối liên kết giữa sản phẩm - bình luận có chức năngnắm bắt liên kết intra và inter giữa sản phẩm và bình luận Nghĩa là, mô đun tậptrung tìm kiếm mối quan hệ liên quan thống nhất giữa thông tin nội dung vănbản và hình ảnh của sản phẩm và bình luận Điều này nhằm hướng đến trả lßicâu hỏi: Dựa vào văn bản và hình ảnh, liệu bình luận A có liên quan đến sảnphẩm X hay không? Bên cạnh đó, luận văn đề xuất mô đun phân tích tính nhấtquán của bình luận trong mỗi sản phẩm (intra-review coherent reasoning) sửdụng mạng nơ ron tích chập (GCN) nhằm tìm kiếm sự liên kết giữa nội dungvăn bản và hình ảnh của bài bình luận, sử dụng chúng như một đặc trưng mạnh

mẽ để dự đoán độ hữu ích của bài bình luận Kết quả sau khi sử dụng các môđun trên được vectơ đặc trưng tổng hợp của bài bình luận, từ đó dự đoán điểm

số độ tin cậy của mỗi bài bình luận Cuối cùng, sau khi thu được điểm số độ tincậy của bình luận, thực hiện xếp hạng các bài bình luận của một sản phẩm theothứ tự giảm dần điểm tin cậy, tối ưu theo phương pháp xếp hạng theo cặp(pairwise ranking) Thực nghiệm được tiến hành trên tập dữ liệu đánh giá củaAmazon với dữ liệu đầu vào bao gồm dữ liệu văn bản (tên, tiêu đề sản phẩm vànội dung đánh giá) và dữ liệu hình ảnh (hình ảnh sản phẩm và hình ảnh bình

luận) Kết quả cho thấy mô hình GCR cho hiệu quả dự đoán tốt hơn 3 đến 25%

so với mô hình cơ sá MCR

CH¯¡NG 2 C¡ Sà LÝ THUY¾T

Chương 2 tập trung trình bày các nghiên cứu liên quan của các phương pháp

dự đoán độ tin cậy của đánh giá, các mạng đồ thị, bộ nhúng ngôn ngữ; trình bàycác kiến thức, lý thuyết nền tảng, ý tưáng của phương pháp MCR nhằm giảiquyết bài toán dự đoán độ tin cậy của bình luận trên dữ liệu đa phương thức, làm

cơ sá cho mô hình đề xuất; giới thiệu về mạng nơ ron tích chập đồ thị, ý tưáng,công thức xây dựng mạng

2.1 Các nghiên cứu liên quan

Hầu hết các cách tiếp cận bài toán dự đoán độ tin cậy của bình luận hiện naytập trung vào phân tích ngôn ngữ từ văn bản Những phương pháp thưßng đượcchia thành hai loại đó là dựa trên học máy (machine learning based) với đặctrưng được trích xuất thủ công (hand-crafted) và dựa trên học sâu (deep learningbased) Đối với các phương pháp học máy, ý tưáng chủ đạo là sử dụng các đặctrưng được trích xuất thủ công đưa vào các mô hình dự đoán, phổ biến có thể kểđến SVM [8, 42], rừng quyết định (Random Forest) [2, 46] Có khá nhiềunghiên cứu khác nhau về việc khai thác những đặc trưng từ dữ liệu văn bản:

● Đặc trưng về cấu trúc (Structural features) [44, 47]: Đặc trưng về cấu

trúc đề cập đến số lượng từ, số lượng câu, độ dài trung bình câu hoặc sốsao (star rating) của một bình luận Những thông tin này có thể cho biếtthái độ của ngưßi mua khi họ viết bình luận của họ Ví dụ, một ngưßi bìnhluận câu dài có khả năng họ đầu tư thßi gian nhận xét hơn một ngưßi chỉbình luận một câu ngắn

● Đặc trưng về từ vựng (Lexical features) [45, 47] : Đặc trưng từ vựng nắm

bắt các từ xuất hiện trong các bài bình luận Sử dụng thống kê tf-idf đểcho mỗi từ đơn (Unigram) và từ đôi (Bigram) để phản ánh tầm quan trọngcủa từ trong một văn bản Trong một câu, thưßng có những từ khôngmang nhiều ý nghĩa và cũng xuất hiện trong hầu hết các câu khác, đượcgọi là từ dừng (stop word) Việc loại bỏ những từ dừng và những từ không

thưßng xuyên xuất hiện là một bước quan trọng nhằm nâng cao độ chínhxác của phương pháp tf-idf.

● Đặc trưng về cú pháp (Syntactic features) [45]: Với mỗi từ trong câu bình

luận, việc gán nhãn từ loại cho chúng có thể mang đến nhiều giá trị trongviệc học đặc trưng Các đặc điểm của cú pháp bao gồm tỷ lệ phần trăm từloại của các từ tương ứng với danh từ, động từ, tính từ và trạng từ

● Đặc trưng về cảm xúc (Emotional features): Martin và Pu [26] đã sử dụng

từ điển bộ mã hoá ảnh hưáng Geneva (Geneva Affect Label Coder) đểđịnh nghĩa trạng thái cảm xúc của một bình luận Đặc trưng cảm xúc baogồm số lần xuất hiện của mỗi trạng thái cảm xúc trên số lượng từ khôngphải cảm xúc trong câu

● Đặc trưng về ngữ nghĩa (Semantic features): Yang cùng các cộng sự [50]

đã dựa trên từ điển INQUIRER [38] để nối mỗi từ trong câu bình luận vớithẻ ngữ nghĩa của nó Thực tế, đây là cách tương tự với phương phápdùng từ điển để thu được đặc trưng về cảm xúc Đặc trưng về ngữ nghĩađược công thức hoá bái một vectơ mà trong đó mỗi mục nhập ghi lại sốlần xuất hiện của mỗi thẻ ngữ nghĩa

● Đặc trưng về đối số (Argument features): Liu [27] và đồng sự đã khám

phá các đặc điểm ngôn ngữ phức tạp hơn như quan hệ bằng chứng - kếtluận, hay còn gọi là lập luận để nghiên cứu độ tin cậy của bài bình luậntrực tuyến Cụ thể, các đặc trưng đối số chi tiết khác nhau như số lượngđối số, số lượng từ trong đối số được sử dụng để trích xuất thành đặctrưng của câu

Có thể thấy với phương pháp này phụ thuộc nhiều vào bước xử lý dữ liệu, dovậy chúng ta phải tốn thßi gian và công sức trong việc xây dựng và tổng hợp đặctrưng Hầu hết những đặc trưng có thể trích xuất kể trên đều yêu cầu quá trìnhtiền xử lý và làm mịn dữ liệu phức tạp và thủ công Tuy nhiên, sự nổi lên củahọc sâu mang đến một tín hiệu tốt bài toán dự đoán độ tin cậy của bình luận trựctuyến Với học sâu, chúng ta không phải thiết kế thủ công các quy tắc để tríchxuất các đặc trưng cụ thể của cho bài toán dự đoán Được thúc đẩy bái sự tiến bộ

vượt bậc của mạng nơ-ron học sâu, một số nghiên cứu gần đây có xu hướng tựđộng học tập các đặc trưng chuyên sâu từ các bài bình luận văn bản với mạngnơ-ron.

● Embedding-gated CNN (EG-CNN) [7]: Phương pháp sử dụng mạng

nơ-ron tích chập có thể trích xuất đặc trưng văn bản chi tiết từ các bàibình luận Vì các từ khác nhau có thể đóng góp đa dạng tạo nên ý nghĩacủa một bài bình luận, Chen và đồng sự đã đề xuất sử dụngembedding-gate cấp từ để kiểm soát các từ nhúng được đưa vào mô hìnhCNN

● Học tập thần kinh đa tác vụ (Multi-task Neural Learning - MTNL): Fan

và cộng sự đã giới thiệu mô hình MTNL cho việc xác định các bình luậnhữu ích vào năm 2018 Trong đó, nhiệm vụ chính của mô hình là dự đoán

độ hữu ích và điểm bình luận Mô hình tận dụng các biểu diễn thần kinhphức tạp từ nội dung văn bản của bài bình luận, đưa qua các phép nhúngkết hợp

Cả hai mô hình EG-CNN và MTNL là hai phương pháp tiếp cận mới dựa trênhọc thần kinh mới mang đến hiệu quả cao hơn trong việc dự đoán độ tin cậy củabình luận so với các phương thức thủ công Tuy nhiên, những hướng tiếp cậnnày mới chỉ phân tích các đặc trưng từ nội dung văn bản của bài bình luận Đểgiải quyết phần nào vấn đề này, năm 2019, Miao Fan và đồng sự đã đề xuất một

mô hình cho phép tận dụng thông tin về sản phẩm mà bài bình luận nhắc đến,nhằm tăng hiệu quả dự đoán Theo Fan, để một bài bình luận trá nên hữu ích vàđáng tin cậy, bên cạnh nội dung văn bản của chính bài bình luận, cần quan tâmđến siêu dữ liệu (meta-data) của sản phẩm như tiêu đề, thương hiệu, danh mục,

mô tả, … Mô hình được đề xuất theo đó là một kiến trúc mạng thần kinh sâukhai thác mối quan hệ giữa siêu dữ liệu của sản phẩm và các bình luận của nó.Năm 2020, Qu và cộng sự đã đề xuất việc tận dụng bình luận, thông tin ngưßidùng và sản phẩm để dự đoán độ hữu ích của bình luận Việc này tạo ra mộtmạng thần kinh đồ thị nhận biết danh mục nơi các sản phẩm được chia sẻ trongmạng tích chập đồ thị để học các đặc trưng chung, và tiêu chí cụ thể của từng

sản phẩm nhằm đưa ra dự đoán Tận dụng tối đa những thông tin bao gồm nộidung văn bản và hình ảnh của bài bình luận và sản phẩm, năm 2020, Liu đã đềxuất một phương pháp lập luận mạch lạc theo thứ bậc (coherent reasoning) đểtìm hiểu và phân tích sự nhất quán (coherence) giữa nội dung văn bản và hìnhảnh trong một bài bình luận và sự liên kết giữa sản phẩm với những bài bìnhluận của nó Đánh giá về kết quả mô hình dự đoán, [27] đưa ra một số so sánhgiữa các phương pháp nổi bật và cho thấy MCR có kết quả tốt nhất Cụ thể, đốivới mô hình chỉ sử dụng dữ liệu văn bản, EG-CNN [7] cho kết quả thấp nhấttrong số các mô hình cơ sá chỉ sử dụng văn bản bái EG-CNN chỉ quan tâm đếnđặc trưng ẩn từ văn bản đánh giá trong khi các phương pháp khác như BiMPM[53], Conv-KNRM [39], PRHNet [29] sử dụng thêm các tín hiệu từ thông tin sảnphẩm Các mô hình cơ sá đa phương thức như SSE-Cross [28] và D&R Net [34]cho hiệu quả tốt hơn đáng kể so với mô hình chỉ dựa trên văn bản MCR [27]thậm chí còn hoạt động tốt hơn các phương pháp đa phương thức kể trên Ví dụ:trên Lazada-MRHP, MAP và NDCG @ 3 lần lượt tăng 2.9% và 3.5% so vớiphương pháp đưßng cơ sá tốt nhất (tức là D&R Net).

Graph Neural Network với việc má rộng các phương pháp mạng nơron truyềnthống để xử lý dữ liệu được biểu diễn trong miền đồ thị [14] đang dần trá nênphổ biến cùng với các thư viện và công cụ dành cho GNN đang trong giai đoạnphát triển và thử nghiệm Trước đó, việc tổng quát hoá các mô hình thần kinhđược thiết lập RNN hoặc CNN để hoạt động trên dữ liệu graph có cấu trúc phứctạp là một vấn đề đầy thách thức Gần đây đã có nhiều bước đột phá được công

bố [20, 55] về phương pháp và ứng dụng của GNN Một số bài toán giới thiệucác kiến trúc riêng biệt cho từng vấn đề như [3, 9, 52] Một số bài báo khác [21,30] sử dụng các lớp chập đồ thị GCN để xác định các bộ lọc tham số hoá được

sử dụng trong mô hình mạng nơ ron nhiều lớn, tương tự với CNN cổ điển

Các bộ nhúng từ đã được sử dụng như một công cụ nhằm ánh xạ văn bản sangkhông gian liên tục, được sử dụng hiệu quả trong một vài nhiệm vụ xử lý ngônngữ tự nhiên như POS tagging, nhận dạng thực thể, đánh nhãn vai trò ngữ nghĩa,phân tích cú pháp [32, 22, 41] và cũng được sử dụng trong xử lý giọng nói như

bài toán hiểu ngôn ngữ nói [17] và xác định lỗi trong bài toán phiên âm từ động[43] Đã có nhiều nghiên cứu tập trung vào đánh giá tác động của các bộ nhúngvăn bản khi sử dụng chúng làm đầu vào cho các hệ thống [22] đánh giá các loạibiểu diễn văn bản khác nhau trong tác vụ phân khúc và nhận biết tên thực thể.Trong một nghiên cứu năm 2016, [15] đã thực hiện đánh giá hiệu suất khi sửdụng các loại nhúng văn bản khác nhau bao gồm Word2Vec, GloVe và CSLMtrong một loạt các nhiệm vụ xử lý ngôn ngữ tự nhiên.

2.2 Ki¿n thức nÁn tÁng

Mục này trình bày những lý thuyết, kiến thức nền tảng của mô hình cơ sáMCR, dữ liệu đồ thị và mạng nơron tích chập cho đồ thị

2.2.1 Mô hình lập luận mạch lạc đa phương thức

Được đề cập bái Diaz và Ng [16], bài toán dự đoán mức độ tin cậy của bìnhluận được xây dựng thành là một nhiệm vụ xếp hạng Điều này xuất phát từ việcquan sát hành vi ngưßi dùng trên website thương mại điện tử Khi truy cập vàomột sản phẩm, giả sử có 100 bình luận, thật khó để ngưßi dùng xem hết toàn bộbình luận, bình luận của sản phẩm Do vậy, ngoài việc dự đoán điểm số tin cậy,thì việc xếp hạng chúng mang đến nhiều ứng dụng thực tiễn hơn Khi đó, ngưßidùng chỉ cần xem những bình luận á trên cùng, với mức độ hữu ích cao nhất.Điều này có thể liên tưáng đến bài toán tìm kiếm, ví dụ công cụ Google search,khi những kết quả liên quan và hữu ích nhất với câu lệnh tìm kiếm sẽ nổi lênđầu Cụ thể, cho một sản phẩm ÿÿ bao gồm thông tin liên quan đến sản phẩm là

và tập bình luận liên quan là

là dự đoán điểm số tin cậy của sau đó xếp hạng tập bình luận và so sánh vớiāÿkết quả gốc Ví dụ, với một sản phẩm X, tương ứng sẽ có 5 bình luận A, B, C,

D, E Mô hình sẽ dự đoán điểm số cho 5 bình luận này, sau đó xếp hạng chúngtheo thứ tự giảm dần điểm số Thứ tự của 5 bình luận sẽ được so với xếp hạnggốc để kiểm tra mức độ chính xác của xếp hạng Điểm số tin cậy của bình luậnđược dự đoán được kí hiệu là

ÿÿ, Ā

=

Āÿ, Ā Ą(Ćÿ, ÿÿ, Ā)trong đó là hàm dự đoán độ tin cậy cho đầu vào là cặp sản phẩm - bình luậnĄ

cách trích xuất và biểu diễn đặc trưng của chúng

Biểu diễn đặc trưng

Cho một văn bản ( hoặc ) có từ {ăĆ ăÿ Ăă ω1, ., ωĂ } và một tập ảnh ( cho sản

phẩm hoặc ąÿ cho bình luận) Một mạng nơ-ron tích chập (CNN) được sử dụng

để học biểu diễn ngữ cảnh của biểu diễn văn bản Đối với dữ liệu hình ảnh, cơchế self-attention được sử dụng trên các đặc trưng vùng ảnh để thu được vectơbiểu diễn Chi tiết về phương thức sẽ được trình bày á phần tiếp theo Để tránhnhầm lẫn, những định nghĩa, tên biến liên quan đến sản phẩm và bình luận sẽ

được sử dụng ký tự p và r tương ứng.

Nhắc đến mạng nơ-ron tích chập mọi ngưßi thưßng nghĩ đến ngay những ứngdụng của chúng trong bài toán liên quan đến hình ảnh (nhận diện vật thể, theodõi chuyển động, …) Tuy nhiên, [37, 39] đề xuất việc sử dụng mô hình CNNtrong xử lý ngôn ngữ tự nhiên nhằm học được biểu diễn văn bản Cụ thể trongbài toán này, mỗi từ trong bài bình luận được chuyển thành một vectơ nhúngωÿ

thông qua một lớp nhúng Sau đó, những từ đã được học đó được nhúng

Ąÿ , ā

qua một mạng CNN một chiều để trích xuất biểu diễn đa gß ram (multi-gram).Các phương pháp tiếp cận thông thưßng đều coi n-gram là term rßi rạc và sửdụng chúng như một đơn vị riêng biệt Tức là, ví dụ với bigram <white house= làmột từ, có tần suất xuất hiện riêng và chỉ có thể được đối sánh với <white house=trong các truy vấn Tuy nhiên, việc xử lý n-gram trong mạng nơ-ron sẽ chiếu tất

cả n-gram vào một không gian nhúng thống nhất, cho phép so khớp với n-gram

có độ dài khác nhau Ví dụ <white house= khi này có thể cung cấp thông tin choviệc truy vấn đến <George Walker Bush= Lúc đó, mỗi vectơ nhúng từ đượcĄÿchuyển đổi thành biểu diễn k-gramĄā:

Ąā ÿĂĂā({Ą1, ., ĄĂ

ă}) Ąā, āĂă ×Ăă

)trong đó ā , {1, ., āăÿą}đại diện cho kích thước nhân (kernel size) āăÿąlàkích thước nhân tối đa Các tham số này sẽ được thiết lập tại bước cấu hình nhưmột siêu tham số Tất cả biểu diễn k-gram sau khi thu được sẽ được xếp chồng

để có được biểu diễn văn bản cuối cùng, kí hiệu là Ą = [Ą1, ., Ąāăÿą] Vì áđây ta xem xét cả văn bản mô tả sản phẩm lẫn bài bình luận, do vậy sử dụng ĄĆ

và Ąÿbiểu thị biểu diễn vectơ đặc trưng văn bản của sản phẩm và bình luậntương ứng

Dữ liệu hình ảnh trong bài toán bao gồm hình ảnh mô tả sản phẩm và hìnhảnh ngưßi dùng chụp gửi kèm bài bình luận (nếu có) Trước tiên, cần trích xuấtđặc trưng tại vùng quan tâm (RoI) của ảnh sản phẩm và bình luận Vùng quantâm của ảnh là phần được lọc ra của ảnh muốn dùng để phân tích nhằm tập trungvào thông tin có ích thay vì dùng toàn bộ thông tin của ảnh, bao gồm cả nhữngvùng thông tin không liên quan Để thu được đặc trưng RoI, ta đưa ảnh đầu vàoqua mạng Faster R-CNN [37] đã được huấn luyện (pre-trained) Sau đó, tất cả

RoI ăÿ thu được từ tập ảnh ąĆvà ąÿsau đó được mã hoá bằng mô-đunself-attention [4]:

ý = ĂăĂĄ�㔴āāĄ({ă1, , ăĂ

ą})trong đó ý * ℜĂą ×Ăąđại diện cho biểu diễn ngữ nghĩa của hình ảnh, là số

Ăąchiều không gian ngữ nghĩa, là số lượng RoI được trích xuất Tương tự vớiĂąbiểu diễn văn bản, đặc trưng hình ảnh của sản phẩm và bình luận lần lượt được

kí hiệu làýĆ và ýÿ

Phân tích mối liên hệ giữa sản phẩm - bình luận

Bên cạnh việc phân tích các bình luận để dự đoán độ tin cậy của chúng, thìthông tin sản phẩm mà bài bình luận nhắc đến cũng rất hữu ích Một tiêu chíbình luận được coi là tin cậy, hữu ích khi bình luận ấy phải có liên quan đến sảnphẩm tương ứng Tức là, giữa sản phẩm và bình luận có một liên kết nhất quánvới nhau Ví dụ với sản phẩm chuột máy tính, bình luận phải nói về chuột máytính, có thể khen hoặc chê, nhưng không thể đưa bình luận về một chiếc túixách Do đó, luận văn đề xuất một mô-đun để suy đoán mối liên hệ sản phẩm -bình luận Có 2 phương thức liên kết đó là inter và intra sẽ lần lượt được trìnhbày bên dưới

Phương thức kết hợp intra hay phương thức kết hợp trong tập trung xác địnhhai loại kết hợp:

(i) liên kết ngữ nghĩa giữa văn bản sản phẩm và văn bản bình luận; (ii) Liênkết ngữ nghĩa giữa hình ảnh sản phẩm và hình ảnh bình luận Tại đây, độ đocosin được sử dụng để định lượng được sự tương đồng của những đối tượngtrên Đối với biểu diễn văn bảnĄĆÿ vàĄÿĀ, độ tương đồng định tính như sau:

,

Ăÿ, ĀĄ = āąĀÿĄă(ĄĆÿ, ĄÿĀ) ∀ÿ, Ā * {1, ., āăÿą}

trong đó, Ăÿ, ĀĄ * ℜăĆ ăÿ với và lần lượt là độ dài văn bản của sản phẩm và

với và là số đặc trưng vùng quan tâm của sản phẩm và bình luận

Ăý * ℜĂąĆ ×Ăą

ÿ

Tuy nhiên, vì số chiều tức số lượng thông tin từ các đặc trưng ban đầu khá lớn

và nhiễu Do đó, để trích xuất những thông tin hữu ích nhất và để đảm bảo hiệusuất mô hình, ta đưa ma trận liên kết vừa thu được (bao gồmĂĄvà ) qua mộtĂýmạng CNN và chỉ lấy top-K giá trị trong mỗi đặc trưng được chọn để làm đặctrưng tổng hợp:

Ă = ăÿĄℎ(þ1Ą + Ā1)

Ăý = ăÿĄℎ(þ2ý + Ā2)trong đó ĂĄ * ℜĂă ×Ăāvà lần lượt là đặc trưng văn bản và hình ảnh

Ăý * ℜĂą ×Ăā

trong không gian ẩn chung Sau khi có ma trận đặc trưng của văn bản và hìnhảnh trong cùng chiều không gian ngữ nghĩa, ta tiến hành căn chỉnh đặc trưng củahình ảnh bình luận Ăÿý dựa trên văn bản sản phẩm ĂĆĄ Ý tưáng cơ bản là khinhững ngưßi dùng bình luận một sản phẩm bằng hình ảnh, ta kỳ vọng nhữnghình ảnh đấy liên quan đến sản phẩm Ví dụ, với sản phẩm điện thoại, một ngưßidùng đăng hình ảnh sản phẩm sau khi họ mua sẽ tăng độ tin cậy và hữu ích củabình luận ấy Khi những ngưßi mua hàng khác tham khảo bình luận này, sẽ cảmthấy tin cậy và hữu ích hơn việc xem hình ảnh không liên quan đến sản phẩm

Cụ thể, hình ảnh của bình luận được định nghĩa như một truy vấn Āÿ = þĀĂÿý

và văn bản sản phẩm được coi như một khoá ÿĆ = þÿĂĆĄ, trong đó

là ma trận tham số có thể học với là số chiều của không gian

āÿhình ảnh bình luận và văn bản sản phẩm, thể hiện độ tương đồng của hai ma trậntrên Hàm softmax được sử dụng để chuẩn hóa thông tin đặc trưng [27] Thôngtin này sau đó được nhân với ma trận đặc trưng của sản phẩm ĂĆĄđể thể hiện độtương đồng của văn bản sản phẩm và hình ảnh bình luận Kết hợp ma trận trênvới đặc trưng Ăÿý thu được quan hệ inter Một toán tử pooling-trung bình sauąÿý

đó được sử dụng để tìm vectơ tổng hợp của phương thức liên kết inter giữa hìnhảnh bình luận và văn bản của sản phẩm:

Phân tích quan hệ giữa các bình luận

Nhìn chung, ngưßi mua hàng thưßng biểu thị ý kiến của họ bằng việc để lạibình luận bằng văn bản hoặc chi tiết hơn bằng ảnh chụp giống như bằng chứngtin cậy cho bình luận của họ à phần trên, ta đã tận dụng mối quan hệ giữa thôngtin văn bản và hình ảnh giữa bình luận và sản phẩm để làm giàu đặc trưng chobài toán xếp hạng Tại mục này, mối quan hệ giữa nội dung văn bản và hình ảnhcủa các bình luận sẽ được khai thác để nắm bắt được sự nhất quán giữa văn bản

và hình ảnh, từ đó thu được đầy đủ thông tin quan hệ và logic giữa chúng.Mô-đun lập luận mạch lạc trong bài bình luận (intra-review coherent reasoning -ICR) được đề xuất nhằm định lượng độ nhất quán giữa nội dung văn bản và hìnhảnh của bài bình luận Bắt đầu với việc cấu trúc lên một mạng đồ thị với các nút

là mỗi hàng của ma trận đặc trưng, bằng cách truyền thông tin giữa các nút ngữnghĩa của biểu đồ thu được điểm số mạch lạc (coherence score) của review

Cụ thể, như đã nói á trên, một đồ thị được tạo nên bằng các định nghĩa mỗiăÿđặc trưng (mỗi hàng) của ma trận ĂÿĄvà Ăÿýnhư một nút ngữ nghĩa (semanticnode) và kết nối tốt cả cặp nút bằng các cạnh (edges) Kết quả thu được là mộtmạng bằng chứng bình luận đầy đủ (fully-connected review evidence graph) với

số lượng nút là Ăă + Ăą Tương tự với đặc trưng của sản phẩm thu được đồ thịăĆvớiĂă + Ăąnút được xây dựng từ ĂĆĄvà ĂĆý

Trạng thái ẩn của các nút tại lớp thứ t được ký hiệu làăÿ = {ąÿ,1, , ąÿ, Ą}đối vớibình luận và ăĆā = {ąĆ,1ā , , ąĆ, Ąā }với sản phẩm, Ą = Ăă + Ăą và đại diện cho sốālượng lớp của đồ thị lý luận (graph reasoning) Đối với dữ liệu đồ thị, bên cạnhcác nút, còn có các cạnh là liên kết giữa các nút Trọng số của các cạnh củanhững cặp nút được biểu diễn dưới dạng một ma trận kề (adjacency matrix)

Các nút của đồ thị cũng có các đặc trưng riêng của từng nút (node

Ą × Ą

feature) Trong trưßng hợp này, lấy ví dụ trong mạng ăÿā, đặc trưng nút tại lớp

thứ t được ký hiệu là ąÿā = [Ăÿ,ÿĄ, Ăÿ,ÿý ], ÿ * {1, , Ăă + Ăą} Sau đó, mô hình multiperceptron layer được sử dụng với các nút trong mỗi lớp ẩn nhằm tính toán matrận kề biểu diễn trọng số các cạnh kết nối.�㔴ā

Ma trận hệ số được chuẩn hoá thông qua hàm softmax thu được ma trận kề là

hệ số cạnh của các nút trong mạng Bằng việc xếp chồng L lớp đồ thị như vậy,các nút ngữ nghĩa có thể thực hiện suy luận mối quan hệ gắn kết giữa chúngbằng cách truyền thông tin giữa chúng qua các lớp học tập Tại lớp cuối, ta thuđược đặc trưng nút ąÿ,ĄĀ cho bài bình luận và ąĆ,ĄĀ cho sản phẩm Sau đó, để thuđược đặc trưng về mối liên kết giữa các bài bình luận với sản phẩm, cần một cơchế để lọc đi những đặc trưng không liên quan đến sản phẩm Trước hết, mộtpooling được sử dụng để gộp đồ thị sản phẩm về sản phẩm thành mộtembedding:

Ć = āăÿĄ(ℎĆ,*Ā )Tiếp tục sử dụng một lớp MLP như một lớp attention để tính toán đặc trưngliên quan đến sản phẩm với đầu ra là một trọng số attention

³ÿ = āĀÿ([Ć, ąÿ,ÿĀ ])

³ = ĀąĄāăÿą(³)Sau khi chuẩn hóa trọng số vừa tìm được bằng hàm softmax, chúng đượcnhân tuyến tính với đặc trưng nút của bình luận và được tổng hợp thành kết quảmối quan hệ giữa các bình luận:

ąąāÿ =

ÿ

∑ ³ÿąÿ,ÿĀ

Dự đoán độ tin cậy của bình luận

Ta đã xây dựng 3 đặc trưng được kết hợp từ dữ liệu đa phương thức bao gồmvăn bản và hình ảnh của sản phẩm và bình luận đi kèm, cụ thể là:

(i) Intra-modal product-review coherence features: ąÿĄāÿÿā

(ii) Inter-modal product-review coherence features: ąÿĄāăÿā

(iii) Intra-review coherence features: ąąāÿ

Cuối cùng, ta xếp chồng kết hợp 3 đặc trưng trên thành một đặc trưng cuốicùng ąĄÿĄÿĂ = [ąÿĄāÿÿā, ąÿĄāăÿā, ąąāÿ] [27] Đặc trưng này sau đó được đưa vàolớp tuyến tính (linear layer) nhằm tính toán điểm xếp hạng của bình luận:

Ą(Ćÿ, ÿÿ,Ā) = þÿąĄÿĄÿĂ + Āÿtrong đóþÿvàĀÿ là tham số và bias là thông tin của sản phẩm thứ i vàĆÿ ÿÿ,Ā

là bình luận thứ j của Ćÿ

Vì mục tiêu của bài toán là xếp hạng bài bình luận dựa trên điểm số, do vậyhàm mất mát sẽ khác với những bài toán dự đoán nhãn thông thưßng - dự đoántrực tiếp nhãn hoặc giá trị với một đầu vào Mục tiêu của bài toán xếp hạng là dựđoán khoảng cách tương đối giữa các đầu vào Tác vụ này còn được gọi với tênmetric learning Trên thực tế, có thể chia ranking losses thành 2 loại dựa trên dữliệu: theo cặp (pair) và theo bộ ba (triplet) Trong bài toán này, pairwise rankingloss sẽ được sử dụng để tính toán hàm mất mát cho mô hình:

Ā =

ÿ

∑ ăÿą(0, ´ − Ą(Ćÿ, ÿ+) + Ą(Ćÿ, ÿ−)) với ÿ+, ÿ− * ℜÿlà cặp bình luận bất kì của sản phẩm trong đóĆÿ ÿ+biểu thịcho điểm tin cậy cao hơn ÿ− Xếp hạng bình luận theo cặp hướng đến việc sosánh từng cặp bình luận với nhau, bình luận nào có điểm số cao hơn sẽ được đẩylên vị trí trên, cứ như vậy cho đến khi những bình luận tin cậy được đẩy hết lênxếp hạng cao Mục tiêu của hàm mất mát tìm cách tối đa hoá hiệu

Để xếp hạng chính xác, những bình luận có xếp hạngĄ(Ćÿ, ÿ+) − Ą(Ćÿ, ÿ−)

cao hơn thì điểm số dự đoán cũng phải cao hơn Do vậy, nếu những bình luậnxếp hạng cao bị dự đoán điểm thấp, hiệu trên sẽ có xu hướng tiến đến nhỏ hơn 0.Khi đó, ´ − Ą(Ćÿ, ÿ+) + Ą(Ćÿ, ÿ−) sẽ có xu hướng lớn Như vậy, hàm mất mát

có nhiệm vụ tối thiểu giá trị này lại để xếp hạng dần chính xác Trưßng hợpnhững bình luận có xếp hạng cao cũng có điểm dự đoán cao, được sử dụng để´