Tổng hợp quan điểm trực tuyến của người tiêu dùng theo tính năng của sản phẩm

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ THỊ NHẠN TỔNG HỢP QUAN ĐIỂM TRỰC TUYẾN CỦA NGƯỜI TIÊU DÙNG THEO TÍNH NĂNG CỦA SẢN PHẨM LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI – 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ THỊ NHẠN TỔNG HỢP QUAN ĐIỂM TRỰC TUYẾN CỦA NGƯỜI TIÊU DÙNG THEO TÍNH NĂNG CỦA SẢN PHẨM Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60 48 01 04 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN VIỆT ANH TS BÙI QUANG HƯNG HÀ NỘI - 2016 i Lời cam đoan Tôi xin cam đoan báo cáo luận văn viết hướng dẫn thầy giáo, Tiến sĩ Nguyễn Việt Anh Tiến sĩ Bùi Quang Hưng Tất kết đạt luận văn q trình tìm hiểu, nghiên cứu riêng tơi Trong toàn nội dung luận văn, điều trình bày cá nhân tơi tổng hợp từ nhiều nguồn tài liệu khác Các tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, ngày …… tháng … năm 2016 Người cam đoan Vũ Thị Nhạn ii Mục lục Lời cam đoan i Mục lục ii Danh mục hình vẽ v Danh mục bảng biểu vi Lời cảm ơn vii Mở đầu Chương 1.1 Tổng quan khai phá quan điểm Giới thiệu 1.1.1 Đối tượng 1.1.2 Các đặc trưng ẩn 1.1.3 Đoạn đánh giá 1.1.4 Quan điểm ẩn, 1.1.5 Người đánh giá 1.2 Các thách thức khai phá quan điểm 1.2.1 Những người khác có phong cách viết khác 1.2.2 Quan điểm thay đổi theo thời gian 1.2.3 Độ mạnh quan điểm 1.2.4 Quan điểm theo ngữ cảnh 1.2.5 Các câu đánh giá có pha trộn 1.2.6 Quan điểm mang tính châm biếm, mỉa mai 1.2.7 Xử lý ngôn ngữ tự nhiên câu quan điểm 1.3 Các ứng dụng khai phá quan điểm 1.3.1 Nghiên cứu thị trường dành cho người mua bán 1.3.2 Cải thiện chất lượng sản phẩm, dịch vụ 1.3.3 Hệ thống gợi ý 1.3.4 Hỗ trợ thơng minh quyền 1.3.5 Hỗ trợ đưa định 1.4 Các toán khai phá quan điểm 1.4.1 Phân lớp quan điể m 1.4.2 Khai phá quan điểm so sánh iii 1.4.3 Tổng hợp quan điểm Chương sản phẩm Các phương pháp tiếp cận tốn tổng hợp quan điểm theo tính 11 2.1 Xác định đối tượng 12 2.2 Trích xuất khía cạnh 14 2.2.1 Sử dụng danh từ cụm danh từ thường xuyên 14 2.2.2 Sử dụng mối quan hệ từ quan điểm khía cạnh 15 2.2.3 Mơ hình chủ đề 22 2.3 Nhóm từ khía cạnh 22 2.4 Phân lớp chiều hướng quan điểm 26 2.5 Loại bỏ quan điểm Spam 26 Chương Tổng hợp quan điểm trực tuyến người tiêu dùng Việt Nam theo tính sản phẩm 29 3.1 Trích xuất tính sản phẩm 30 3.1.1 Tiền xử lý liệu 31 3.1.2 Tách câu quan điểm 33 3.1.3 Trích xuất tính sản phẩm 36 3.2 Nhóm từ nói tính 37 3.3 Tổng hợp quan điểm 39 3.4 Độ đo tính xác hệ thống 40 Chương Thực nghiệm đánh giá 42 4.1 Chuẩn bị liệu cài đặt 42 4.2 Tiến hành thực nghiệm đánh giá 42 Chương Kết luận 50 5.1 Những vấn đề giải luận văn 50 5.2 Hướng nghiên cứu tương lai 50 Các cơng trình cơng bố 52 TÀI LIỆU THAM KHẢO 53 iv v Danh mục hình vẽ Hình Khai phá quan điểm người dùng Hình 1.1 Mơ hình khai phá quan điểm Hình 2.1 Một ví dụ tổng hợp quan điểm dựa tính sản phẩm iPad 12 Hình 2.2 Một phần phân cấp khai thác từ mơ hình HASM, ứng dụng cho việc khai phá laptop 14 Hình 2.3 Một ví dụ quan hệ từ A từ B 16 Hình 2.4 Một ví dụ trích xuất khía cạnh đối tượng Qiu 17 Hình 2.5 Giải thuật lan truyền kép 19 Hình 2.6 Giải thuật luật lan truyền kép (tiếng Việt) 20 Hình 2.7 Giải thuật bán giám sát SVM-kNN để nhóm từ tính 22 Hình 3.1 Mơ hình tổng quan…………………………………………………………… 28 Hình 3.2 Mơ hình trích xuất tính sản phẩm…………………………………….29 Hình 3.3 Mơ hình đồ thị Bipartite Graph……………………………………………… 36 Hình 4.1 Một số kết ví dụ tách câu quan điểm………………………………………41 Hình 4.2 Tổng hợp ý kiến theo tính sản phẩm HTC One E8……………… …46 vi Danh mục bảng biểu Bảng 3.1 Bảng từ viết tắt từ loại câu 30 Bảng 3.2 Một số luật câu 34 Bảng 4.1 Số ý kiến đánh giá làm thực nghiệm 40 Bảng 4.2 Dữ liệu thống kê thu sau tiền xử lý 40 Bảng 4.3 Kết thu sau tách câu 42 Bảng 4.4 Kết đánh giá hệ thống thực trích chọn tính cho sản phẩm 43 Bảng 4.5 Kết PP1 PP2 trích xuất tính cho sản phẩm 44 Bảng 4.6 Một số trường hợp danh từ khác nói tính 44 Bảng 4.7 Tần suất xuất số tính sản phẩm HTC One 45 Bảng 4.8 Kết sau loại bỏ số tính số câu 45 Bảng 4.9 Đánh giá kết tổng hợp ý kiến theo tính sản phẩm 46 vii Lời cảm ơn Đầu tiên, muốn gửi lời cảm ơn sâu sắc đến cán hướng dẫn khoa học, thầy giáo, TS Nguyễn Việt Anhvà TS Bùi Quang Hưng người đưa đến lĩnh vực nghiên cứu giảng dạy q trình tơi học tập trường Đại học Công Nghệ - Đại học Quốc Gia Hà Nội nghiên cứu Viện Công nghệ thông tin – Viện Hàn lâm Khoa học Công nghệ Việt Nam Thầy truyền cho nguồn cảm hứng, nhiệt huyết nghiên cứu khoa học tận tình hướng dẫn tôi, cho lời khuyên quý báu Mặc dù thầy bận với công việc giảng dạy nghiên cứu thầy dành cho nhiều thời gian thảo luận ý tưởng nghiên cứu, dẫn cách nghiên cứu, giải đáp thắc mắc động viên tơi vượt qua vấn đề khó khăn hướng tơi tới nhiều vấn đề có giá trị khác khiến tơi muốn tìm hiểu nghiên cứu tương lai Tôi xin gửi lời cám ơn tới Thầy, Cô giáo Khoa Công nghệ thông tin, truyền dạy kiến thức bổ ích, đại lĩnh vực Hệ thống thông tin mà học tập Tôi tiếp cận môi trường học thuật cao, hiểu vất vả thành đạt tham gia nghiên cứu khoa học Cuối cùng, xin gửi lời cảm ơn sâu sắc tới bố mẹ, anh chị bạn bè Họ bên cạnh tôi, ủng hộ giúp đỡ suốt q trình học tập hồn thiện luận văn Học viên thực luận văn Vũ Thị Nhạn Mở đầu “Người khác nghĩ gì” ln câu hỏi đặt cho lần định Khi bạn có nhu cầu mua tivi, bạn có xu hướng tìm hiểu xem người khác nói sản phẩm Với số tiền bỏ ra, bạn lựa chọn sản phẩm có chức đáp ứng yêu cầu bạn cách thích hợp Hay chương trình Ai triệu phú phát sóng truyền hình, có hai ba quyền trợ giúp hỏi ý kiến người khác Cùng với phát triển kinh tế xã hội, Internet ngày phát triển Mọi người dần biết đến trang blog, diễn đàn hay trang mạng xã hội khác Đó nơi họ bày tỏ quan điểm vấn đề, kiện hay chất lượng sản phẩm Đó nguồn thơng tin quan trọng người có nhu cầu tìm hiểu vấn đề Hình Khai phá quan điểm người dùng Đối với doanh nghiệp, họ đưa sản phẩm thị trường, họ cần biết người tiêu dùng đánh sản phẩm Từ đó, họ đưa chiến lược kinh doanh phù hợp với nhu cầu người tiêu dùng Theo các công ty lớn nhâ ̣n đinh ̣ , ý kiến của khách hàn g mô ̣t phầ n quan tro ̣ng viê ̣c hin ̀ h thành quan điểm ý kiến khách hàng khác tin tưởng vào thương hiệu , quyế t đinh ̣ mua hàng liên quan đế n sách quảng bá thương hiệu công ty họ Với sự phong phú nguồn tài nguyên quan điểm hi ện nay, hội và thách thức lớn việc sử du ̣ng công nghê ̣ thông tin để tim ̀ kiế m và hiể u đươ ̣c ý kiế n của người khác[24] 41 𝑃= 𝑡𝑟𝑢𝑒 𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒 × 100% 𝑡𝑟𝑢𝑒 𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝑓𝑎𝑙𝑠𝑒 𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒 Độ hồi tưởng R (Recall): 𝑅= 𝑡𝑟𝑢𝑒 𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒 × 100% 𝑡𝑟𝑢𝑒 𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝑓𝑎𝑙𝑠𝑒 𝑛𝑒𝑔𝑎𝑡𝑖𝑣𝑒 Độ đo F (F-measure): 𝐹= 2×𝑃×𝑅 𝑃+𝑅 42 Chương Thực nghiệm đánh giá 4.1 Chuẩn bị liệu cài đặt Trong phần này, tiến hành thực nghiệm đánh giá mơ hình xây dựng chương liệu thu thập từ trang tinhte.vn với ý kiến trao đổi dòng điện thoại HTC One E8, Sony Z3 Sony Aqua M4 Các ý kiến sau thu thập được, dựa vào cấu trúc thẻ HTML hệ thống trích xuất ý kiến đánh giá người tiêu dùng, bỏ qua thông tin không cần thiết khác thông tin ngày tháng, người nêu quan điểm Dữ liệu sàng lọc thủ công, bỏ qua ý kiến Spam ý kiến ý kiến đánh giá đối tượng mà hệ thống xử lý Bảng 4.1 Số ý kiến đánh giá chuẩn bị làm thực nghiệm Sản phẩm Số Review Số câu HTC One E8 300 389 Sony Z3 216 265 Sony Aqua M4 96 112 4.2 Tiến hành thực nghiệm đánh giá Đầu tiên, liệu đưa qua công cụ JnvTextPro để phân đoạn câu, tách câu qua dấu câu,tách từ gán nhãn từ loại Hệ thống thực loại bỏ câu câu quan điểm (các câu không chứa từ quan điểm) Sau loại bỏ, hệ thống thu liệu thống kê bảng 4.2 Bảng 4.2 Dữ liệu thống kê sau tiền xử lý Sản phẩm Số câu Số câu quan điểm HTC One E8 389 354 Sony Z3 265 232 Sony Aqua M4 112 90 43 Sau phân đoạn gán nhãn từ loại, liệugồm nhiều câu phức câu ghép Dữ liệu đưa qua tách câu quan điểm để tách câu phức câu ghép thành câu đơn dựa luật (đã trình bày chương 3).Hệ thống bỏ qua từ loại khác mà quan tâm đến tính từ danh từ, từ phủ định từ nối Kết trả câu đơn phát biểu tính Hình 4.1trình bày số ví dụ tách câu quan điểm từ câu phức, câu ghép thành câu đơn Hình 4.1 Một số kết ví dụ tách câu quan điểm 44 Bảng 4.3.Kết đánh giá sau tách câu Số câu hệ Số câu hệ Số câu thống tách thống tách sai tách thực tế P R F1 HTC One E8 490 35 562 93,33% 87,18% 90,15% Sony Z3 319 13 316 96.02% 100% 97,9% 139 20 163 87,42% 85,27% 86,33% Sản phẩm Sony M4 Aqua Hình 4.3 thống kê kết thu sau thực tách câu quan điểm dạng câu đơn chứa tính từ quan điểm Cột số câu hệ thống tách thể thể số câu mà thực tế qua hệ thống trả câu đơn Cột số câu hệ thống tách sai thể số câu mà thực tế hệ thống trả câu đơn Số câu tách thực tế tiến hành xử lý tay Độ đo P, R, F1 tính sau:  Độ xác P (Percision): 𝑡𝑟𝑢𝑒 𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒 × 100% 𝑡𝑟𝑢𝑒 𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝑓𝑎𝑙𝑠𝑒 𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒 𝑆ố 𝑐â𝑢 𝑕ệ 𝑡𝑕ố𝑛𝑔 𝑡á𝑐𝑕 đú𝑛𝑔 = × 100% 𝑆ố 𝑐â𝑢 𝑕ệ 𝑡𝑕ố𝑛𝑔 𝑡á𝑐𝑕 đú𝑛𝑔 + 𝑆ố 𝑐â𝑢 𝑕ệ 𝑡𝑕ố𝑛𝑔 𝑡á𝑐𝑕 𝑠𝑎𝑖 490 = × 100% = 93,33% 490 + 35 𝑃=  Độ hồi tưởng R (Recall): 45 𝑡𝑟𝑢𝑒 𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒 × 100% 𝑡𝑟𝑢𝑒 𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝑓𝑎𝑙𝑠𝑒 𝑛𝑒𝑔𝑎𝑡𝑖𝑣𝑒 𝑆ố 𝑐â𝑢 𝑕ệ 𝑡𝑕ố𝑛𝑔 𝑡á𝑐𝑕 đú𝑛𝑔 = × 100% 𝑆ố 𝑐â𝑢 𝑕ệ 𝑡𝑕ố𝑛𝑔 𝑡á𝑐𝑕 đú𝑛𝑔 + 𝑆ố 𝑐â𝑢 𝑡á𝑐𝑕 đú𝑛𝑔 𝑕ệ 𝑡𝑕ố𝑛𝑔 𝑘𝑕ơ𝑛𝑔 𝑡𝑟ả 𝑣ề 490 = × 100% = 87,18% 490 + (562 − 490) 𝑅=  Độ đo F1 (F-measure): 𝐹1 = × 𝑃 × 𝑅 × 93,33% × 87,18% = = 90,15% 𝑃+𝑅 93,33% + 87,18% Tiếp theo, hệ thống thực trích xuất tính sản phẩm câu quan điểm Đầu tiên, từ điển xác địnhtheo phương pháp thủ công gồm khoảng 150 từ quan điểm dùng cho đánh giá sản phẩm vào ý kiến đánh giá người tiêu dùng Việt Nam trang web đánh giá Sau đó, sử dụng kỹ thuật lan truyền kép trình bày phần trước, hệ thống thực trích xuất tính sản phẩm dựa luật câu Hệ thống thu danh sách gồm tính sản phẩm giá, pin, cấu_hình, màn_hình, loa, vỏ, camera, nhạc, hình_ảnh Kết đánh giá thể bảng 4.4 Bảng 4.4.Kết đánh giá hệ thống thực trích chọn tính cho sản phẩm Tên sản phẩm HTC One E8 Sony Z3 Sony Aqua M4 Trung bình Số lượng tính hệ thống trích xuất Số lượng tính hệ thống trích xuất sai Số lượng tính P thu thực tế R F1 35 10 36 77,78% 97,22% 86,40% 17 16 80,9% 14 16 73,68% 87,5% 100% 91,89% 80% 77,45% 96,99% 86,1% 46 Năm 2011, nhóm tác giả Hà Quang Thụy có cơng trình nghiên cứu việc trích xuất tính cho sản phẩm người tiêu dùng Việt Nam [27] Trong bảng 4.5, đưa kết quảtrong phương pháp mà thực (PP1) với kết nghiên cứu Hà Quang Thụy (PP2) theo số liệu thống kê báođối với liệu tiếng Việt Kết mà thu có độ xác thấp so với kết nhóm tác giả Hà Quang Thụy nghiên cứu trước Kết trình bày phần mang tính tham khảo, chưa đưa kết luận phương pháp tốt nguồn liệu đầu vào khác Bảng 4.5.Kết PP1 PP2 trích xuất tính cho sản phẩm Phương pháp PP1 PP2 P R 77,45% 96,99% 87,56% F1 86,1% 93,58% 90,32% Trong danh sách tính mà hệ thống thu có số tính người tiêu dùng mô tả số danh từ khác Camera mô tả Camera, máy ảnh Hệ thống thực phân nhóm danh từ tính qua kết hợp danh từ với từ quan điểm theo mơ hình đồ thị Bipartite Graph Kết thu có độ xác 71,5% Bảng 4.6 Một số trường hợp danh từ khác nói tính Tính Các danh từ đồng nghĩa Hình ảnh Hình ảnh, hình, ảnh Màn hình Màn hình, Giá Giá, giá Camera Camera, máy ảnh 47 Tiếp theo, hệ thống dựa vào tần suất xuất danh từ tính để loại bỏ tính người tiêu dùng đánh giá, độ hỗ trợ tối thiểu chọn với minsup = 4, sau loại bỏ danh từ mơ tả tính xuất hệ thống trả lại kết với danh sách gồm 38 tính thường xuyên xuất ý kiến đánh giá sản phẩm HTC One E8, thu kết đạt 83% số danh từ lại tính cho sản phẩm Bảng 4.7 Tần suất xuất số tính sản phẩm HTC One Tính Số lần Tính Số lần Giá 49 Cấu hình 24 Pin 29 Màn hình 12 Loa 10 Camera 14 Vỏ 10 Thiết kế 12 Htc 11 Lướt Web Sóng Âm Tuy nhiên, liệu sau xử lý số danh từ ko phải danh từ tính chúngmang hàm ý chung chung khác em này, này, máy Để tăng tính xác hệ thống tiến hành lược bỏ thủ công danh từ câu chứa danh từ Kết thu thể bảng 4.8 Bảng 4.8Kết sau loại bỏ số tính số câu Tên sản phẩm HTC One E8 Số tính sau xử lý 26 Số câu sau xử lý 297 Sony Z3 11 168 Sony Aqua M4 13 115 48 Cuối cùng, để bảng tổng hợp ý kiến theo tính sản phẩm, hệ thống thực phân lớp câu quan điểm theo tính (nhóm tính năng) mà xử lý giai đoạn trước Nhãn từ quan điểm lấy làm nhãn cho câu đánh giá Trong phần này, sử dụng phương pháp thống kê để đưa tổng hợp quan điểm theo tính sản phẩm Kết hệ thống phân lớp mô tả qua bảng 4.9 Bảng 4.9 Đánh giá kết tổng hợp ý kiến theo tính sản phẩm P Tên sản phẩm HTC One E8 Sony Z3 Sony Aqua M4 R 97,58 100% % 96,85 100% % 97,03 % F1 98,78 % 98,40 % 99,24 % 98,12 % Bảng tổng hợp ý kiến đánh giá người tiêu dùng theo tính sản phẩm HTC One E8có thể biểu diễn hình 4.2 49 Hình 4.2.Tổng hợp ý kiến theo tính sản phẩm HTC One E8 Qua biểu đồ trên, thấy pin, camera tính người tiêu dùng đánh giá thấp nhất, giá cấu hình người tiêu dùng ủng hộ cao Người mua hàng vào kết đánh giá sản phẩm người dùng trước nhu cầu sử dụng để lựa chọn sản phẩm phù hợp 50 Chương Kết luận 5.1 Những vấn đề giải luận văn Luận văn tiến hành nghiên cứu toán khai phá quan điểm mà cụ thể tổng hợp quan điểm theo tính sản phẩm Luận văn trình bày số phương pháp liên quan đến tổng hợp quan điểm theo tính sản phẩm giới Việt Nam Trong luận văn này, tơi trình bày phương pháp tổng hợp ý kiến đánh giá trực tuyến người tiêu dùng Việt Nam tính sản phẩm Hệ thống thực trích xuất tính sản phẩm dựa vào từ quan điểm Đặc biệt, luận văn thực tách câu phức câu ghép thành câu đơn Theo đó, câu đơn chứa tính sản phẩm từ quan điểm Luận văn thực phân nhóm câu quan điểm phát biểu tính tổng hợp quan điểm theo từ quan điểm câu dựa vào nhãn từ quan điểmtheo chiều hướng tích cực, tiêu cực trung lập Bên cạnh đó, phạm vi luận văn, luận văn chưa thực việc trích xuất sản phẩm mà người tiêu dùng đánh giá câu quan điểm lọc quan điểm spam Trong q trình thực luận văn, tơi cố gắng tiếp cận phương pháp tổng hợp ý kiến theo tính sản phẩm người tiêu dùng Việt Nam tham khảo tài liệu liên quan xử lý ngôn ngữ tự nhiên học máy giới Việt Nam Tuy nhiên thời gian trình độ có hạn nên khơng tránh khỏi hạn chế thiếu sót định Do tơi thật mong muốn nhận góp ý kiến thức chun mơn lẫn cách trình bày 5.2 Hướng nghiên cứu tương lai Khai phá quan điểm nhiều nhà nghiên cứu giới quan tâm ứng dụng rộng rãi lĩnh vực Trong luận văn tôi, chọn hướng nhỏ để nghiên cứu Trong tương lai, muốn mở rộng nghiên cứu cải thiện số vấn đề tồn để cải thiện kết cho mơ hình tổng hợp ý kiến theo tính sản phẩm:  Nghiên cứu phương pháp trích xuất thực thể (sản phẩm) câu đánh giá để có hệ thống có kết tối ưu 51  Cải tiến mơ hình trích xuất tính cho sản phẩm  Cải tiến phương pháp tách câu ghép câu phức thành câu đơn  Xử lý tốt việc nhóm từ tính  Thực xử lý quan điểm Spam, loại bỏ câu đánh giá đánh giá dành cho sản phẩm mà hệ thống xử lý 52 Các cơng trình cơng bố Vũ Thị Nhạn, Nguyễn Việt Anh, Nguyễn Khắc Giáo (2015) Một phương pháp tổng hợp ý kiến đánh giá tính sản phẩm người tiêu dùng Việt Nam, Kỷ yếu Hội thảo quốc gia lần thứ XVIII: Một số vấn đề chọn lọc Công nghệ thông tin truyền thông, tr.185-190 53 TÀI LIỆU THAM KHẢO Blair-Goldensohn, S.,Hannan, K., McDonald, R., Neylon, T., Reis,G.A., and Reyna,J (2008), Building a sentiment summarizer for local service reviews In Proceedings of International Conference on World Wide Web Workshop of NLPIX Blei, D.M., Ng, A.Y., Jordan,M.I.(2003), Latent dirichlet allocation.The Journal of Machine Learning Research p 993-1022 Carenini, G., Ng, R., Pauls, A (2006), Multi-Document summarization of evaluative text In Proceeding of Conference of the European Chapter of the ACL(EACL-2006) Guo, H., Zhu, H., Guo, H., Zhang, X., Su, Z (2009), Product feature categorization with multilevel latent semantic association In Proceedings of ACM International Conference on Information and Knowledge Management H Lee, A Chang, Y Peirsman, N Chambers, M Surdeanu, D Jurafsky Deterministic Coreference Resolution Based on Entity-Centric, Precision-Ranked Rules Journal Computational Linguistics (4), December 2013 Pages 885-916) Hofmann, Thomas (1999), Probabilistic latent semantic indexing In Proceedings of Conference on Uncertainty in Artificial Intelligence (UAI-1999) Hu, M., Liu, B (2004), Mining and summarizing customer reviews In Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining Jin, Wei, Ho,H.H., (2009), A novel lexicalized HMM-based learning framework for web opinion mining In Proceedings of International Conference on Machine Learning (ICML-2009) Kim, S., Zhang, J., Chen, Z., Oh, A.H., Liu, S (2013), “A hierarchical aspect – sentiment model for online reviews”, AAAI 10 Lafferty, John, Andrew McCallum, and Fernando Pereira (2001), Conditional random fields: Probabilistic models for segmenting and labeling sequence data In Proceedings of International Conference on Machine Learning (ICML-2001) 11 Liu, B (2009),Handbook Chapter: “Sentiment Analysis and Subjectivity” Handbook of Natural Language Processing Marcel Dekker, Inc New York, NY, USA 54 12 Liu, B.( 2010),“Sentimentanalysisandsubjectivity”,InHandbookofNaturalLanguageProcessi ng,SecondEdition 13 Liu, B.( 2012), “Sentiment analysis and Opinion mining”, University Of Illinois at Chicago 14 Liu, B (2012), Sentiment Analysis and Opinion Mining Morgan & Claypool Publishers 15 Moghaddam, S.,Ester, M (2010), Opinion digger: an unsupervised opinion miner from unstructured product reviews In Proceedings of ACM International conference on Information and Knowledge Management, 2010 16 Moghaddam, S.,Ester, M (2011), ILDA: interdependent LDA model for learning latent aspects and their ratings from online product reviews In 46 Proceedings of ACM SIGIR International Conference on Information Retrieval 17 Qiu, G., Liu, B., Bu, J., Chen, C (2011), Opinion word expansion and target extraction through double propagation Computational Linguistics 18 Rabiner, Lawrence R (1989), A tutorial on hidden Markov models and selected applications in speech recognition.Proceedings of the IEEE, 77(2): pp 257-286 19 Titov, I., and McDonald, R.(2008a), Modeling online reviews with multi-grain topic models In Proceedings of International Conference on World Wide Web 20 Titov, I., and McDonald, R.(2008b), A joint model of text and aspect ratings for sentiment summarization In Proceedings of Annual Meeting of the Association for Computational Linguistics 21 Yu, J., Zha, Z., Wang, M., Wang, K.,Chua, T (2011b).Domain-Assisted product aspect hierarchy generation: towards hierarchical organization of unstructured consumer reviews In Proceedings of Conference on Empirical Methods in Natural Language Processing 22 Zhang, L., Liu, B.(2014), "Aspect and Entity Extraction for Opinion Mining", book chapter in Data Mining and Knowledge Discovery for Big Data: Methodologies, Challenges, and Opportunities 55 23 Zhang, L., Liu, B., Lim, S., O’Brien-Strain, E., (2010), Extracting and ranking product features in opinion documents In Proceedings of International Conference on Computational Linguistics (COLING-2010) 24 Pang, B., Lee, B.(2008), Opinion mining and sentiment analysis, Found Trends Inf Retr 2, 1-2, 1–135 25 Haseena,R.P (2014)“Opinion Mining and Sentiment Analysis -Challenges and Applications”, International Journal of Application or Innovation in Engineering & Management (IJAIEM) 26 Seerat,B., Azam, F (2012), “Opinion Mining: Issues and Challenges”, International Journal of Computer Applications 27 Thuy, H.Q , Thanh, V.T., Trang, P.H., To, L.C (2011) An upgrading feature-based opinion mining model on Vietnamese product reviews In: Active Media Technology, Lecture Notes in Computer Science, Springer Berlin Heidelberg, pp 173–185 28 Jindal, Nitin, Liu, B.(2007) Review spam detection In Proceedings of WWW(Poster paper) 29 Jindal, Nitin, Liu, B (2008) Opinion spam and analysis In Proceedings of the Conference on Web Search and Web Data Mining (WSDM-2008) 30 Mauge, K., Rohanimanesh, K., Ruvini, J.D (2012) Structuring e-commerce inventory In Proceedings of Annual Meeting of the Association for Computational Linguistics (ACL-2012) 31 Zhai, Z., Liu, B., Xu, H., Jia, P (2010) Grouping product features using semisupervised learning with soft-constraints In Proceedings of International Conference on Computational Linguistics (COLING-2010) ... tốt quan điểm phát biểu tính pin sản phẩm điện thoại Sony Yêu cầu đầu tổng hợp chi tiết chiều hướng quan điểm theo tính sản phẩm  Tổng hợp quan điểm khơng dựa khía cạnh Bài tốn vào tổng hợp quan. .. Chương Tổng hợp quan điểm trực tuyến người tiêu dùng Việt Nam theo tính sản phẩm 29 3.1 Trích xuất tính sản phẩm 30 3.1.1 Tiền xử lý liệu 31 3.1.2 Tách câu quan điểm. .. 1.4.3 Tổng hợp quan điểm  Tổng hợp quan điểm dựa khía cạnh Bài tốn vào tổng hợp quan điểm mức khía cạnh để làm rõ đối tượng mà người đưa quan điểm thích hay khơng thích Đối tượng sản phẩm, dịch