Nghiên cứu một số phương pháp trích chọn đặc trưng trong khai phá quan điểm và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LÊ THỊ BÍCH HẢO NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG TRONG KHAI PHÁ QUAN ĐIỂM VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC[.]

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG LÊ THỊ BÍCH HẢO NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG TRONG KHAI PHÁ QUAN ĐIỂM VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2016 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG LÊ THỊ BÍCH HẢO NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG TRONG KHAI PHÁ QUAN ĐIỂM VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS NGUYỄN VIỆT ANH THÁI NGUYÊN – 2016 i LỜI CẢM ƠN Trước hết tơi xin bày tỏ lịng biết ơn sâu sắc gửi lời cảm ơn đặc biệt tới Thầy TS Nguyễn Việt Anh, người định hướng đề tài, cung cấp cho kiến thức, tài liệu tận tình hướng dẫn bảo tơi suốt trình thực đề tài luận văn cao học này, từ ý tưởng đề cương nghiên cứu, phương pháp nghiên cứu, phương pháp giải vấn đề lần kiểm tra cuối để hồn thành luận văn Tơi xin gửi lời cảm ơn chân thành tới Ban Giám hiệu Nhà trường, Phịng Đào tạo sau đại học, Đại học Cơng nghệ thông tin truyền thông Thái Nguyên tạo điều kiện tốt giúp tơi suốt q trình học tập Cuối xin gửi lời cảm ơn đến gia đình, bạn bè người ln động viên khuyến khích tơi suốt q trình học tập thực đề tài luận văn Thái Nguyên, ngày tháng năm 2016 Học viên Lê Thị Bích Hảo ii LỜI CAM ĐOAN Tơi xin cam đoan nội dung trình bày luận văn tơi tự nghiên cứu tìm hiểu dựa tài liệu tơi trình bày theo ý hiểu thân hướng dẫn trực tiếp Thầy TS Nguyễn Việt Anh Các nội dung nghiên cứu, tìm hiểu kết thực nghiệm hoàn toàn trung thực Luận văn chưa cơng bố cơng trình Trong q trình thực luận văn tơi tham khảo đến tài liệu số tác giả, ghi rõ tên tài liệu, nguồn gốc tài liệu, tên tác giả liệt kê mục “DANH MỤC TÀI LIỆU THAM KHẢO” cuối luận văn Học viên Lê Thị Bích Hảo iii MỤC LỤC Trang Trang bìa phụ Lời cảm ơn .i Lời cam đoan ii Mục lục iii Danh mục bảng, hình vẽ, đồ thị iv MỞ ĐẦU Chương 1: TỔNG QUAN VỀ KHAI PHÁ QUAN ĐIỂM 1.1 Khai phá quan điểm 1.1.1 Giới thiệu chung 1.1.2 Những thách thức khai phá quan điểm với liệu đánh giá 1.1.3 Các định nghĩa khai phá quan điểm 1.1.4 Các toán khai phá quan điểm 1.2 Khai phá quan điểm dựa đặc trưng 11 1.2.1 Mơ hình khai thác ý kiến dựa thuộc tính 12 1.2.2 Trích xuất khía cạnh 15 1.2.3 Dự đoán cực 16 1.2.4 Nhóm khía cạnh 17 1.2.5 Phân giải đồng tham chiếu (Coreference resolution) 18 1.2.6 Đánh giá 18 Chương 2: MỘT SỐ PHƯƠNG PHÁP GIẢI QUYẾT BÀI TỐN TRÍCH CHỌN ĐẶC TRƯNG TRONG KHAI PHÁ QUAN ĐIỂM 21 2.1 Phương pháp trích chọn đặc trưng dựa tập phổ biến 21 2.2 Phương pháp trích chọn đặc trưng dựa lan truyền kép 26 2.3 Mơ hình giải tốn khai phá quan điểm dựa vào đặc trưng cho tiếng Việt 34 Chương 3: ỨNG DỤNG VÀO HỆ THỐNG TRÍCH CHỌN ĐẶC TRƯNG CHO ĐIỆN THOẠI DI ĐỘNG 37 3.1 Mô tả toán ý tưởng giải 37 iv 3.2 Xây dựng mô hình hệ thống 37 3.2.1 Xây dựng sở liệu đặc tả sản phẩm 40 3.2.2 Sinh tập ứng viên đặc trưng 41 3.3.3 Nhóm gộp đặc trưng 43 3.3 Thực nghiệm đánh giá 45 3.3.1 Môi trường công cụ sử dụng 46 3.3.2 Bước tiền xử lý liệu: 47 3.3.4 Trích chọn tính dựa theo thuật tốn lan truyền kép 51 3.3.5 Gộp nhóm tính 53 3.3.6 Đánh giá chung cho toàn hệ thống 54 KẾT LUẬN 56 TÀI LIỆU THAM KHẢO 57 iv DANH MỤC CÁC BẢNG Trang Bảng 3.1 Các nhãn từ loại giải thích 40 Bảng 3.2 Tổng hợp tính quan tâm 54 DANH MỤC CÁC HÌNH VẼ ĐỒ THỊ Hình 1.1 Ví dụ biểu diễn đối tượng Hình 1.2 Quan hệ nhiệm vụ 10 Hình 2.1 Mơ hình trích chọn đặc trưng Hu Liu 22 Hình 2.2 Các loại mối quan hệ phụ thuộc ngữ pháp A B 27 Hình 2.3 Mơ hình khai phá quan điểm dựa tính Ha [6] 35 Hình 3.1 Mơ hình giải tốn 39 MỞ ĐẦU Trên giới nói chung Việt Nam nói riêng, thương mại điện tử trở nên phổ biến ngày phát triển Một phần quan trọng thương mại điện tử bán hàng trực tuyến Số lượng người mua hàng trực tuyến gia tăng, số lượng đánh giá, nhận xét người dùng sản phẩm ngày nhiều Một sản phẩm thơng dụng có hàng trăm, hàng nghìn đánh giá Cùng với trang web bán hàng trực tuyến trang web đánh giá sản phẩm epinions.com, dpreview.com, vnreview.vn, trustedreviews.com, tinhte.vn, Các trang web nơi người tiêu dùng viết đánh giá sản phẩm Các đánh giá đăng trang web loại cần tuân theo số quy định trang web đưa chấm điểm đông đảo người dùng trang web vào độ tin cậy, hợp lý hữu dụng mà đánh giá mang lại Chính vậy, đánh giá từ trang web loại coi nguồn tổng hợp lớn đánh giá sản phẩm tin cậy từ khách hàng Đây nguồn thông tin quan trọng, cung cấp cho người mua hàng nhìn tồn diện sản phẩm mà họ định mua Còn nhà sản xuất, đánh giá khách hàng sở để tiến hành cải tiến, hoàn thiện sản phẩm Tuy nhiên, vấn đề đặt số lượng ý kiến đánh giá lớn Điều gây khó khăn cho người mua hàng nhà sản xuất Người mua hàng gặp khó khăn việc tổng hợp ý kiến người tiêu dùng trước để đưa định mua hay không mua sản phẩm Cịn nhà sản xuất khó theo dõi, nắm bắt tất phản hồi người tiêu dùng sản phẩm Thực tế làm nảy sinh yêu cầu tổng hợp tất nhận xét khách hàng đặc trưng sản phẩm trang web đánh giá sản phẩm Theo khảo sát 2000 người Mỹ trưởng thành cho thấy 81% người dùng internet (chiếm tỷ lệ 60% người Mỹ) thực việc tìm hiểu sản phẩm thơng qua internet Có từ 73% đến 87% số người nói nhận xét sản phẩm có ảnh hưởng quan trọng đến việc lựa chọn mua sản phẩm họ Như vậy, quan điểm người khác giúp có thêm thơng tin định vấn đề, ảnh hưởng lớn đến hành vi Tại Việt Nam theo báo cáo thương mại điện tử Bộ công thương công bố năm 2014 [1] loại mặt hàng mua trực tuyến đồ công nghệ điện tử chiếm tới 61%, yếu tố quan tâm mua sắm 81% người uy tín người bán hàng 64% theo thương hiệu sản phẩm; thống kê năm 2015 Google [2] người dùng internet có xu hướng theo lời khuyên trực tuyến 50% để mua đồ Việc giúp người có ý định mua tham khảo tốt ý kiến người dùng, hay giúp nhà cung cấp sản phẩm biết cộng đồng quan tâm đến sản phẩm khía cạnh nào, động lực để học viên nghiên cứu đề tài Đối với toán có nhiều cơng trình nghiên cứu ứng dụng giới thập kỷ qua đưa nhiều kết đáng ý mô tả tổng hợp số nhà nghiên cứu uy tín ngành Bing Liu [3] hay Moghaddam [4]… giới, nước đề tài nhận nhiều ý quan tâm nhà nghiên cứu năm gần đây, bật có nhóm tác giả Bảo Sơn [5] nhóm Hà Thụy [6], [7] đưa số kết mơ hình áp dụng số liệu tiếng Việt từ điển miền Tiếng Việt… Luận văn định hướng tìm hiểu phương pháp trích chọn đặc trưng khai phá quan điểm để biểu diễn đối tượng quan tâm, sở đề xuất phương pháp thử nghiệm ứng dụng hệ thống tốn trích chọn đặc trưng sản phẩm cụ thể điện thoại di động, từ liệu thu thập website diễn dàn đánh giá sản phẩm Với ý nghĩa thực tế ứng dụng thị trường nước, học viên xin đề xuất nghiên cứu đưa mơ hình ứng dụng Mơ hình bao gồm bước từ thu thập liệu, tiền xử lý liệu, đến ứng dụng thuật tốn mơ hình lan truyền kép để trích chọn đặc trưng, sử dụng phân cụm để gộp nhóm đặc trưng Cuối đưa đánh giá riêng hiệu thuật toán, liệu, kết đạt đánh giá tính khả thi ứng dụng mơ hình Cấu trúc luận văn chia thành phần chính: Phần I Mơ tả tổng quan tốn khai phá quan điểm, nêu rõ vấn đề bật toán tiếp tới sâu vào toán khai phá quan điểm dựa đặc trưng, toán cần giải phương pháp đánh giá Những vấn đề nêu có giới thiệu nghiên cứu ngồi nước liên quan Phần II Mơ tả cụ thể chi tiết phương pháp giải tốn trích trọn đặc trưng bật giới, phân tích đưa định ứng dụng vào mơ hình giải tốn Phần III Phát biểu tốn đưa mơ hình ứng dụng tốn trích chọn đặc trưng cho miền liệu tiếng Việt sản phẩm điện thoại di động Tiếp theo đưa kết thực nghiệm phân tích chủ quan học viên kết đạt mơ hình Phần IV Kết luận tổng kết q trình thực luận văn, khó khăn, thách thức, kết đạt định hướng hướng nghiên cứu áp dụng ... Chương 2: MỘT SỐ PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN TRÍCH CHỌN ĐẶC TRƯNG TRONG KHAI PHÁ QUAN ĐIỂM 21 2.1 Phương pháp trích chọn đặc trưng dựa tập phổ biến 21 2.2 Phương pháp trích chọn đặc trưng. .. hướng quan điểm hay cực quan điểm? ?? Từ quan điểm: “Từ thể quan điểm người đánh giá gọi từ quan điểm? ?? Quan điểm quan điểm ẩn: ? ?Một quan điểm đặc trưng f câu chủ quan mà trực tiếp biểu đạt quan điểm. .. CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG LÊ THỊ BÍCH HẢO NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG TRONG KHAI PHÁ QUAN ĐIỂM VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN