Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)

Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)Nghiên cứu cứu phương pháp học bán giám sát cho hệ tư vấn lai (tt)

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG - Trần Ngọc Hưng NGHIÊN CỨU PHƯƠNG PHÁP HỌC BÁN GIÁM SÁT CHO HỆ TƯ VẤN LAI Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2017 Luận văn hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: TS Nguyễn Duy Phương Phản biện 1: TS Hoàng Xuân Dậu Phản biện 2: PGS.TS Bùi Thu Lâm Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thông Vào lúc: 10 30 ngày 11 tháng năm 2017 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thông MỞ ĐẦU Hiện nay, hệ thống tư vấn (recomender system) trở thành công cụ hữu dụng phổ biến hệ thống thương mại điện tử, tiêu biểu hệ tư vấn hãng Amazon, Yahoo, Google hay FaceBook Hệ tư vấn xây dựng dựa hai kỹ thuật lọc thông tin chính: Hệ tư vấn dựa vào phương pháp lọc theo nội dung (ContentBased Filtering Recommendation) hệ tư vấn dựa vào phương pháp lọc cộng tác (Collaborative Filtering Recommendation) Lọc theo nội dung khai thác khía cạnh liên quan đến đặc trưng nội dung thông tin sản phẩm người dùng sử dụng hay truy nhập khứ để tạo nên tư vấn Trái lại, lọc cộng tác sử dụng liệu đánh giá người dùng sản phẩm để đưa dự đoán nên thực tốt tất dạng thông tin gặp phải vấn đề người dùng mới, sản phẩm liệu thưa thớt Chính vậy, vấn đề kết hợp phương pháp tư vấn theo nội dung tư vấn cộng tác nhằm tận dụng lợi phương pháp cộng đồng quan tâm nghiên cứu thời gian gần Trong luận văn em trình bày mô hình kết hợp (tư vấn lai) lọc cộng tác lọc nội dung Mục đích phương pháp lọc kết hợp nhằm xác định giá trị dự đoán chắn để chuyển giao cho trình huấn luyện Điều góp phần cải thiện chất lựợng tư vấn khắc phục vấn đề thưa thớt liệu lọc cộng tác Nội dung luận văn bao gồm 03 chương: Chương 1: Lọc cộng tác phương pháp học bán giám sát Nội dung chương này, em giới thiệu kỹ thuật tư vấn cộng tác dựa nhớ phương pháp đồng huấn luyện cho lọc cộng tác TS Từ Minh Phương TS Nguyễn Duy Phương công bố Đây mô hình sở để em phát triển mô hình đồng huấn luyện trình bày chương luận văn Chương 2: Phương pháp đồng huấn luyện cho lọc kết hợp Chương em tập trung trình bày phương pháp đề xuất kết hợp lọc cộng tác lọc nội dung Phương pháp thực cách tích hợp đặc trưng nội dung sản phẩm đặc trưng người dùng vào lọc cộng tác Trên sở giá trị đặc trưng nội dung tích hợp, em mở rộng phương pháp ước lượng mức độ tương tự cặp người dùng không thực đánh giá người dùng mà hồ sơ người dùng; mức độ tương tự cặp sản phẩm không thực đánh giá sản phẩm mà hồ sơ sản phẩm Chương 3: Thử nghiệm đánh giá Chương cài đặt thử nghiệm thuật toán với tập liệu MovieLen Từ kết thử nghiệm thu tiến hành đánh giá, so sánh thuật toán với Cuối kết luận hướng phát triển đề tài Kết luận hướng phát triển Trình bày tóm tắt kết đạt được, từ đề xuất mục tiêu hướng nghiên cứu, phát triển Chương - LỌC CỘNG TÁC BẰNG PHƯƠNG PHÁP HỌC BÁN GIÁM SÁT Hệ tư vấn xây dựng dựa hai kỹ thuật lọc thông tin chính: lọc cộng tác lọc nội dung Trong đó, lọc cộng tác áp dụng rộng rãi tính đơn giản hiệu cài đặt Lọc cộng tác tiếp cận theo hai xu hướng chính: lọc cộng tác dựa vào nhớ lọc cộng tác dựa vào mô hình Trong chương này, em tập trung trình bày phương pháp đồng huấn luyện cho lọc cộng tác phương pháp sở để mở rộng cho lọc kết hợp 1.1 Phát biểu toán lọc cộng tác Lọc cộng tác (collaborative filtering) phương pháp dự đoán quan điểm người dùng thời sản phẩm phù hợp dựa thói quen sử dụng sản phẩm cộng đồng người dùng có chung sở thích Bài toán lọc cộng tác phát biểu sau: Cho tập hợp hữu hạn U = {u1, u2,…, uN} tập gồm N người dùng, P = {p1, p2, , pM} tập gồm M sản phẩm Mỗi sản phẩm pxP hàng hóa, phim, ảnh, tạp chí, tài liệu, sách, báo, dịch vụ dạng thông tin mà người dùng cần đến Để thuận tiện trình bày, ta viết pxP ngắn gọn thành xP; uiU iU Mối quan hệ tập người dùng U tập sản phẩm P biểu diễn thông qua ma trận đánh giá R={ rix }, i = N, x = M Mỗi giá trị rix thể đánh giá người dùng iU cho số sản phẩm xP Giá trị rix thu thập trực tiếp cách hỏi ý kiến người dùng thu thập gián tiếp thông qua chế phản hồi người dùng Giá trị rix =  hiểu người dùng i chưa đánh giá chưa biết đến sản phẩm x Tiếp đến ta ký hiệu PiP tập sản phẩm đánh giá người dùng iU UxU tập người dùng đánh giá sản phẩm xP Với người dùng cần tư vấn aU (được gọi người dùng thời, người dùng cần tư vấn, hay người dùng tích cực), toán lọc cộng tác dự đoán đánh giá a mặt hàng x (P\ Pa), sở tư vấn cho người dùng a sản phẩm đánh giá cao Học máy cho lọc cộng tác tiếp cận theo ba xu hướng chính: Học có giám sát (supervised learning), (unsupervised learning) học không giám sát học bán giám sát (semi-supervised learning) Mỗi phương pháp học khai thác khía cạnh riêng tập liệu huấn luyện 1.2.1 Lọc cộng tác phương pháp học không giám sát Lọc cộng tác phương pháp học không giám sát tiếp cận theo hai phương pháp chính: Phương pháp học dựa vào người dùng phương pháp học dựa vào sản phẩm Mỗi phương pháp có ưu điểm riêng khai thác khía cạnh liên quan đến người dùng sản phẩm Đặc điểm chung hai phương pháp sử dụng toàn tập liệu đánh giá để dự đoán quan điểm người dùng cần tư vấn sản phẩm mà họ chưa biết đến Mỗi phương pháp tiến hành theo ba bước sau: Bước Tính toán mức độ tương tự cặp người dùng sản phẩm Bước Xác định tập láng giềng cho người dùng cần tư vấn Bước Sinh dự đoán cho người dùng cần tư vấn 1.2.2 Hạn chế phương pháp học không giám sát  Vấn đề liệu thưa  Vấn đề liệu thưa làm cho việc xác định tập láng giềng thuật toán Bước trở nên tin cậy  Vấn đề người dùng sản phẩm 1.3 Phương pháp học bán giám sát cho lọc cộng tác Để giải toán lọc cộng phương pháp học bán giám sát ta cần xây dựng hai kiểu quan sát tập liệu huấn luyện: Học bán giám sát dựa vào người dùng học bán giám sát dựa vào sản phẩm Tiếp đến, ta cần phải xây dựng thuật toán chuyển giao đồng thời kiểu quan sát để sinh dự đoán cho người dùng Chương - PHƯƠNG PHÁP HỌC BÁN GIÁM SÁT CHO LỌC KẾT HỢP Trong chương này, em trình bày mô hình kết hợp lọc cộng tác lọc nội dung phương pháp lọc kết hợp 2.1 Phát biểu toán lọc kết hợp Cho tập hợp hữu hạn gồm N người dùng U = {u1, u2,…, uN}, P = {p1, p2, , pM} tập hữu hạn gồm M sản phẩm Mỗi sản phẩm pxP hàng hóa, phim, ảnh, tạp chí, tài liệu, sách, báo, dịch vụ dạng thông tin mà người dùng cần đến Mối quan hệ tập người dùng U tập sản phẩm P biểu diễn thông qua ma trận đánh giá R={ rix: i = 1, 2, N; x = 1, 2, M } Giá trị rix thể đánh giá người dùng uiU cho số sản phẩm pxP Thông thường giá trị rix nhận giá trị thuộc miền F = { 1, 2, , g} thu thập trực tiếp cách hỏi ý kiến người dùng thu thập gián tiếp thông qua chế phản hồi người dùng Giá trị rix =  hiểu người dùng ui chưa đánh giá chưa biết đến sản phẩm px Ma trận 11 Mỗi người dùng iU biểu diễn thông qua |T| đặc trưng nội dung T = {t1, t2, , t|T|} Các đặc trưng tqT thông thường thông tin cá nhân người dùng (Demographic Information) Ví dụ iU người dùng đặc trưng nội dung biểu diễn người dùng i T={giới tính, độ tuổi, nghề nghiệp, trình độ,…} Gọi vx = {vx1, vx2, , vx|T|} vector trọng số biểu diễn giá trị đặc trưng nội dung tqT sản phẩm xP Khi đó, ma trận trọng số V ={vxq: x = 1, 2, , M;q = 1, 2, , |T| } đầu vào hệ thống tư vấn theo nội dung thông tin người dùng Để thuận tiện trình bày, ta viết tqT ngắn gọn qT Ký tự q dùng để tập đặc trưng nội dung người dùng Tiếp đến ta ký hiệu, PiP tập sản phẩm xP đánh giá người dùng iU UxU tập người dùng iU đánh giá sản phẩm xP Với người dùng cần tư vấn iU (được gọi người dùng thời, người dùng cần tư vấn, hay người dùng tích cực), nhiệm vụ phương pháp tư vấn gợi ý K sản phẩm x(P\Pi) phù hợp người dùng i 12 Bài toán tư vấn phân loại thành ba hướng tiếp cận chính: tư vấn theo nội dung, tư vấn cộng tác tư vấn kết hợp 2.2 Hợp biểu diễn giá trị đặc trưng nội dung 2.2.1 Hợp hồ sơ người dùng lọc nội dung vào ma trận đánh giá Phương pháp tư vấn theo nội dung thực dự đoán sản phẩm có nội dung thông tin hay mô tả hàng hóa tương tự với sản phẩm mà người dùng sử dụng truy nhập khứ Chất lượng phương pháp tư vấn theo nội dung phụ thuộc vào phương pháp trích chọn đặc trưng để biểu diễn vector đặc trưng nội dung sản phẩm vector hồ sơ sử dụng sản phẩm người dùng Hạn chế lớn phương pháp trích chọn đặc trưng nhiều đặc trưng không quan trọng tham gia vào việc xác định mức độ tương tự vector hồ sơ người dùng vector đặc trưng sản phẩm Để hạn chế điều này, cần phải xây dựng hồ sơ sử dụng sản phẩm người dùng thông qua đánh giá tự nhiên người dùng sán phẩm 13 2.2.2 Hợp hồ sơ sản phẩm lọc nội dung vào ma trận đánh giá Tương tự hồ sơ người dùng, hồ sơ sản phẩm lưu trữ lại dấu vết đặc trưng nội dung người dùng sử dụng sản phẩm Để xây dựng hồ sơ sản phẩm ta cần thực hai nhiệm vụ: xác định tập người dùng sử dụng sản phẩm khứ ước lượng trọng số đặc trưng nội dung người dùng hồ sơ sản phẩm 2.3 Mô hình học bán giám sát cho lọc kết hợp 2.3.1 Bán giám sát tập đánh giá người dùng tập đặc trưng sản phẩm Hệ tư vấn lai xác định cho phép ta dễ dàng triển khai phương pháp lọc cộng tác dựa vào người dùng Phương pháp tiến hành thông qua bước: tính toán mức độ tương tự cặp người dùng, xác định tập láng giềng cho người dùng cần tư vấn, dự đoán quan điểm người dùng sản phẩm mới, tư vấn top k sản phẩm có giá trị dự đoán cao cho người dùng Do tính chất thưa thớt ma trận đánh giá làm cho việc xác định mức độ tương tự cặp người dùng xác Điều ảnh hưởng trực tiếp đến việc xác định tập láng 14 giềng kết dự đoán sản phẩm cho người dùng cần tư vấn Để khắc phục điều này, với người dùng iUem xây dựng tập Si định nghĩa theo công thức để giám sát việc tính toán mức độ tương tự cặp người dùng 2.3.2 Bán giám sát tập đánh giá sản phẩm tập đặc trưng người dùng Hệ tư vấn lai xác định theo cho phép ta dễ dàng triển khai phương pháp lọc cộng tác dựa vào sản phẩm Phương pháp tiến hành thông qua bước: tính toán mức độ tương tự cặp sản phẩm, xác định tập láng giềng cho sản phẩm cần tư vấn, dự đoán quan mức độ phù hợp sản phẩm người dùng tư vấn top k sản phẩm có giá trị dự đoán cao cho người dùng Do tính chất thưa thớt ma trận đánh giá làm cho việc xác định mức độ tương tự cặp sản phẩm xác Điều ảnh hưởng trực tiếp đến việc xác định tập láng giềng sản phẩm kết dự đoán mức độ phù hợp người dùng sản phẩm Để khắc phục điều này, với sản phẩm xPem xây dựng tập Sx định nghĩa theo công thức để giám sát việc tính toán mức độ 15 tương tự cặp sản phẩm Trong đó, Ux Tx xác định theo công thức 2.3.3 Thuật toán học bán giám sát cho lọc kết hợp Phương pháp bán giám sát theo đánh giá người dùng tập đặc trưng sản phẩm cho phép ta phát sản phẩm phù hợp người dùng Phương pháp bán giám sát theo đánh giá sản phẩm tập đặc trưng người dùng cho phép ta phát người dùng phù hợp sản phẩm Chúng ta xây dựng thuật toán học bán giám sát đồng thời để xử lý trình chuyển giao kết dự đoán trình bán giám sát từ tập đánh giá người dùng tập đặc trưng sản phẩm đến trình bán giám sát từ tập đánh giá sản phẩm tập đặc trưng người dùng Thuật toán mô tả chi tiết Hình Thuật toán học bán giám sát ký hiệu Semi-Learning thực thông qua ba bước: bước khởi tạo, bước lặp tạo nên tư vấn 16 Chương - THỬ NGHIỆM VÀ ĐÁNH GIÁ Chương trình bày phương pháp thử nghiệm thuật toán nêu chương chương Dựa kết thử nghiệm đưa so sánh đánh giá tính xác, hiệu thuật toán 3.1 Dữ liệu thử nghiệm Thuật toán lọc cộng tác thử nghiệm liệu MovieLens nhóm nghiên cứu GroupLens thuộc trường đại học Minnesota Bộ liệu thứ ml-100K bao gồm 100.000 đánh giá 943 người dùng cho 1682 phim Giá trị đánh giá thực từ đến Mức độ thưa thớt liệu đánh giá 98.7% Bộ liệu thứ hai ml-1M bao gồm 1.000.000 đánh giá 6.000 người dùng cho 4.000 phim Bộ liệu thứ ba ml-10M bao gồm 10.000.000 đánh giá 72000 người dùng 3.2 Phương pháp thử nghiệm Thử nghiệm 1: Trước tiên, toàn liệu thử nghiệm chia thành hai phần, phần Utr sử dụng làm liệu huấn luyện, phần lại Ute sử dụng để kiểm tra Tập Utr chứa 75% đánh giá tập Ute chứa 25% đánh 17 giá Dữ liệu huấn luyện sử dụng để xây dựng mô hình theo thuật toán mô tả Với người dùng i thuộc tập liệu kiểm tra, đánh giá (đã có) người dùng chia làm hai phần Oi Pi Oi coi biết, Pi đánh giá cần dự đoán từ liệu huấn luyện Oi Sai số dự đoán MAEu với khách hàng u thuộc tập liệu kiểm tra tính trung cộng sai số tuyệt đối giá trị dự đoán giá trị thực tất mặt hàng thuộc tập Pu MAE u  Pu  rˆ u y  ry u yPu Sai số dự đoán toàn tập liệu kiểm tra tính trung bình cộng sai số dự đoán cho khách hàng thuộc Ute MAE   MAE u uU te U te Giá trị MAE nhỏ tốt, tức phương pháp xác 18 Thử nghiệm 2: Trước tiên, toàn liệu thử nghiệm chia thành hai phần, phần Utr sử dụng làm liệu huấn luyện, phần lại Ute sử dụng để kiểm tra Tập Utr chứa 80% đánh giá tập Ute chứa 20% đánh giá Dữ liệu huấn luyện sử dụng để xây dựng mô hình theo thuật toán mô tả Với người dùng i thuộc tập liệu kiểm tra, đánh giá (đã có) người dùng chia làm hai phần Oi Pi Oi coi biết, Pi đánh giá cần dự đoán từ liệu huấn luyện Oi Sai số dự đoán MAEu với khách hàng u thuộc tập liệu kiểm tra tính trung cộng sai số tuyệt đối giá trị dự đoán giá trị thực tất mặt hàng thuộc tập Pu 𝑀𝐴𝐸𝑢 = |𝑃𝑢 | ∑𝑦∈𝑃𝑢 |𝑟̂𝑢𝑦 − 𝑟𝑢𝑦 | Sai số dự đoán toàn tập liệu kiểm tra tính trung bình cộng sai số dự đoán cho khách hàng thuộc Ute Giá trị MAE nhỏ phương pháp dự đoán có độ xác cao 𝑀𝐴𝐸 = ∑𝑢∈𝑈𝑡𝑒 𝑀𝐴𝐸𝑢 |𝑈𝑡𝑒 | 19 3.3 So sánh kết Phương pháp Co-Training-UserBased (ký hiệu CoUserBased) so sánh với phương pháp sau: - Phương pháp UserBased sử dụng độ tương quan Pearson Đây phương pháp lọc cộng tác dựa người dùng trình bày Mục 2.1 - Phương pháp ItemBased sử dụng độ tương quan Pearson Đây phương pháp lọc cộng tác dựa sản phẩm người dùng trình bày Mục 2.1 - Trong trường hợp liệu tương đối đầy đủ, cụ thể biết trước nhiều đánh giá người dùng tập kiểm tra, phương pháp Co-Training-UserBased CoTraining-ItemBased cho lại kết tương đương Tuy nhiên, liệu đi, cụ thể biết trước 10 đánh giá người dùng kiểm tra đa số trường hợp, Co-Training-ItemBased cho sai số MAE nhỏ so với Co-Training-UserBased Lý chủ yếu lực lượng tập Cx xác định theo lớn lực lượng tập Si xác định theo Điều cho phép dự đoán nhãn phân loại bổ sung vào trình huấn luyện theo người dùng tốt 20 Phương pháp học bán giám sát thử nghiệm so sánh với phương pháp sau: - Phương pháp KNN dựa vào người dùng sử dụng độ tương quan Pearson (ký hiệu CF-UserBased) Đây phương pháp tư vấn cộng tác chuẩn dựa vào người dùng đề xuất - Phương pháp KNN dựa vào sản phẩm sử dụng độ tương quan Pearson (ký hiệu CF-ItemBased) Đây phương pháp tư vấn cộng tác chuẩn dựa vào sản phẩm đề xuất - Phương pháp KNN dựa vào hồ sơ người dùng sử dụng độ tương quan Pearson (ký hiệu CBF-UserBased) Đây phương pháp tư vấn dựa vào việc so sánh mức độ tương tự hai hồ sơ người dùng đề xuất - Phương pháp KNN dựa vào hồ sơ sản phẩm sử dụng độ tương quan Pearson (ký hiệu CBF-ItemBased) Đây phương pháp tư vấn dựa vào việc so sánh mức độ tương tự hai hồ sơ sản phẩm đề xuất - Phương pháp tư vấn kết hợp KNN dựa vào người dùng tập đặc trưng sản phẩm sử dụng độ tương quan Pearson (ký hiệu Hybrid-UserBased) Đây phương 21 pháp tư vấn kết hợp dựa vào độ tương quan Pearson đề xuất - Phương pháp tư vấn kết hợp dựa theo sản phẩm tập đặc trưng người dùng sử dụng độ tương quan Pearson (ký hiệu Hybrid-ItemBased) Đây phương pháp tư vấn kết hợp dựa vào độ tương quan Pearson đề xuất Phương pháp Hybrid-UserBased cho lại giá trị MAE thấp nhiều so với phương pháp CBF-UserBased CFUserBased Cụ thể ứng với số lượng đánh giá biết trước tập kiểm tra 5, 10, 15, 20 phương pháp CBFUserBased CF-UserBased cho lại giá trị MAE 0.865, 0.859, 855, 0.835 0.824, 0.817, 0.821, 0.813 so với 0.793, 0.792, 0.791, 702 phương pháp HybridUserBased Phương pháp Hybrid-ItemBased cho lại giá trị MAE thấp so với phương pháp CBF-ItemBased CF-ItemBased Với số lượng đánh giá biết trước tập kiểm tra 5, 10, 15, 20 phương pháp CBFItemBased CF-ItemBased cho lại giá trị MAE 0.894, 0.833, 875, 0.845 0.846, 0.841, 0.836, 0.815 so với 0.798, 0.788, 0.782, 0.695 phương pháp HybridItemBased Điều lý giải phương pháp tính 22 toán mức độ tương tự cặp người dùng tập đánh giá người dùng đặc trưng sản phẩm xác so với phương pháp tính toán mức độ tương tự cặp người dùng dựa vào đánh giá người dùng hồ sơ người dùng Phương pháp tính toán mức độ tương tự cặp sản phẩm tập đánh giá sản phẩm đặc trưng người dùng xác so với phương pháp tính toán mức độ tương tự cặp sản phẩm dựa vào đánh giá sản phẩm hồ sơ sản phẩm Phương pháp Semi-Learning cho lại giá trị MAE thấp tất mức độ thưa thớt liệu khác Đối với tập liệu kiểm tra có đánh giá biết trước, phương pháp Hybrid-UserBased Hybrid-ItemBased cho lại giá trị MAE 0.793, 0.798 so với 0.672 phương pháp Semi-Learning Với tập liệu kiểm tra có 10 đánh giá biết trước, phương pháp Hybrid-UserBased Hybrid-ItemBased cho lại giá trị MAE 0.792, 0.788 so với 0.629 phương pháp Semi-Learning Với tập liệu kiểm tra có 15 đánh giá biết trước, phương pháp Hybrid-UserBased Hybrid-ItemBased cho lại giá trị MAE 0.791, 0.782 so với 0.617 phương 23 pháp Semi-Learning Đặc biệt, với tập liệu kiểm tra có 20 đánh giá biết trước, phương pháp cho lại giá trị MAE 0.585 Điều khẳng định phương pháp xác định độ tương tự dựa tập không thưa người dùng sản phẩm hoàn toàn tin cậy Phương pháp chuyển giao kết dự đoán trình bán giám sát tập đánh giá người dùng tập đặc trưng sản phẩm tập đánh giá sản phẩm tập đặc trưng người dùng hạn chế hiệu vấn đề liệu thưa phương pháp lọc 24 KẾT LUẬN Luận văn trình bày mô hình kết hợp lọc cộng tác với lọc nội dung cách tích hợp đặc trưng sản phẩm, đặc trưng người dùng vào lọc cộng tác để tận dụng lợi hai phương pháp Dựa cách kết hợp luận văn trình bày thuật toán lọc kết hợp dựa người dùng, lọc kết hợp dựa sản phẩm Đặc biệt phương pháp đồng huấn luyện cho mô hình kết hợp Phương pháp đồng huấn luyện cho mô hình kết hợp sở dựa mô hình đồng huấn luyện lọc cộng tác, kết hợp hai cách quan sát: quan sát theo người dùng quan sát theo sản phẩm để huấn luyện liệu đánh giá Tuy nhiện mô hình đồng huấn luyện khác mô hình cũ sử dụng liệu đánh giá sau kết hợp với đặc trưng sản phẩm đặc trưng người dùng Trong thử nghiệm ban đầu cho thấy: - Các phương pháp lọc kết hợp dựa người dùng tốt so với phương pháp lọc cộng tác dựa vào người dùng 25 - Các phương pháp lọc kết hợp dựa sản phẩm tốt so với phương pháp lọc cộng tác dựa vào sản phẩm - Phương pháp đồng huấn luyện lọc kết hợp cho kết tốt phương pháp đồng huấn luyện lọc cộng tác - Mô hình kết hợp giải phần vấn đề thưa thớt liệu cải thiện chất lượng tư vấn Một số hướng phát triển luận văn: - Xác định việc tích hợp đặc trưng người dùng hay đặc trưng sản phẩm vào mô hình kết hợp cho kết tốt - Xây dựng ứng dụng áp dụng thuật toán kết hợp lọc cộng tác với lọc nội dung ... 1.3 Phương pháp học bán giám sát cho lọc cộng tác Để giải toán lọc cộng phương pháp học bán giám sát ta cần xây dựng hai kiểu quan sát tập liệu huấn luyện: Học bán giám sát dựa vào người dùng học. .. phương pháp học khai thác khía cạnh riêng tập liệu huấn luyện 1.2.1 Lọc cộng tác phương pháp học không giám sát Lọc cộng tác phương pháp học không giám sát tiếp cận theo hai phương pháp chính: Phương. .. phẩm 2.3 Mô hình học bán giám sát cho lọc kết hợp 2.3.1 Bán giám sát tập đánh giá người dùng tập đặc trưng sản phẩm Hệ tư vấn lai xác định cho phép ta dễ dàng triển khai phương pháp lọc cộng tác