Đề tài tìm HIỂU về hệ tư vấn

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP TP.HCM KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN Đề Tài: TÌM HIỂU VỀ HỆ TƯ VẤN Giảng viên hướng dẫn : Th.s Nguyễn Thị Trúc Ly Sinh viên thực Lớp MSSV : Vũ Thanh Tâm : 12013231 : 13057651 Tp.Hồ Chí Minh - 2017 LỜI CÁM ƠN Em xin chân thành cám ơn khoa Công Nghệ Thông Tin trường đại học Công Nghiệp Tp.HCM tồn tất thầy giáo tận tình giúp đỡ em trình thực đồ án Đặc biệt, em xin trân trọng cảm ơn cô Nguyễn Thị Trúc Ly , người trực tiếp hướng dẫn tạo điều kiện để em hoàn thành đồ án Xin chân thành cảm ơn! Lời nhận xét GVHD: … …… I TÓM TẮT NỘI DUNG Hệ tư vấn (recommender system) trở thành lĩnh vực nghiên cứu quan trọng kể từ báo lọc cộng tác (collaborative filtering) xuất vào năm 1990 Hiện nay, quan tâm hệ tư vấn cao cần thiết ứng dụng giúp người dùng xử lý với tình trạng tải thông tin & đưa nội dung lời khuyên phù hợp cho cá nhân Một vài ứng dụng tiếng như: hệ tư vấn sách, CDs Amazon.com, hệ tư vấn phim MovieLens… II LỜI MỞ ĐẦU Internet mang đến cho người nhiều tiện ích khác Tuy nhiên tạo bùng nổ thông tin Đặc biệt với tham gia thương mại điện tử, số lượng thông tin trao đổi internet tăng theo cấp số nhân Ngày nay, bạn tìm thơng tin sản phẩm cần thơng qua internet Tuy nhiên, ngày bạn nhiều thời gian việc tìm xem sản phẩm hay thơng tin phù hợp với Bạn gặp nhiều khó khăn khơng biết sản phẩm phù hợp với Một số cơng cụ tìm kiếm với từ khóa, điển google, yahoo… bing giúp nhiều tìm kiếm thơng tin cần thiết Nhưng với lượng thơng tin tăng lên nhanh chóng, cơng cụ tìm kiếm theo từ khóa dần tỏ khơng hoàn toàn đáp ứng nhu cầu người Hàng ngày bạn phải bỏ nhiều thời gian để lọc thơng tin tìm kiếm google Thêm nữa, người dùng không hiểu hết nhu cầu mình, khơng biết từ khóa xác muốn tìm kiếm, khó để tìm thơng tin cần Nhu cầu đặt cần có hệ tư vấn Các hệ thống tư vấn tính tốn dự đốn khả người dùng thích sản phẩm hay thơng tin Từ đưa gợi ý sản phẩm hay thơng tin phù hợp với người dùng Để làm điều này, hệ tư vấn xây dựng hồ sơ (Profile) người dùng Hồ sơ người dùng bao gồm thông tin rõ ràng thông tin ẩn Những thông tin rõ ràng thông tin người dùng cung cấp cụ thể thông qua việc trả lời câu hỏi, hay thể cụ thể như: người dùng mua sản phẩm, người dùng đưa đánh giá cho sản phẩm hay tin hay sở thích người dùng gì?… Tuy nhiên, thơng tin rõ ràng ta khó thu thập đơi khơng đủ để ta dự đốn tính toán độ phù hợp với người dùng Ta phải sử dụng thêm thông tin ẩn chẳng hạn như: lịch sử từ khóa tìm kiếm, tần số lặp lại từ khóa, độ tương tự hay liên quan nghĩa từ khóa mà người dùng tìm kiếm… Trong nhiều hệ tư vấn, thông tin ẩn đóng vai trị định kết tư vấn Từ hồ sơ người dùng, hệ tư vấn tính tốn khả người dùng thích thơng tin hay sản phẩm III TỔNG QUAN VỀ HỆ TƯ VẤN Giới thiệu hệ tư vấn Trong sống hàng ngày, nhiều trường hợp, người ta đưa lựa chọn dựa ý kiến hay lời khuyên người xung quanh, qua lời nói, đánh giá sản phẩm, khảo sát thị trường, thư giới thiệu …v v Nhưng kỉ nguyên thông tin, hàng triệu thông tin đưa lên internet ngày, điều dẫn tới yêu cầu phải có phương pháp tự động thu thập thông tin đưa lời khuyên để hỗ trợ cho phương pháp truyến thống Hệ tư vấn (recommender system) giải pháp Hệ thống đưa gợi ý dựa người dùng làm khứ, dựa tổng hợp ý kiến người dùng khác Hệ tư vấn trở thành ứng dụng quan trọng thu hút quan tâm lớn nhà nghiên cứu doanh nghiệp Các vấn đề phân tích hành sở thích người dùng với tư vấn tự động đóng vai trò quan trọng kinh doanh thương mại điện tử ngày Sự hài lịng đơng đảo người dùng trực tuyến giúp tăng doanh thu lợi nhuận cách bền vững Với vai trò to lớn vậy, hệ tư vấn trở thành ứng dụng quan trọng thu hút quan tâm lớn nhà nghiên cứu doanh nghiệp việc quảng bá sản phẩm tới người dùng cách trọng tâm nhất, thông minh Trên thị trường có nhiều hệ tư vấn thương mại hóa triển khai thành cơng như: hệ tư vấn sản phẩm Amazon.com hay hệ tư vấn phim NetFlix… Một vài hệ tư vấn tiếng [8] :  Phim / Firefly,  Tin tức TV/ âm nhạc: MovieLens, EachMovie, Morse, Flycasting, Ringo… / báo chí: Tapestry, GroupLens, Lotus Notes, Anatagonomy…  Sách / Tài liệu: Amazon.com, Foxtrot, InfoFinder…  Web: Phoaks, Gab, Fab, IfWeb, Let's Browse …  Nhà hàng: Adaptive Place Advisor, Polylens, Pocket restaurent finder…  Du lịch: Dietorecs, LifestyleFinder … Hình Hệ thống gợi http://netdna.webdesignerdepot.com ý Amazon Ảnh: Hệ tư vấn lựa chọn 2.1 Định nghĩa Theo Pemberton: “Hệ tư vấn lựa chọn định nghĩa loại hệ thống lọc có khả thích nghi, sử dụng suy luận rút từ thông tin biết người dùng để tư vấn cho họ lựa chọn mục mà họ chưa biết.” 2.2 Chức hệ tư vấn lựa chọn Các hệ tư vấn lựa chọn giải toán sau: người dùng muốn tương tác với loại mục đó, chẳng hạn muốn xem phim Khi người dùng vào website phim, tất nhiên nhiều phim, người dùng xem thử hết để xem phim hợp ý (điều tốn thời gian, tiền bạc mà có lại làm người dùng khơng hài lịng) Hệ tư vấn lựa chọn có khả dự đốn mức độ ưa thích cho phim tư vấn cho người dùng lựa chọn số phim mà cho phù hợp Như toán hệ tư vấn lựa chọn lựa chọn số mục vô số mục sẵn có để tư vấn cho người dùng có khả dự đốn mức độ ưa thích người dùng cho mục Bài Tốn hệ tư vấn Một cách hình thức, tốn tư vấn tác giả Adomavicius Tuzhilin mô tả sau: Gọi C tập tất người dùng; S tập tất sản phẩm tư vấn Tập S lớn, từ hàng trăm ngàn (sách, cd…) đến hàng triệu (như website) Tập C số trường hợp lên tới hàng triệu Hàm u(c,s) đo độ phù hợp (hay hạng) sản phẩm s với user c: �: � × � → � với R tập thứ tự Với người dùng � ∈ �, cần tìm sản phẩm � ′ ∈ � cho hàm u(s’, c) đạt giá trị lớn nhất: ∀� ∈ �, �′� = arg max�∈� � (�, �) Trong hệ tư vấn, mức độ phù hợp sản phẩm thường biểu diễn theo đánh giá thang điểm (rating), tùy vào ứng dụng đánh giá thực trực tiếp người dùng tính tốn hệ thống Một cách tổng qt ta có hoạt động hệ tư vấn gồm bước: Bước 1: Thu thập thông tin người dùng người dùng tương tác với hệ thống lưu vào profile người dùng Bước 2: Hệ thống xác định mối quan tâm người dùng thực thi thuật toán tư vấn nhằm so sánh, đánh giá mối liên hệ hồ sơ người dùng tương tự khác hồ sơ sản phẩm có Bước 3: Đề xuất tập hợp sản phẩm người dùng quan tâm Hình Các thành phần hệ tư vấn[4] Berry Q10 D34 D35 … D13 D13 Black Berry Pass port Black Berry Priv …………… LG G4 D855 D13 LG G3 Nokia XL Điện thoại bao gồm kiện D1, D2………… D132 Tập luật toán bao gồm 154 luật  Một số tập luật bản:  GT1,H2,M1,K3:D33  GT1,H2,M3,K3:D32  GT1,H2,M1,K2:D16  GT1,H3,M2,K2:D12  GT1,H2,M3,K2:D65  GT1,H3,M4,K2:D66  GT1,H4,M1,K1:D4  GT1,H4,M1,K2:D73  GT1,H4,M3,K2:D74  GT1,H4,M4,K2,:D75  GT1,H5,M1,K2:D86 32  GT1,H5,M2,K2:D87  GT1,H5,M3,K2:D88  GT2,H1:D28  GT2,H2,M1,K3:D34  GT2,H2,M2,K3:D47  GT2,H3,M1,K2:D14  GT2,H3,M2,K2:D38  GT2,H3,M3,K2:D39  GT2,H4,M1,K1:D43  GT2,H4,M2,K1:D44  GT2,H4,M3,K2:D45  GT2,H4,M4,K2:D46  GT2,H5,M1,K1:D81  GT2,H5,M1,K2:D82  GT2,H5,M2,K2:D83  GT2,H5,M3,K2:D84  GT2,H5,M4,K2:D85  GT2,H6,M1,K1:D91  GT2,H6,M1,K2:D92  GT2,H6,M3,K2:D93  GT2,H6,M4,K2:D94  GT3,H1,M1:D27  GT3,H1,M3:D36  GT3,H1,M4:D37 33  GT3,H2,M1,K3:D38  GT3,H2,M3,K3:D39  GT3,H3,M1,K2:D40  GT3,H3,M3,K2:D41  GT3,H3,M4,K2:D42  GT3,H5,M1,K2:D23  GT3,H5,M2,K2:D21  GT3,H5,M3,K2:D53  GT3,H5,M4,K2:D54  GT3,H6,M1,K2:D31  GT3,H6,M2,K2:D96  GT3,H6,M3,K2:D97  GT3,H6,M4,K2:D98  GT4,H1,M1,K2:D26  GT4,H1,M3,K2:D103  GT4,H1,M4,K2:D104  GT4,H3,M1,K2:D111  GT4,H3,M3,K2:D112  GT4,H5,M1,K2:D19  GT4,H5,M2,K2:D20  GT4,H6,M1,K2:D115  GT4,H6,M2,K2:D116  GT4,H6,M3,K2:D117  GT4,H6,M4,K2:D118 34  GT5,H1,M1,K2:D25  GT5,H1,M3:D220  GT5,H3,M1,K2:D123  GT5,H3,M3,K2:D124  GT5,H5,M1,K2:D125  GT5,H5,M2,K2:D126  GT5,H5,M3,K2:D127  GT5,H5,M4,K2:D128  GT5,H6,M1,K2:D129 Cú pháp: Ví dụ: GT4, H4, K2, M2, T4:D94 Tương đương với GT4 ∧ H4 ∧ K2 ∧ M2 ∧ T4->D94 Trong Mệnh đề điều kiện là: GT4, H4, K2, M2, T4 5.3 Suy diễn tiến - Đối với toán tư vấn mua điện thoại di động (dạng toán đưa định) nên phương pháp suy diễn tiến phương pháp phù hợp - Trong nội dung đồ án, tơi cài đặt thuật tốn suy diễn tiến với đầu đủ ý tưởng ban đầu thuật tốn thêm số cải tiến để giúp tránh nhược điểm thuật toán Lặp lại bước sau suy kết luận: 35   - Áp dụng luật có mệnh đề giả thiết thỏa mãn KB Bổ sung kết luận luật vào KB Trong trường hợp xảy xung đột luật tức bước suy diễn có nhiều bước sử dụng Giải xung đột luật đồng thời tránh vòng lặp tránh việc chứng minh lặp lại mệnh đề  Không áp dụng luật sinh kết (các kiện) có nhớ làm việc  Khơng áp dụng lại luật sinh tập kiện (giống lần áp dụng trước nó.) Tập Luật Suy Diễn Tiến:  VD: - Giới tính Nữ -> Màu sắc yêu thích màu hồng - Giới tính Nữ -> Kiểu dáng yêu thích cảm ứng - Giới tính Nữ -> Sở thích du lịch  Ta có luật sau:  G2: M2  G2: K2  G2: S4  Tương tự ta tiến hành xây dựng tất tập luật có kiện 36 Các tập luât dùng để suy diễn xây dựng gồm:  G1:M1  G1:M3  G2:M2  G2:M4  ST1:H2,H4  ST2:H3  ST3:H1,H5  ST5:H6  NN1:GT1  NN1:GT2  NN2:GT2  NN2:GT3  NN3:GT2  NN4:GT4  NN4:GT5  H1:K2  Ví dụ cụ thể:  VD1 - Tập giả thiết ban đầu: Người sử dụng: có giới tính nữ, sở thích cơng nghệ, nghề nghiệp sinh viên KB: G1, NN1, ST1 - Thực suy diễn tiến với tập luật bao gồm Rule1: G2:M2 (Giới tính nữ -> màu sắc ưa thích màu hồng) 37 Rule2: NN1:GT1 (nghề nghiệp sinh viên -> mức giá mức giá 2triệu- 5triệu) Rule4: ST1:H1 (sở thích cơng nghệ-> hãng sản xuất 1- Samsung) Rule5: ST1:H2 (sở thích cơng nghệ-> hãng sản xuất 2- Nokia) Rule6: G1:KD3 (Giới tính nữ -> kiểu dáng ưa thích nắp Rule7: G1:KD2 (Giới tính nữ -> kiểu dáng ưa thích cảm Rule8: NN1:H2 (nghề nghiệp sinh viên -> hãng sản xuất gập) ứng) nokia) …… Đến bước suy diễn ta thấy ta áp dụng luật suy diễn số luật suy diễn số khơng áp dụng (vì khơng áp dụng luật sinh kết có nhớ) Hoặc ngược lại Ví dụ 2: - Tập giả thiết ban đầu: Người sử dụng: có giới tính nam, sở thích du lịch, nghề nghiệp doanh nhân KB: G2, NN4, ST4 - Thực suy diễn tiến với tập luật bao gồm Rule1: G2:M1 (Giới tính nam -> màu sắc ưa thích màu Rule2: G2:M2 (Giới tính nam -> màu sắc ưa thích màu đen) trắng) 38 Rule3: NN4:GT3 (nghề nghiệp doanh nhân -> mức giá 5triệu-10triệu) Rule4: NN4:GT4 (nghề nghiệp doanh nhân -> mức giá >10triệu) Rule5: ST4:H4 (sở thích du lịch-> hãng sản xuất 4- Apple) Rule6: ST4:H6 (sở thích du lịch-> hãng sản xuất 6- Sony) Rule7: G1:KD2 (Giới tính nam -> kiểu dáng ưa thích cảm Rule8: NN4:H7 (nghề nghiệp doanh nhân -> hãng sản xuất ứng) Blackbery) Rule9: G2:H4 (Giới tính nam -> hãng sản xuất Apple) 39 IV KẾT LUẬN VÀ ĐỊNH HƯỚNG Kết luận đánh giá 1.1 Các vấn đề gặp phải - Trong trình xây dựng chương trình, thu thập biểu diễn tri thức hai vấn đề xảy nhiều sai sót lỗi  Trong trình thu thập : số lượng thông tin hỏi đáp không nhiều (134 hỏi đáp) nên kết thống kê chưa thật xác  Khi biểu diễn tri thức: nhiều mâu thuẫn luật xảy Ví dụ: Nam sinh viên thường thích công nghệ G2:ST1 Công nghệ đa số người vấn chọn hãng Apple, Samsung Sinh viên thường có mức giá mua GT1, GT2 (