Phương pháp lọc cộng tác và ứng dụng trong hệ thông tin tư vấn

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LÊ THANH HUYỀN PHƢƠNG PHÁP LỌC CỘNG TÁC VÀ ỨNG DỤNG TRONG HỆ THÔNG TIN TƢ VẤN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LÊ THANH HUYỀN PHƢƠNG PHÁP LỌC CỘNG TÁC VÀ ỨNG DỤNG TRONG HỆ THƠNG TIN TƢ VẤN Chun ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: PGS.TS ĐỒN QUANG BAN THÁI NGUYÊN - 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn i LỜI CAM ĐOAN Tôi xin cam đoan luận văn c a t n th n t m hi u, nghi n c u i s h ng n c a PGS TS Đoàn Văn an c ch ng tr nh o ch nh n th n lập tr nh c c k t qu hoàn toàn trung th c c tài liệu tham kh o đ c tr ch n ch th ch đ y đ Tác giả Lê Thanh Huyền Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ii LỜI CẢM ƠN Tôi xin yt licm n ch n thành t i tập th c c Th y cô Viện ông nghệ thông tin - Viện Hàn L m Khoa h c công nghệ Việt Nam c c Th y cô gi o Đ i h c ch ng tơi su Đc Đồn Văn ch nh s a qu nh n s v i su đ r t mong nhận đ luận văn đ Tôi xin ch n thành c m Th i Ngu n th ng n m L Th nh Hu ền Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iii MỤC LỤC LỜI AM ĐOAN LỜI M N MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC B NG DANH MỤC CÁC HÌNH MỞ ĐẦU Chƣơng 1: PHƢƠNG PHÁP LỌC TIN 11 c ph ng ph p l c thông tin 1 Ph ng ph 1.1.1.1 Bài toán l c theo nội dung 1112 c ph 1 Ph ng ph 1.1.2.1 Bài toán l c cộng tác 1122 c ph 1 Ph 1.1.3.1 Bài toán l c k t h 1132 c ph ng ph p l c k t h p 1.1.4 Ứng dụng c a c c ph 1.2 Hệ th ng thông tin t 1.2.1 Ki n trúc tổng quan c 1.2.2 L Chƣơng 2: MỘT SỐ PHƢƠNG PHÁP LỌC CỘNG TÁC 2.1 L c cộng tác d a s n phẩm 2.1.1.Thuật to n t nh độ t Số hóa Trung tâm Học liệu – ĐHTN 1 Độ t 1 Độ t 1 Độ t 2.1.2.Tính tốn d 2.1.2.1 Công th 2.1.2.2 Công th 2.1.2.3 Công th c a ng i dùng 2.1.2.4 Công th lên s n phẩm 2.1.3 Thuật toán l 2131 Độ t 2.1.3.2 Độ t 2.1.3.3 D đo 2.1.3.4 D đo 2.1.3.5 D đo n Đ nh gi 2141 Đ nh gi 2.1.4.2 Các y u t 2.2 L 2 Ph ng 2 Ph ng 2221 T ch đ 2222 Ph 2223 2224 Ph Ph 2.3 L Số hóa Trung tâm Học liệu – ĐHTN v 2.3.1 Mô t thuật to n đ ng hu n luyện 44 2.3.2 Thuật toán l c cộng tác ph ng ng ph p đ ng hu n luyện theo i dùng 44 2.3.3 L c cộng tác ph ng ph p đ ng hu n luyện theo s n phẩm 46 Chƣơng 3: XÂY DỰNG HỆ THÔNG TIN TƢ VẤN SẢN PHẨM SỮA DÀNH CHO NGƢỜI TIÊU DÙNG 51 3.1 Phát bi u toán 51 3.2 Phân tích thi t k hệ th ng t v n s n phẩm s a 51 3.2.1 Phân tích yêu c u 51 3.2.2 Thi t k hệ th ng t 3.3 Xây d ng ch v n s n phẩm s a 53 ng tr nh ng dụng 54 3.4 K t luận 56 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 57 TÀI LIỆU THAM KHẢO 57 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vi DANH MỤC CÁC CHỮ VIẾT TẮT KÝ HIỆU IF IR RS u i Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vii DANH MỤC CÁC BẢNG Trang B ng 1.1.Ví dụ v ma trận đ nh gi c a l c cộng tác B ng 2.1 B ng đ nh gi ng i dùng v i s n phẩm 18 B ng 2.2 B ng t nh độ t ng t theo công th c Cosine 20 B ng 2.3 B ng t nh độ t ng t theo công th c t B ng 2.4 B ng t nh độ t ng t theo công th c osine u ch nh 22 B ng 2.5 B ng d đo n t v n theo ph B ng 2.6 B ng d đo n t ng quan 21 ng ph p t nh trung v n theo ph nh đo n 24 ng pháp Weigth Sum 25 B ng 2.7 B ng d đo n t v n theo ph ng ph p tổng tr ng s v i đ nh giá trung bình c a ng i dùng s dụng độ t ng t Ajusted Cosine 26 B ng 2.8 B ng d đo n t v n theo ph ng ph p tổng tr ng s v i đ nh giá trung bình s n phẩm s dụng độ t ng t Ajusted Cosine .27 B ng 2.9 Ma trận đ nh gi R 33 B ng 2.10 Ma trận X bi u diễn đ nh đ th Ng i dùng- S n phẩm 33 B ng 2.12 Ma trận X+ bi u diễn c c đ nh gi th ch h p 36 B ng 2.12 Ma trận X- bi u diễn c c đ nh gi không th ch h p 36 B ng 2.13: Ng i dùng s n phẩm 48 B ng 2.14: B ng giá tr đ nh gi theo ng B ng 2.15: B ng giá tr đ nh gi theo s n phẩm 49 Số hóa Trung tâm Học liệu – ĐHTN i dùng 48 http://www.lrc.tnu.edu.vn viii DANH MỤC CÁC HÌNH Trang Hình 1.1 Ki n trúc tổng quát c a hệ th ng l c thông tin 14 Hình 2.1 Mơ hình hệ th ng l c cộng tác d a s n phẩm 31 Hình 2.2 Đ th ng i dùng - s n phẩm 34 Hình 2.3 Đ th G bi u diễn c ch đ nh gi th ch h p 36 Hình 2.4 Đ th G bi u diễn c ch đ nh gi không th ch h p 37 Hình 3.3: Giao diện ch Hình 3.4: Ng i ng tr nh đo n s n phẩm s a 55 ng đăng nhập vào hệ th ng 55 Hình 3.5: Hệ th ng l c cộng tác d a vào nh 55 Hình 3.6: Hệ th ng l c cộng tác d a vào đ Số hóa Trung tâm Học liệu – ĐHTN th 56 http://www.lrc.tnu.edu.vn b) Tìm Ki s n phẩm mà ng i Ki= {j ∈ Si c) D đo n ng rix= ri + : đ nh gi ri Tăng Until Converges: khơng có nhãn phân lo i đ 2.3.3 Lọc cộng tác phương pháp đồng huấn luyện theo sản phẩm G n gi ng v i l c cộng tác ph ng ph p ng i ng luyện đ th t s đ c th c tr c q trình hu n luyện theo ng Thuật tốn l c cộng tác ph Đầu vào: • Khởi tạo ma trận đ nh gi ng ph p đ ng hu n luyện theo s n phẩm R(0) = (r(0)ij) = (rij) Đầu ra: • i dùng Ma trận dự đo n R(t) = (r(t)ij) Thuật toán Bƣớc 1: Khởi t o s Bƣớc 2: L p 2.1 Hu n luyện theo s n phẩm: a) Tìm tập s n phẩm đ c ng i ng đ nh gi Số hóa Trung tâm Học liệu – ĐHTN Cx= {y ∈ P : γ : Hằng s s n phẩm đ c ng i ng đ nh gi S ng đánh giá Pxy = b) Tìm Ki s n phẩm đ Ki= { c) D đo n s n phẩm i v i ng rix= r 2.2 Hu n luyện theo ng a) Tìm tập c c ng Si = γ : Hằng s ng S c ng đ nh gi uij = b) Tìm Ki ng Ki = c) D đo n ng Số hóa Trung tâm Học liệu – ĐHTN : đ nh gi ri Tăng Until Converges: khơng có nhãn phân lo i đ sung vào ma trận d đo n c bổ Ví dụ 2.6: Xé i dùn ng p6, p7} M i ng i theo thang bậc {Ø, 1, 2, 3, 4, 5} Giá tr ch a đ nh gi s n phẩm hệ th ng c n d p1 u1 u2 u3 u4 u5 Lọc cộng tác phƣơng pháp đồng huấn luyện theo ngƣời dùng: Ch n γ = v i ng i dùng u1 c a b ng (2.13), theo công th c (2.15) thì: S1 = {u2, u3}, S2 = {u1}, S3 = {u1, u2}, S4 = {θ }, S5 = {θ } Khi đ độ t ng t gi a hai ng i dùng đ c xác đ nh theo công th c (2.16) m c Các nhãn phân lo i chắn ch đ  c d đoán từ nh ng ng i dùng j Si theo công th c (2.18) V i tập ng i dùng đ cho b ng (2.13), tìm Kj theo (2.17) ta đ c K1 = {u3}, K2 = {u1}, K3 = {u1} Bảng 2.14: B ng giá tr đ nh gi Số hóa Trung tâm Học liệu – ĐHTN 49 p1 u1 u2 u3 u4 u5 Lọc cộng tác phƣơng pháp đồng huấn luyện theo sản phẩm: = v i s n phẩm p1 c a b ng Ch n γ C1= {p5},C2= {Ø},C3= {Ø},C4= {Ø},C5= {Ø} Tuy việc quan sát theo s n phẩm đ theo ng i dùng ta s x C1= {p2, p3, p4, p5, p7}, C2= {p1, p3, p4, p5, p7}, C3= {p1, p2, p4, p5, p7}, C4= {p1, p2, p3, p5, p6, p7}, C5= {p1, p2, p3, p4, p7}, C6= {p2, p3, p4, p7}, C7= {p1, p2, p3, p4, p5, p6} M c độ t ng t Các nhãn phân lo i chắn ch công th c (2.21) (2.22) D a theo k t qu K1={p4}, K2={p7}, K3={p4}, K4={p1}, K5={p7}, K6={p4}, K7={p5} Bảng p1 u1 u2 u3 u4 u5 Nh vậy, trình l đ ổ sung đ c giá tr 2.5 Kết luận Số hóa Trung tâm Học liệu – ĐHTN 50 h ng t c gi đ tr nh ày ph ng ph p l c cộng tác d a s n phẩm v i thuật to n t nh độ t ng t d đo n ph ng ph p l c cộng tác d a tr n mô h nh đ th v i thuật tốn d a tr n mơ h nh ng i dùng - s n phẩm đ xu t ph ng ph p đo n tr n t t c c c đ nh gi thuật toán đ ng hu n luyện d a ng i dùng s n phẩm V i m i thuật to n đ u có ví dụ minh h a trình x l đ đ a c c k t qu t v n Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 51 Chƣơng XÂY DỰNG HỆ THÔNG TIN TƢ VẤN SẢN PHẨM SỮA DÀNH CHO NGƢỜI TIÊU DÙNG 3.1 Phát biểu toán Hiện th tr nhi u khó khăn cho việc l đ nh, m i ng c n l a ch dùng đ ng th D a tr n c s l c thông tin t tin t v n s n phẩm s 3.2 Phân tích thiết kế hệ thống tƣ vấn sản phẩm sữa 3.2.1 Xác định tốn -D -D 3.2.2 Phân tích u cầu Ng s i dùng khách h a M i ng tin c nh n v theo thang m từ đ n 5, v thích lo i s a đ giá ho c ch a s n phẩm s s ađ t v n r t ít, chí c đ c đ nh giá ch đ nh gi hi u c a h k 52 ng i dùng đ c t v n v nh ng th hi u gi ng h , d n đ n việc t v n nghèo nàn Một ph ng ph p v t qua t nh th a th t đ nh gi s dụng thông tin cá nhân c a ng i dùng tính tốn s t ng đ ng gi a nh ng ng i dùng Hai ng i ng đ c xem gi ng không đ c đ nh gi c sở thích v lo i s a gi ng mà chúng ph i thuộc đ i t ng Một v n đ tr đ c đ nh gi c xây d ng ma trận đ nh gi ho c nh ng ng dùng s n phẩm s v i nh ng s n phẩm i dùng t đ nh gi s n phẩm, nh ng ng không h u ch qu tr nh t ch n l v n V n đ i cn c nh ng s n phẩm ng i v n Rõ ràng nh trình d h n ng ng đ mà h ch a đ nh gi có sở thích gi ng h Công việc hệ thông tin tƣ vấn: Ng h i dùng m s ng Khi ng v n nh ng lo i s a mà ng vnđ đ cd Các b B c 1: Hệ th n giá so s nh độ t lo i s đ ađ theo thuật tốn tính xác su t Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn c tính d a 53 v n s d đo n đ nh gi c a ng ch a s B c 2: Hệ th ng t nh ng s a mà ng i ng có đ nh dụng, l a ch n nh ng s a đ anh s ch t v gi cao đ đ a vào n cho ng i dùng i dùng v i c d đo n 3.2.3 Thiết kế hệ thống tư vấn sản phẩm sữa Thiết kế sở liệu S dụng ph n m m Acsess t o c sở d liệu “L c cộng tác” v i b ng “Ng i dùng” đ l u tr thông tin c a khách hàng Hình 3.1: B ng Ng Hình 3.2: B ng Ng i dùng ch độ thi t k i dùng ch độ trang d liệu Thiết kế chức Các ch c c a ch ng trình: Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Đ ng ký: Ng lo i s a mà h Đ ng nhập: Ng c a riêng mình, n u mu phẩm tr - Hệ th ng cho phép khách hàng l - Ng i dùng yêu c u t toán đ a k t qu -B c cu i hệ th ng s hàng s đ nh gi 3.3 Xây dựng chƣơng trình ứng dụng h ng tr nh đ th c cài đ t thuật toán l d a mơ hình đ Các thuật tốn sử dụng để cài đặt - Thuật to n t nh độ t nằm đo n [-1,1] th t ng t c a s n phẩm Tác gi ch nh có thêm thêm trung bình cộng c c đ nh gi - Thuật d dùng lên s n phẩm d a vào nh ng đ nh gi phẩm t - Thuật toán d c đ nh gi (đ Demo chƣơng trình Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 55 Hình 3.3: Giao diện ch ng tr nh Hình 3.4: Ng i đo n s n phẩm s a cho ng i tiêu dùng ng đăng nhập vào hệ th ng Hình 3.5: Hệ th ng l c cộng tác d a vào nh Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 56 3.4 Kết luận h dùng s dụng l c cộng tác d s n phẩm s m i làm th c nghiệm cách phát phi u thăm dùng v i s n phẩm s s a theo Precision, Recall F-Measure đ Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn n 57 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Luận văn ti n hành nghiên c u s ph ng pháp l c cộng tác đ t đ c nh ng yêu c u sau: đ - Nghiên c u l t ng t tính tốn d - Nghiên c u l mơ hình đ th - Nghiên c u l c cộng tác ph ng - Xây d tiêu dùng Ứng dụng cho phép ng nhận đ c g i ý nh Hƣớng phát triển Luận văn m hệ t v n đ ch v t vnđ ng lai ph ph ng pháp l đ ng th i xây d ng ch ng trình ng dụng thơng tin t v i nh ng đ nh gi cụ th Do th i gian kinh nghiệm nghiên c u thi u, ki n th c h n ch , m c dù đ n l c c gắng, nhiên luận văn không tránh kh i nh ng thi u sót R t mong nhận đ c nh ng ch b o c a th y cô, s đ ng góp c a b n đ ng nghiệp đ tác gi có th hồn thành cơng trình nghiên c u t t h n Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 58 Tiếng Việt [1] Nguyễn nội dung d a mô h nh đ th ” phát triển ứng dụng Công nghệ thông tin Tru trang: 4-12 [2] Nguyễn cho tr 62-74 [3] Nguyễn gi i pháp l c th phát triển ứng dụng Công nghệ thông tin Tru 102-112 [4] Nguyễn l c cộng tác l Công nghệ thông tin truyền thông, trang: 15 Tiếng Anh [5] G Somlo an A Howe (2001) “A aptive Lightweight Text Filtering” Proc Fourth Int’l S mp Intelligent Data Anal sis [6] J S Breese, D Heckerman, and C Ka ie (1998) “Empirical analysis of [7] Predictive Algorithms for Collaborative Filtering” In Proc of 14th Conf on Uncertainty in Artificial Intelligence, pp 43-52 [8] J L Herlocker J A Konstan an J Rie l (2000) “Explaining olla orative Filtering Recommen ations” Proc ACM Conf Computer Supported Cooperative Work [9] L Si an R Jin (2003) “Flexi le Mixture Mo el for Collaborative Filtering” Proc th Int’l Conf Machine Learning [10] M Pazzani an Identification of Interesting Web Sites” Machine Learning, vol 27, pp 313-331 Số hóa Trung tâm Học liệu – ĐHTN 59 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ...ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LÊ THANH HUYỀN PHƢƠNG PHÁP LỌC CỘNG TÁC VÀ ỨNG DỤNG TRONG HỆ THÔNG TIN TƢ VẤN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01... hiệ 1.1.4 Ứng dụng phương pháp lọc tin L c thông tin (IF) l nh v c nghiên c tin thích h p dùng Thông tin đ trang web, phim, từ c c ph ng tiệ rộng nhi u dụng tiêu bi u nh t c a l c thông tin đ máy... c truy nhập kh • s kh Phương ph p tư vấn dựa vào lọc cộng tác: Ng s n phẩm c • Phương ph p tư vấn dựa vào lọc kết hợp: Hệ th ng t nh ng s n phẩm t nhập kh M i ph ng pháp l c áp d ti p cận: