Nghiên ứu hệ thống gợi ý

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI DƢƠNG XUÂN PHÚC NGHIÊN CỨU HỆ THỐNG GỢI Ý CHUYÊN NGÀNH: CÔNG NGH THÔNG TIN LUK THUT CHUYÊN NGÀNH: CÔNG NGH THÔNG TIN NG DN KHOA HC : TS Đinh Viết Sang Hà Ni   Tai ngay!!! Ban co the xoa dong chu nay!!! 17062857955411000000 0924bcb LỜI CAM ĐOAN Tơi  Lu tt nghip cơng trình nghiên cu ca bi s ng dn ca TS t Sang Kt qu lun  trung tha bt kì cơng trình khác Hà Ni, ngày tháng  Tác gi  Xác nhn cng dn v m hoàn thành ca Lut nghip cho phép bo v: Hà Ni, ngày 21 tháng 10  ng dn t Sang MỤC LỤC MC LC DANH MC HÌNH NH DANH MC CÁC BNG DANH MC CÁC T VIT TT NG QUAN V H THNG GI Ý .8 1.1 H thng gi ý 1.2 ng dng thc tin 1.3 Phát biu toán hc .9  10 2.1 Ma trn 10  10 n 10 nh thc ca ma trn 11 2.1.4 Ma trn ngho 11 2.1.5 Hng ca Ma trn .12 2.1.6 Ma trn unitary 12 2.1.7 Giá tr riêng ca ma trn vec- 12 2.1.8 Ma trn gi ngho 12 2.1.9 Ma trn trc giao 13 n v hc máy 13 2.2.1 Hc có giám sát hc không giám sát 13 2.2.2 Phân lp hi quy 14 2.2.3 Overfitting Underfitting 15 2.2.4 Tp hun luyn, tp validation tp kim tra 16 2.2.5 Bias variance .17 2.2.6 ng overfitting 19 2.2.7 La chn mô hình 20 i thiu 21 HUT ÁP DNG TRONG H GI Ý 22 m TF.IDF 22 3.2 Ch s ng Jaccard 23  ng cosine .24 m s chiu không gian 25 3.4.1 Gii thiu 25 n SVD 27 m s chiu không gian 29 3.5 m giá tr hàm gradient descent 30 3.5.1 Gradient Descent (GD) 30 3.5.2 Stochastic Gradient Descent (SGD) 31 NH GI Ý 33 4.1 D liu .33  tt ca mt mơ hình 33 4.3 Các mơ hình 34  .34  38 n hp 45  Global Baseline 45  46  NGHIM CÁC MƠ HÌNH GI Ý 54 5.1 Mô t d liu 54 5.2 Các mơ hình kt qu th nghim 58  64 KT LUN .66 TÀI LIU THAM KHO 67 DANH MỤC HÌNH ẢNH Hình - Mơ t kt qu c bng hai mơ hình phân loi hi quy [11] 14 Hình - Mơ hình underfitting, fitting overfitting vi d liu [23] .16 Hình - S i ca giá tr bias variance theo m hc d liu hun luyn ca mơ hình [22] .18 Hình - Giá tr ca hàm mc tiêu tp hun luyn [16] 20 Hình - D liu khơng gian ba chic biu din bi mt phng hai chiu [8] 25 Hình - D liu nhìn thy biu ding thng [8] 26 Hình - Phân rã SVD ca mt ma trn [9] 29 Hình - Cách làm gim s chiu bng phân rã SVD [9] 29 Hình - Ma trn nhc sau thc hin gim s chiu [9] 30 Hình 10 - S di chuyn ca hàm m Stochastic Gradient Descent [5] 31 Hình 11 - Ma tra h gi ý cách ly tp d liu kim tra [10] .33 Hình 12 - Bi th hin trình hong ca CB [3] 37 Hình 13 - Mơ t n v trình gi ý ca CF [7] 38 Hình 14 - ng ca ma trn    cp nht ti  .51 Hình 15 - Ví d v mt bn ghi d liu tp tin "users.dat" 54 Hình 16 - Ví d v mt bn ghi d liu t 56 Hình 17 - Ví d v mt bn ghi t 58 Hình 18 - Cp nht Stochastic Gradient Descent vi (0.001, 0.002), k=1 .64 DANH MỤC CÁC BẢNG Bng 1: Kt qu ca mơ hình CB 61 Bng 2: Kt qu i dùng- i dùng CF .62 Bng 3: Kt qu ca mô hình sn phm-sn phm CF .62 Bng 4: Kt qu chn mơ hình ca mơ hình LF .64 DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt TF IDF Tên đầy đủ Term Frequency Inverse Document Frequency SVD Singular Value Decomposition CB Content-based CF Collaborative Filtering LF Latent Factor GD Gradient Descent SGD Stochastic Gradient Descent CHƢƠNG 1: TỔNG QUAN VỀ HỆ THỐNG GỢI Ý 1.1 Hệ thống gợi ý H thng gi ý (Recommender Systems - RS) mt dng ca h thng lc thông tin (information filtering), c s dng  d ốn s thích (preference) hay xp hng (rating) mà ngi dùng có th dành cho mt mc thơng tin (item) ó mà h cha xem xét ti kh (item có th báo, b phim, on video clip, sách, ) [11] nhm gi ý mc thông tin  th c quan  bi ngi dùng H thng gi ý s a gi ý da q trình thu thp, x lý phân tích d liu t ngi dùng D liu ó c chia làm loi tường minh (explicit) bng cách yêu cu ngi dùng phn hi trc tip tiềm ẩn (implicit) bng cách t ng suy lun da nhng tng tác ca ngi dùng vi h thng nh: s ln nhp chut, thi gian quan sát Trong hu ht trng hp, toán gi ý c coi toán d oán vic xp hng (rating) ca sn phm (phim, sn phm tiêu dùng, sách, nh cha c ngi dùng bit n Vic d oán thng da nhng ánh giá ã có ca ngi dùng ó hoc nhng ngi dùng khác Ví d, nhng  c d ốn s có xp hng cao nht s c dùng  gi ý Có nhiu ng dng ni ting v h thng gi ý nh: gi ý sn phm ca Amazon Ebay, h thng gi ý phim ca NetFlix Youtube,    ý   minh  ý  to  giúp cho       phó  tình   thông tin    ý  thành   công                ý  vào hành vi  thói quen, nhu           thích  lai  1.2 Ứng dụng thực tiễn H gi ý có th c trin khai hu ht h th  i i dùng Ph bin nht h thng nn web Ph bin nht h thng v phim nh, nh    u sn phm nói chung khác Không nhng vy, h g   c áp dng cho chuyên gia, nhà nghiên cu, nhà hàng, h thng tài chính, bo hi Ta có th nhn thy h gi ý xung quanh có rt nhi u áp dng nhng h th ln ln giúp i dùng tìm kim thơng tin, sn phm mt cách nhanh chóng nht có th Vi nhng ng dy, h gn nhiu li ích to ln cho c i dùng h thng áp dng Vi dùng, ln có th nhanh chóng tip c c nhng ngun thơng tin phù hp, xác Tit ki c thi gian m    Vi nu áp dng tt h gi ý s  i  n hình nh hay Google 1.3 Phát biểu tốn học Các h thng gi ý có th áp dng cho nhic khác Tuy nhiên, tốn có th c phát bii dng toán h U ti dùng h thng I tp sn phm ca h th  i dùng i (  ) cho sn phm j(   ) Bng mô hình ca h gi ý, ta c  a mi dùng bt kì h thng cho mt sn phm b c t, sn phc h gi ý d i dùng    gi nghim CHƢƠNG II CƠ SỞ LÝ THUYẾT 2.1 Ma trận 2.2.1 Định nghĩa         =              2.1.2 Các phép tính  Phép cộng hai ma trận:                                  Phép nhân vô hƣớng:                                Phép nhân hai ma trận: Phép nhân ca hai ma trn                 Phép nhân hai ma trn ch   nh s ct ca ma trn th nht bng s hàng ca ma trn th hai Chú ý: Phép nhân hai ma trn khơng có tính giao hốn 10