tìm hiểu hệ tư vấn và xây dựng hệ tư vấn cho trang web học toán online

0 B GIÁO DCăVÀăĐÀOăTO TRNGăĐI HCăSăPHM HÀ NI TRN TH PHNGăDUNG TÌM HIU H TăVN VÀ XÂY DNG H TăVN CHO TRANG WEB HC TOÁN ONLINE LUNăVĔNăTHCăSƾ:ăăKHOAăHC CÔNG NGH THÔNG TIN HÀ NI,ăNĔMă2014 0 B GIÁO DCăVÀăĐÀOăTO TRNGăĐI HCăSăPHM HÀ NI TRN TH PHNGăDUNG TÌM HIU H TăVN VÀ XÂY DNG H TăVN CHO TRANG WEB HC TOÁN ONLINE Chuyên ngành: KHOA HC MÁY TÍNH Mã số: 60480101 LUNăVĔNăTHCăSƾ:ăKHOAăHC CÔNG NGH THÔNG TIN Ngưiăhướng dn khoa hc: PGS.TS PHM TH HOÀN HÀ NI,ăNĔMă2014 0 Mc lc Ni dung Trang M đầu 1 Chươngă1:ăTổng quan h tưăvấn (Recommender System) 3 1.1. Giới thiu h tưăvấn. 3 1.1.1 H tưăvấn là gì? 3 1.1.2 Nhim vụ ca h tưăvấn. 5 1.1.3 Vai trò ca h tưăvấn. 7 1.1.4 ng dụng h tưăvấn. 8 1.2 Cácăphươngăphápătiếp cn h tưăvấn. 9 1.2.1 Phươngăphápălc cộng tác (Collaborative Filtering). 10 1.2.2 Phươngăphápătưăvấn dựa trên nội dung (Content-based). 27 1.2.3 Phươngăphápălaiă(Hybrid) 34 Chươngă2:ăXâyădựng h tưăvấn hc toán online 37 2.1 Giới thiu h thống. 37 2.2 Mục tiêu. 38 2.3 Mô tả bài toán. 38 2.4 Phươngăphápăgiải quyết bài toán. 38 Chươngă3:ăCàiăđặt và triển khai 51 3.1 Phân tích h thống. 51 3.2 Thiết kế dữ liu. 52 3.3 Thiết kế chcănĕng. 54 3.3.1 Lấy thông tin thực hành. 54 3.3.2 Lấy thông tin yêu thích. 56 3.3.3 Đề xuất kỹ nĕngăcaănhómăngưiădùngătươngăđồng. 59 3.3.4 Đề xuất kỹ nĕngăphổ biến 59 1 3.4 Kết quả thực nghim. 60 Kết lun 63 Tài liu tham khảo 64 0 Danh mục hình Hình 1.1 Xếp hng caăngưi dùng với các bộ phim. 6 Hình 1.2 Ví dụ lc cộngătácăngưi dùng. 11 Hình 1.3 Ma trn xếp hng. 13 Hình 1.4 Ma trn trong lc cộngătácăngưi dùng. 14 Hìnhă1.5ăCácăbước thực hin lc cộng tác ngưi dùng. 15 Hìnhă1.6ăTínhăđộ tươngăđồng giữaăhaiăngưi sử dụng 19 Hình 1.7 Ví dụ lc cộng tác mục. 21 Hình 1.8 Ma trn trong lc cộng tác mục. 22 Hìnhă1.9ăCácăbước thực hin lc cộng tác mục. 23 Hìnhă1.10ăTínhăđộ tươngăđồng giữa hai mục. 25 Hình 1.11 Ví dụ phươngăphápătưăvấn dựa trên nội dung. 28 Hìnhă1.12ăCácăbước thực hinătưăvấn dựa trên nội dung. 29 Hình 1.13 Danh sách phim và thể loi. 31 Hình 1.14. Mcăđộ yêu thích caăngưi dùng với từng thể loi. 31 Hình 1.15 Mcăđộ yêu thích caăngưi dùng với từng phim. 32 Hình 1.16 Phân loiăphươngăphápălai. 34 Hìnhă1.17ăPhươngăphápălaiătrng số. 35 Hìnhă1.18ăPhươngăphápălaiăhỗn hợp. 36 Hình 2.1 Quy trình thực hinătưăvấn. 40 Hìnhă2.2.ăTưăvấn dựa trên ch đề quan tâm. 42 Hìnhă2.3ăTưăvấn dựa trên dng toán quan tâm. 44 Hìnhă2.4ăTưăvấn dựa trên lc cộngătácăngưi dùng. 45 Hìnhă2.5ăTưăvấn dựa trên lc cộng tác mục. 47 Hình 2.6 Nhóm kỹ nĕngădựa trên nội dung. 48 Hìnhă2.7ăTưăvấn dựa trên nội dung. 49 Hình 3.1 Mô hình phân cấp chcănĕng. 51 Hình 3.2 Bảngă“Math_score”. 52 Hình 3.3 Bảngă“Math_skill”. 53 Hình 3.4 Bảngă“Math_chude”. 53 Hình 3.5 Bảngă“Math_subcate”. 53 Hình 3.6 Quan h giữa các bảng. 54 Hình 3.7 Giao dinăngưi dùng truy cp vào h thống. 55 Hình 3.8 Giao dinăngưi dùng thực hành kỹ nĕng. 55 1 Hình 3.9 Giao din ngưi dùng truy cp vào lớp hc. 57 Hình 3.10 Giao din cp nht thông tin yêu thích. 58 Hình 3.11 Giao dinătưăvấn kỹ nĕngăphổ biến. 59 Hình 3.12 Giao dinătưăvấn kỹ nĕngăyêuăthích. 60 Hình 3.13ăDanhăsáchăngưi dùng ngu nhiên. 60 Hìnhă3.14ăĐánhăgiáăhiu quả h tưăvấn. 62 1 Mở đu 1. Lý do chnăđ tài. Kể từ lầnăđầu tiên xuất hin bài báo lc cộng tác từ nĕmă1990,ăh tưă vấn tr thànhălƿnhăvực nghiên cu quan trng. Hin nay, h tưăvấn nhnăđược sự quan tâm rất lớn vì tác dụng không nhỏ ca nó với nhiềuălƿnhăvực khác nhau trong cuộc sốngănhưă kinhă doanh,ă giải trí và giáo dục.ă Đặc bit trong nhữngănĕmăgầnăđây,ăcôngăcuộc xây dựngăvàăđổi mới giáo dụcăđangăđược rất nhiềuăngưi quan tâm. Ngoài cách hc truyền thống là thầy và trò có sự tươngă tác trực tiếp trên lớp hc, giáo dục hin nay còn m rộng cách thc dy và hc trực tuyến mang li hiu quả caoăhơnăsoăvới cách hc truyền thống. Nh có h tưăvấn, vic hc trực tuyến có hiu quả hơnărất nhiều. Một trang web hc toán trực tuyến dành cho hc sinh tiểu hc, trang web cung cấp các kỹ nĕngăchoăhc sinh thực hànhăđể nắm rõ và thực hành thành tho các kiến thc trên lớpăcũngănhưănângăcao.ăCóăhàngănghìnăhc sinh truy cpătrangăwebăđể hc và thực hành, mỗi hc sinh li có những s thích thực hành khác nhau. H tưăvấn có thể hỗ trợ cho toàn bộ hc sinh tham gia trong h thốngă vàă đưaă raă những li khuyên phù hợp cho từngă ngưi hc. Những li khuyên này rấtăđángătinăcy vì nó dựa trên lch sử thực hành kỹ nĕngăcaăchínhăngưi dùng trong h thốngăvàăđề xuất những kỹ nĕngăphùăhợp vớiănĕngălực ca từng hcăsinh.ăTaăđặt một câu hỏi nêu không có h tưăvấn và số lượng kỹ nĕngăthực hành sẽ càng nhiều, hc sinh tiểu hc khi tham gia hc trực tuyến sẽ lựa chn kỹ nĕngăthực hành phù hợp vớiănĕngălực caămìnhănhưă thế nào? Tht là khó khi lựa chn kỹ nĕngăyêuăthíchătrongăsố rất nhiều kỹ nĕngăca h thống và  la tuổi ca các em, rấtăkhóăđể tìm kiếm kỹ nĕngăphùă hợp vớiănĕngălực ca mình. Vì lí do trên, tôi lựa chnăđề tàiă“Tìmăhiểu h tưăvấn và xây dựng h tưă vấn cho trang web hcătoánăonline”. 2 2. Mcăđíchănghiênăcu. - Tìm hiểu h tưăvấn vàăcácăphươngăphápătiếp cn h tưăvấn. - Tìm hiểu h thống thực hành kỹ nĕngătrênătrangăwebăhc toán online. - Nghiên cuăcácăphươngăphápătiếp cn có thể hỗ trợ xây dựng h tưăvấn trên trang web hc toán online. - Lựa chnăphươngăphápătiếp cn và ng dụng xây dựng h tưăvấn kỹ nĕngăhỗ trợ hc sinh thực hành trên trang web hc toán online. 3. Đốiătng nghiên cu. - Để tìm hiểu nội dung h tưăvấn, tôi đãătìmăkiếmăvàăđc hiểu các bài báo trongăvàăngoàiănước, các dinăđànătraoăđổi kiến thc h tưăvấn và các tài liu nghiên cuăđược chia sẻ trên mng Internet. - Nghiên cu ngôn ngữ lp trình php và viếtăchươngătrìnhăchcănĕngătưă vấn kỹ nĕngăchoăngưi dùng thực hành trên trang web hc toán online. 4. Tóm tắt luậnăvĕn. Lunăvĕn trình bày tổng quan h tưăvấn, bao gồm khái nim h tưăvấn, nhim vụ phổ biến ca h tưăvấn, vai trò ca h tưăvấnăđối với nhà cung cấp vàăngưi dùng, một số ng dụng ca h tưăvấn trong thực tế vàăcácăphươngă pháp tiếp cn h tưăvấn. Để xây dựng h tưăvấn cho trang web hc toán online, lunăvĕnăđãăgiới thiu trang web hc toán online và trình bày mục tiêu, mô tả vàăphươngăphápă giải quyết bài toán xây dựng h tưăvấn cho trang web hc toán online. Lunăvĕnătrìnhăbàyăcácăbướcăcàiăđặt h tưăvấn và giới thiu một số giao din chính ca chcănĕngătưăvấn. Đánhăgiáăhiu quả ca h tưăvấn dựa ngưi dùng trên h thống. 3 Chngă1: Tổng quan h tăvn (Recommender System) 1.1. Gii thiu h tăvn. 1.1.1 H tăvn là gì? H tưăvấn (recommender system) là một h thống có chcănĕngătưăvấn giúp ngưi dùng (user) tìm kiếm các mục, mặt hàng (item) liênăquanăđến s thích, nhu cầu thông qua các giao dch,ă tươngă tácă (transaction)ă caă ngưi dùng với các mục, mặtăhàngăđó. H tưăvấn có thể hotăđộngăđộc lp hoặc đóngăvaiătròănhưămột chc nĕngătrongămột trang web hay một h thống khác User làăngưi dùng truy cp vào h thống [5] (thành viên đĕngăký hoặc khách vãng lai).ăUserălàăđốiătượngăđược tưăvấn. Item là các mặt hàng, sản phẩm, mục [5]. Itemălàăđốiătượngătưăvấn. Ví dụ: item có thể là các bộ phim mà một trang web xem phim muốnătưăvấn cho ngưi dùng, trong bán hàng trực tuyến item có thể là các mặt hàng, sản phẩm màăngưi cung cấp muốnătưăvấn. Transaction là tươngătácăgiữa user với item [5]. Transaction có thể là lch sử tìm kiếm, lch sử mua hàng, lch sử xem mặt hàng hay xếp hng,ăđánhă giá ca ngưi dùng với một mục. H thốngătưăvấnăthưngăchiaănhómăngưi dùng thành hai loi:ăngưi dùngăchưaăcóălch sử tươngătácăvới h thốngă(nhómă1)ăvàăngưiădùngăđãăcóă lch sử tươngătácăvới h thốngă(nhómă2).ăNgưi dùng thuộc nhóm 1 có thể là khách vãng lai hoặcăthànhăviênăđĕngăkýămới, h chưaăcóălch sử tươngătácăvới h thống hoặcăchưaăcp nhtăđ thông tin để h tưăvấnăcóăcơăs đưaăraătưăvấn. Nhóm th 2 là nhữngăngưi dùng có đ thông tin và lch sử tươngătácăvới h thống để h tưăvấnăđề xuất những mục có thể sẽ đượcăngưi dùng thích, quan tâm. 4 H tưăvấn có nhiềuăưuăđiểm, mang li lợi ích cho cả ngưi tiêu dùng ln nhà cung cấp. Chính vì thế h tưăvấnăcàngăngàyăcàngăđượcăquanătâm,ăđiển hìnhănhưămột số sự kin [5] sauăđây: - Cácă trangă webă đượcă đánhă giáă caoă nhưă Amazon.com, Youtube.com, Netflix.com, có một h thốngă tưă vấnă tươngă đối hiu quả. Hơnănữa, bây gi nhiều công ty truyềnăthôngăđangătriển khai và phát triển h thốngătưăvấnănhưămột phần dch vụ quan trng mà h cần phải cung cấp. Ví dụ nhưătrang Netflix.com là một trang web xem phim trực tuyến nổi tiếngăđãă cung cấp giải thưng 1 triuăđôălaăchoănhững ngưiăđưaăra thutătoánăđầu tiên đánhăbiăđược 10% thutătoánătưăvấn ca h. Và giảiăthưngăđóăđãăđược một nhóm nghiên cuă cóă tênă làă “Bellkor’să Pragmatică Chaos”ă giành đượcă nĕmă 2009. - Có nhiều hội ngh và hội thảo dành riêngăchoălƿnhăvực này. Hội ngh đặc bită được nhiềuă ngưi quan tâm là ACM Recommender Systems (viết tắtălàăRecSys)ăđược thành lpănĕmă2007ălàăsự kin uy tín tổ chc hàng nĕmăđể nghiên cu về công ngh tưăvấn và ng dụng. Ngoài ra, h thốngătưă vấn cònăđược thảo lun trong các hội ngh truyền thống về lƿnhăvựcăcơăs dữ liu, h thống thông tin và h thống thích nghi. Trong số những hội ngh đó,ă cần nhắcăđến một số hội ngh lớnănhư:ăACMăSIGIRăSpecialăInterestăGroupăonă Information Retrieval (SIGIR), User Modeling, Adaptation and Personalizationă(UMAP),ăandăACM’săSpecialăInterestăGroupăonăManagementă Of Data (SIGMOD). - Tiăcácătrưngăđi hcăvàăsauăđi hc trên thế giớiăđãăcóănhững khóa hc dành riêng cho vic nghiên cu h tưăvấn,ăhướng dn h tưăvấn cũngă được phổ biến trong các hội ngh khoa hc máy tính. [...]... phẩm tùy theo từng h thống tư vấn - Tìm kiếm t vấn tin cậy: Có một số ngư i sử dụng không tin c y h thống tư vấn, vì v yăđể đưaăra tư vấn tốt nhất cho h cần kiểm tra hành vi tìm kiếm c a h th tăđầyăđ , chính xác và dựa trên những thông tin th t sự có ích cho vi căđưaăra tư vấn - T vấn một danh sách các mục tốt nhất H tư vấn có thể đề xuất một danh sách một số mục tốt nhấtă cho ngư i dùng Mục tốt nhất... play.google.com Ví dụ h tư vấn trênă trang youtube.com,ă ngư i dùng truy c p vào gmailăsauăđó tìm kiếm các video, h thống sẽ lưuăl ch sử tìm kiếm và xem video c aăngư iădùngăđể đề xuất những video gần với nộiădungăngư i dùng đã tìm kiếm - Trong lĩnh vực giáo dục Các trang web h c trực tuyến hay các trang cung cấp tài li uănhưăslideshare.net, tailieu.vn cũngăđưaăh tư vấn vào h thống hỗ trợ ngư i dùng tìm kiếm tài... cáchăkhácănhauăđể tìm kiếm mục có thể ngư i dùng quan tâm - Ngư i dùng nhóm 1 (chưaăcóătiểu sử tư ngătácăvới các mục trên h thống) có thể xây dựng h tư vấn theo những cách sau: + Tư vấn những mục phổ biến nhất hoặcăđược yêu thích nhất + Sử dụngăphươngăpháp tư vấn dựa trên nội dung - Ngư i dùng nhóm 2 (cóăđ thôngătin tư ngătácăvới các mục trên h thống) có những cách sau để xây dựng h tư vấn: + Sử dụng... phươngăphápălai - Dựaă trênă ýă tư ng quảng cáo truyền mi ng, h tư vấn đưaă raă phươngăphápătiếp c n l c cộng tác, những mục tư vấn cho ngư i dùng sẽ dựa trên những mục mà nhữngăngư iădùngăđiătrước yêu thích Chính vì thế h tư vấn sử dụng phươngăphápănày mang tính chất tư vấn những mục, mặt hàng theo xuăhướng,ătràoălưu ngư i dùng - Vớiăphươngăpháp tư vấn dựa trên nội dung, h tư vấn dựa trên tính chất, nội... sự tư ngătácătíchăcực từ ngư i dùng 7 ng d ng h t ăv n 1.1.4 H tư vấn được ng dụng trong nhiềuălƿnhă vực khác nhau đặc bi t là trongălƿnhăvực kinh doanh, giải trí và giáo dục - Trong lĩnh vực kinh doanh H tư vấn được sử dụng rộng rãi trên các trang web bán hàng trực tuyếnănhưăamazon.comălà trang bánăsách,ăđƿaăCDă online nổi tiếng thế giới có h tư vấn giúp mang l i hi u quả cho h thống Vi t Nam có trang. .. trên tính chất, nội dung những mụcămàăngư iădùngăyêuăthíchăđể tìm ra các mục có tính chất, nộiădung tư ngătự để tư vấn - Phươngăphápă l c cộngă tácă và phươngă pháp tư vấn dựa trên nội dungăđều có nhữngăưuănhượcăđiểm c a nó Vì v yăphươngăphápălaiăraăđ iăđể h n chế nhượcăđiểm và phát triểnăưuăđiểm c aăhaiăphươngăphápătrên Khi xây dựng h tư vấn có thể sử dụng mộtăphươngăphápăhoặc kết hợp nhiềuăphươngăphápănàyăvới... phápănàyăđể tìm kiếm các mục tư vấn - Thiên vị các mục phổ biến Một mục phổ biến có thể đượcăđưaă vào danh sách tư vấn cho nhiều ngư i - Dữ liệu th a thớt Mộtăngư i dùng có thể chỉ đánhăgiáămột hoặc một vài mục trong số rất nhiều mục h quan tâm 26 1.2.2 Ph ngăphápăt ăv n d a trên n i dung (Content-based)  Ý t ởng Ý tư ng c aăphươngăpháp tư vấn dựa trên nộiădungălà tư vấn một mục cho mộtăngư i sử dụng dựa... hai mục i và j Sự tư ngăđồng giữa hai mục i và j dựaătrênăđánhăgiáăc a những ngư iădùngăđãăxếp h ng cho cả hai mục Có ba công th căđể tính toán sự tư ngăđồng giữa hai mục [7] - Độ tư ngăđồng Cosine (Cosine similarity) Độ tư ngă đồng cosine giữa các vecto xếp h ng mục là số đoă tư ngă đồng phổ biến nhấtă vìă nóă đơnă giản, nhanh và cung cấp các dự đoánă cóă độ ∑ = || ||2 || ||2 √∑ ∈ chínhăxác tư ngăđối... tư vấn thuộc nhiều thể lo i khác nhau mục Các vấn đề c a ph ơng pháp lọc cộng tác - Quy mô đ ợc mở rộng theo thời gian Số lượngăngư i sử dụng, số lượng mục và số lượng xếp h ngăcũngătĕngătheoăth i gian và quy mô muốn m rộng c a nhà cung cấp - Không t vấn cho ng ời dùng mới và mục mới Nhữngă ngư i dùng mới và mục mới không có l ch sử thực hành không thể sử dụngăphươngă phápănàyăđể tìm kiếm các mục tư vấn. .. y ch ng tỏ rằng,ălƿnhăvực nghiên c u h tư vấn rấtăđược nhiều ngư i quan tâm và khẳngăđ nh giá tr c a nó trong thực tế.ăTrong tư ngălai,ă lƿnhăvực này sẽ cònăđược quan tâm nhiềuăhơn 1.1.2 Nhi m v c a h t ăv n Để hiểu rõăhơnăcôngăvi c c a h tư vấn ta sẽ xem một số nhi m vụ phổ biến sau: - Lấy ý kiến cá nhân H tư vấn t oăđiều ki n cho ngư iădùngăđóngă gópăđánhăgiá và bàyătỏ ý kiến với các mục.ăNgư i dùng . tư vấn cho trang web hc toán online, lunăvĕnăđãăgiới thiu trang web hc toán online và trình bày mục tiêu, mô tả và phươngăphápă giải quyết bài toán xây dựng h tư vấn cho trang web hc toán. thống và  la tuổi ca các em, rấtăkhóăđể tìm kiếm kỹ nĕngăphùă hợp vớiănĕngălực ca mình. Vì lí do trên, tôi lựa chnăđề tàiă Tìm hiểu h tư vấn và xây dựng h tư vấn cho trang web hc toán online trợ xây dựng h tư vấn trên trang web hc toán online. - Lựa chnăphươngăphápătiếp cn và ng dụng xây dựng h tư vấn kỹ nĕngăhỗ trợ hc sinh thực hành trên trang web hc toán online. 3. Đốiătng