Xây dựng công cụ tìm kiếm và so khớp hồ sơ người dùng trên các mạng xã hội

MỤC LỤC DANH MỤC CÁC HÌNH VẼ DANH MỤC CÁC BẢNG BIỂU KÝ HIỆU CÁC CỤM TỪ VIẾT TẮT LỜI MỞ ĐẦU CHƯƠNG 1: TÌM HIỂU VỀ BÀI TOÁN 1 1.1 Mạng xã hội là gì? 1.2 Nhu cầu thực tế 1.3 Một số phương pháp đã được thực hiện CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Tổng quan về so khớp chuỗi, văn bản 2.1.1 Khái niệm 2.1.2 Xử lý dữ liệu 2.1.2.1 TFIDF là gì ? 2.1.2.2. Token và biểu diễn văn bản trong Text Mining 2.2 Tìm hiểu về các phương pháp tính toán độ đo tương tự 2.2.1 Độ đo Jaro (Jaro 1995 , 1989 , Winkler 1999) : 2.2.2 Độ do SoftTFIDF 2.2.3 Độ đo Edit Distance(ED) 2.2.4 Độ đo ESA(Explicit Semantic Analysis) 2.2.4.1 Giới thiệu 2.2.4.2 Xây dựng phương pháp ESA 2.2.5 Độ đo Jaccard 2.2.6 Độ đo dựa trên từ điển WordNet 2.2.6.1 Từ điển Wordnet 2.2.6.2 Xây dựng thuật toán 2.3 Quyết định nhóm và một số thuật toán 2.3.1 Bayes Naive 2.3.1.1 Công thức Bayes 2.3.1.2 Bayes Naive 2.3.2 Kỹ thuật trộn theo lý thuyết DempsterShafer (DS) 2.3.2.1 Thuyết DempsterShafer 2.3.2.2 Quy tắc trộn của DempsterShafer 29 2.3.3 Cây quyết định mờ 2.3.3.1 Cây quyết định 2.3.3.2 Logic mờ và ứng dụng vào cây quyết định CHƯƠNG 3: XÂY DỰNG CÔNG CỤ VÀ ĐÁNH GIÁ THỰC NGHIỆM 3.1 Xây dựng công cụ so khớp hồ sơ giữa các mạng xã hội 3.1.1 Xác định các thuộc tính hồ sơ người dùng 3.1.2 Chuẩn hóa dữ liệu hồ sơ người dùng về dạng FOAF 3.1.3 Sử dụng độ đo tương tự để xác định độ tương tự giữa thuộc tính của hồ sơ 3.1.4 Gán trọng số độ quan trọng cho các thuộc tính 3.1.5 Sử dụng các phương pháp để tính độ tương tự chung 3.1.6 Tính toán xây dựng ngưỡng và so sánh để đưa ra kết luận. 3.2 Thực nghiệm và đánh giá kết quả 3.2.1 Các bước tiến hành thực nghiệm 3.2.2 Kết quả và đánh giá CHƯƠNG 4: KẾT LUẬN DANH MỤC TÀI LIỆU THAM KHẢO…………………………………………………. .

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOA CÔNG NGHỆ THÔNG TIN 1 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Đề tài: Xây dựng công cụ tìm kiếm và so khớp hồ sơ người dùng trên các mạng xã hội Giảng viên hướng dẫn : Th.s NGUYỄN THANH THỦY Sinh viên thực hiện : VŨ THÀNH TUÂN Lớp : D09CNPM3 Khoá : D09(2009-2014) Hệ : Chính quy Hà Nội, tháng 11 /2013 LỜI CẢM ƠN    !"#$%&'()*+,)#- +&'&./01)23)4.526 1789)+&':');;<%&'=5, >?@A5- 2'BC>.5! !  "#$'&'A5+&0D#- 8>.5!"#$&' =5,@A5- 19)E%+'8-=35788. &(B#D.;FG'%'*+- /3 HI+HH?JKHL 1M885 1M885NOKP23QRL 8&J NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM (Của người hướng dẫn) SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS Điểm:SSSSSSSSSSSSSSSSSSSSSS-TU>VS SSSSSS S S-W Đồng ý/ Không đồng ý '=!')&. *E*+,)#?- …………, ngày tháng năm 20 CÁN BỘ - GIẢNG VIÊN HƯỚNG DẪN (ký, họ tên) 1M885NOKP23QRL 8&L MỤC LỤC C TÀI LIỆU THAM KHẢOSSSSSSSSSSSSSSSSSSS--XJ 1M885NOKP23QRL 8&Y DANH MỤC CÁC HÌNH VẼ DANH MỤC CÁC BẢNG BIỂU 1M885NOKP23QRL 8&X KÝ HIỆU CÁC CỤM TỪ VIẾT TẮT Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt Z[\Z Z&%;']Z&%; ^_;;>)5*= .;` 8Z 8%&Z&%A5% 8=,@&'? aOZ a%&=%O'5%Z&%A5% 8=,_'@ &'D#;>)5 O ;O=% ^ ':'+ b\ #b%\== ^ '>c dRe %d%=%R&:5# e5% 3>+;E5f &  gOZ g%='5&%O%=&#' Z&%h'&: Z&%h'&: 5! 3eQ 35&e5%Q&'%== di>(! Ob O%#=%&b]%& ei5B ZO8 Z5jjO%='8&%% 2A5B_ 2eb 2'%#e%&b=% /),0%':+ ) 1M885NOKP23QRL 8&I LỜI MỞ ĐẦU  8&'>? .k% &'>#+&l, E&!%&% #6++'  &!a%&%" ' ;(&! =,:_.V:B,.,.;`6k#;>)5#' #"&5ES^l;5&&+.;`#'D#  :'=5m.;`BD#++M.+n'  0E+m.k';)<+l9&.&! <.-26Bl#)DB>>.;`"% o+*=+0- p< <+lml#)faO.;`.k5E# f6 m5!l#)DB.;`>+  5.k% En:+#q#rn5B-4f&!B m&?+ :+5".)D#:m=(&' s;>)55-^m >Bf .;`ml=n5 +t6:+5Tl=;t+l)l5+SW)&'s M.)=':#.;`>+  EnB E#+- 26B&')5"A5B'+=':#*=.;` >+ -d;( t'#o#='=+DB>*=m #;)'` .;`:-Q.#+#;(&!)6 '+=(,5@5 6.q>*=U+5D'+6 k#+'<5 6 &0=,0q A5&05 6-8B# %';` =,5D'+:Bk#;>)5l':BA5,5>*=-25, `='=+:BA56.k .$T.k6'+( '9UWl .&A5B_- 8)5*+'*X.V Chương 1: Tìm hiểu về bài toán: u)5n &rq? +' ":m:?9##@m#6 ;5'+=5mn5E +B#DA5B'+-u)5n_;;>)5 E5 &"Z[\Z- Chương 2: Các nghiên cứu liên quan: 8l5n+:v5D=':#5<? ._c#.#+#B#Dq;t''+-8l5n+:v5D :Bk#;>)5+#.#+#i?- Chương 3: Xây dựng công cụ và đánh giá thực nghiệm: 8&+. ;(ttlm++#;t+!q5''+-3!5#.#+#( )V+E;>)5i;>)5+()-^++:BA5 6+ t#6.k.5.kl@#.#+#'Do- Chương 4: Kết luận: Q5,`:B5Dmw+En!q5 .#+&lB#%'- 1M885NOKP23QRL 8&x ^yz38{83u/a|Q^}a/~22.HV8l5n'+ CHƯƠNG 1: TÌM HIỂU VỀ BÀI TOÁN 4'+Ut6;(t=':#*=+>+  ll5&•n'+l5=5n M.+q ?' "-8B#m=€&n55(BM. =, !q5.k()lA5B'+- 1.1 Mạng xã hội là gì? R 0 'Tb'3%h'&:W•HP‚;_t,:B+ !`=f6&!a%&%5n5t6:+5:# ):- R m>6?.%ƒ#'%=„]% '5D-Rs''+.;!:B5&f  #EB5<'&?&)5!:w#B-2+;_t mn5#.+l+!:B,+V;(%'&'5#T6;t. !&.'9!#,W;(&!+T._G%ƒ'9=&%% %W'9;(&!=f6+T.l'#=++''9Wc (A5V:;'5+S /)Bm&? :+5Rb#% Z%'':sBE&'_&.4wRv8…5[&:5/X3Rv Z&%;=%&25z+'A5,8+4O.-R :+9+.k +:l%'`n.4%'\†5,2‡'&;/†5,R 3D4†j'%8&5†5,1)35E)&En5+ .V ˆR%‰5R%8- 1nE< 5E#;_tq?tlUt!5 '.k  *tl&'B(-^l=;t;_t+q?l >.kBD#T,A5)W+!!A5B.;`#'  :'+!?:iml'*=+;=+=f 6+!>+:+V ƒ Facebook V^& #+&lEZ%'':#+&l@  .+=!00Bm#+&l&!'5  .=w 0q5s-/&?&)5.&!Z%'': &)5.<+-8&!Z%'':ml:B, U+:B!'9E.:+.k:B ,M.A5Š.‹.ksq5A5_l &.0'9)- ƒ Myspace VR=#% &'> 5!(=(-/) mFrmJKK&)5.=;t-1)=;tR=#%_ :Z%'':#+&l-R=#%m5.5" m:Œ5 0&„='Z%'':9)#sB>.'= :E5=;t:?5)ml"Œ++ )=c:+(:•,- 1M885NOKP23QRL 8&Ž ^yz38{83u/a|Q^}a/~22.HV8l5n'+ ƒ Linkedin Ve:%;a  5!)#.kB:B'> .:;''9+5!)l'+:B,+* )#_G!):;':+-3mMml#tt. #. )l!:+n?:++,+-3m'#o#+ !?*=_=)-e:%;:5B:6=;t'> m+*)#>.=;t' >.:B )- ƒ Zing Me VˆR% E1)3"&0+6? 9&.  .:B&(5BB'D#5 - 4!m+!rml;7%%# =„+&r&(5B-3');(B'ˆ R%r.5!sq+=(:),.=;tm&!  *m5D.kn5#*6(- 1.2 Nhu cầu thực tế R &'>#+&l,E&!%&%6+ -b,.k . ?!BG.'&5*;>)5#' #"-1nE< 5E#+;_tq?tlUt!5 '.k  *tl&'B(-^l=;t;_t+q?l >.kBD#T,A5)W+!!A5B.;`#'  :'+!?:iml'*=+;=+=f 6+!>+:+-26B*=. ;`m&r;)r0).=;t&!  9&.&!@-3. + .=;tml= ;tn5 :+5l#t#tt>t6:+5- ^n5;FB =,&.k#!:B*=.;`>+  5-^l0En"!q5 =,&.k#.=5V ƒ u=3571?\=;tJ :+5Z%4'':l! &'s.5A5qe:%;l! :B*)#,+?&')-\m =(:)T6;t.s q.• q;t)6W5, E. *)#-1En9&&'J;=+\&!J  =€m>+&`5T`l5_ .W\'5, 0H&+&9#J` +'- ƒ /3571?4J Z%4'':8h%&)4m&E n5&!Z%4'':45,f& r:B,&!8h%&q >m!:B&!Z%4'':..m!:B&!8h%&- 26B@>;=+3571?\3571?4" #6=':#%>*='`l5_l5;7` .;`- 85!m En#q#A5Bl!:B>J - 1M885NOKP23QRL 8&P ^yz38{83u/a|Q^}a/~22.HV8l5n'+ Hình 1. 1 : Mối liên kết giữa các mạng xã hội R9;`< =(:B,G..".k6. >r';>)5D#f=(!:B;>)5>+ 5. :m-35!5E#+@En6=5V 1 Biểu diễn mạng xã hộiVR 5E#'.=;t#.) +l:B,'B#=„+!:+&'n 0-85!+&h%mE5&".k*l5;7:+5" ;)'=(5!)+D#.=;t:+5-1D" ?E)&'s'B#>+ :+5T• .=„„i:BW- 2 Miền thuộc tínhV3:+& `=€n . 5 6*=.;`M:#"'M#sB-16;t! n+&_5 6&'Z%''::EB#+#q++&_ !n5 6.(&'e:%;a- 3 Mục tiêu trang webV8`5 '+&h%+t!5.=;t 96.(ml.k!'+&_:+5-16;t+5 6 %Z%'':..k!' %+&':e:%;a  %5!)#` .;`- 1.3 Một số phương pháp đã được thực hiện /)m n=5E=;tZ[\Z•P‚5,&5&')&'s;> )5*=.;`>+ -Z[\Z '''mE5&"@ .fE5&"gOZdRe'.+.!%S M.+A5) .:+.*)#';_:;' S2ml+9&'Z[\ZX'V++ 1M885NOKP23QRL 8&HK [...]... s ca mỡnh, sau ú cỏ nhõn húa h s di dng FOAF H khuyn khớch ngi dựng to vũng trũn kt ni gia bn bố to c im nhn dng h s Song õy l mt trong nhng vn phc tp khú kim so t V Thnh Tuõn D09CNPM3 Trang 13 N TT NGHIP I HC quan Chng 2: Cỏc nghiờn cu liờn CHNG 2: CC NGHIấN CU LIấN QUAN 2.1 Tng quan v so khp chui, vn bn 2.1.1 Khỏi nim So khp chui v so khp vn bn nhm mc ớch tỡm ra s ging nhau (hay cũn gi l o tng... nhiờn, HQG H Ni, Vit Nam Cho chớnh xỏc cao 96%-98%, ang c xem l mt trong nhng cụng c tt nht phõn tỏch token 2.2 Tỡm hiu v cỏc phng phỏp tớnh toỏn o tng t so sỏnh hai h s ngi dựng ta i so sỏnh hai b thuc tớnh ca chỳng Do h s ngi dựng cú rt nhiu thuc tớnh khỏc nhau, v cu trỳc cng nh t ng v tớnh cht cng khỏc nhau, vớ d chng hn so khp v thuc tớnh mụ t thỡ ũi hi v ng ngha, cựng mụ t v mt vn nhng cỳ phỏp... khụng phi lỳc no chỳng cng ging nhau hon ton, chớnh vỡ th Monge and Elkan ó ra cụng thc tớnh nh sau: Cho 2 vn bn S v T c biu din bi cỏc cm t con bờn trong S = a 1, a2,, aK v T = b1, b2,, bL ta cú tng t gia S, T c tớnh nh sau: Sim(S,T)= (2.10) ỏp dng cụng thc trờn vi TF-IDF thỡ phiờn bn Soft ó ra i Gi S, T l 2 vn bn cn so sỏnh, v CLOSE(, S, T) = {uS| vT: sim'(u, v) >}, vi sim'(u, v) tng t th cp gia... tớnh duy nht thuc v mt th hin ca lp foaf: Person Qua vic so khp cỏc giỏ tr nh danh duy nht, ta cú th thu c quan h ng nht gia cỏc cỏ nhõn thuc v nhiu h thng khỏc nhau, v hp nht cỏc h thng ny li hỡnh thnh mt mng xó hi ln Quan h: Thuc tớnh foaf: knows mụ t mi quan h gia cỏc cỏ nhõn v hỡnh thnh mt mng xó hi trong cng ng Hai thuc tớnh foaf: knows v rdfs: seeAlso c kt hp liờn kt cỏc ti liu FOAF Liờn kt... trong mt ng cnh c th Mc dự hin ny d liu c lu tr di nhiu hỡnh thc khỏc nhau, nhng vn bn vn l hỡnh thc ch yu lu tr v trao i thụng tin c bit trong bi toỏn ny vic so khp h s ngi dựng c thc hin trờn tp d liu ln, cng nh cn chớnh xỏc cao ca cỏc phng phỏp so khp cho cỏc thuc tớnh 2.1.2 X lý d liu 2.1.2.1 TF-IDF l gỡ ? TF- IDF vit tt ca thut ng ting Anh term frequency inverse document frequency, ca mt t l mt... +| { d D : t d } | C s logarit trong cụng thc ny khụng thay i giỏ tr ca mt t m ch thu hp khong giỏ tr ca t ú Vỡ thay i c s s dn n vic giỏ tr ca cỏc t thay i bi mt s nht nh v t l gia cỏc trng lng vi nhau s khụng thay i (núi cỏch khỏc, thay i c s s khụng nh hng n t l gia cỏc giỏ tr IDF) Tuy nhiờn vic thay i khong giỏ tr s giỳp t l gia IDF v TF tng ng dựng cho cụng thc TF-IDF nh bờn di Giỏ tr TF-IDF:... rói v em li hiu qu cao Trng s th hin rừ c tm quan trng ca t i vi vn bn Tuy nhiờn cụng thc tớnh TF cú th cú nhiu cỏch tớnh khỏc i vi vn bn di, thỡ cụng thc c bin i cho phự hp Vớ d trong mt ti liu ln thỡ mt t khúa cú th xut hin n 25 ln nhng trong mt ti liu nh thỡ khụng cú t khúa no cú th xut hin n 25 ln gii quyt vn ny mt s cụng thc ó ra i : TF ( t , d ) = (2.4) Thng ca s ln xut hin 1 t trong vn bn v... foaf:Person ; foaf:name "Jimmy Wales" ; foaf:mbox ; foaf:homepage ; foaf:nick "Jimbo" ; foaf:depiction ; foaf:interest ; foaf:knows [ a foaf:Person ; foaf:name "Angela Beesley" ] rdfs:label "Wikimedia" Tuy nhiờn vic s dng FOAF nh danh ngi dựng bi... ũi hi v ng ngha, cựng mụ t v mt vn nhng cỳ phỏp khỏc nhau Hay v thuc tớnh mbox khụng cú ý ngha v mt ng ngha chỳng ta ch n thun l so sỏnh s khỏc nhau v t Chớnh v th mi mt thuc tớnh s cú cỏc phng phỏp khỏc nhau V c bn s chia thnh thnh hai loi chớnh l so sỏnh v mt ng ngha, v so sỏnh cỳ phỏp: - - Cỏch tip cn v cỳ phỏp: Cho kt qu v tng t gn ỳng v ch cỏi hay t gia 2 cõu, tuy nhiờn ch ỏp dng gia cỏc cõu hn... tớnh ny gia ngi dựng c thay i cho phự hp vi chc nng s dng nh: - H thay i a ch mail (Do quờn mt khu, hay b khúa, ) S dng nhiu hn mt a ch mail (mail liờn lc bn bố, mail liờn h cụng viờc, hay phc v vui chi gii trớ,) V Thnh Tuõn D09CNPM3 Trang 12 N TT NGHIP I HC - Chng 1: Tỡm hiu v bi toỏn Mt mail cú th c s dng bi nhiu ngi Ngoi ra cũn mt s phng phỏp tip cn khỏc nh xõy dng mt kho lu tr ngi dựng t ý thờm . trên các mạng xã hội Giảng viên hướng dẫn : Th.s NGUYỄN THANH THỦY Sinh viên thực hiện : VŨ THÀNH TUÂN Lớp : D09CNPM3 Khoá : D09(2009-2014) Hệ : Chính quy Hà Nội, tháng 11 /2013 LỜI