nghiên cứu và đề xuất một bộ lọc web bằng phân loại văn bản cho một proxy server nhỏ

Mục lục      !"#$ %&'()*+, -.%/#, 0.1#(%12#, 34%567(%12#, 38(9#:%#(7;7<!;, 30-%57<!;= >(%?:@%A:%B CDA%B!;.E7EF%G.HI#HE.AG J4%K.L%%/.M5(3 J%N(F%"6;6O(?%7P.M1.%Q(-3 J0R%%R%.MI@%:HSBTUHV/.:6 W'&X7;@%:6Y7ZH[\.U].6(^J $W'&X7;F%KA57ZH[\.U].:__`:.A^ ,SD#(!;.E$ %&'(0aWb>+c, 0d%G/6HSBTUH, 0SBTUH\eUH`.UM^, 005_:A".%Q. 6S.HSBSD#(f, 00C.%#gQ.DO(.MA((%12#0= 00d%:6YDN/#0= 000d%:6Y7ZH[0= 0 0034%KA57ZH[00 00S._hF%&'(F%GFF%KA57ZH[0 00QFi%#j.MA(F%KA57ZH[0J 00J*#G.MR%F%KA57ZH[0J 00WA_G%%:7ZH[0J 00$k(D(HSF%KA57ZH[7EA7/BeUH3 %&'(3lk+mno3, 3S._h.QFi7<!;BTUH3, 3:%_G%!U7ED:%_G%.Mp(\:@_.7Ee%.U_.^3, 30%q.r@% :\@UgTAMDHA@(^3, 33/.%h(!G%(G\s:.(_g_.U6_^= 3BGg1#"#A6::6UWg_.U6\W^ 3SB9#:+s3 3JB4 30tKgDP(([.%Q.$ 30n;]#<.%A6S.F%&'(F%GFBeUH$ 300%#i..AG, 303 6&XGH&-u:.%#i..AG= 30v%R%.%#i..AG0 33P:%BF%&'(F%GF(%12#0 33Gg%BE(Rf0 330%N(.%#iXu:G%.QFi.%UAD5(6Gg%B (G6_G.3 333nq!I6H1.MA(G%.QFi.%UAD5(6Gg%B (G6_G.3 33tKgDP(HSF%KA57ZH[\U].:__`UM^ %&'(twcxkyz{yn|| 8%2DN/# <#.M}DN/#.%UA.%#i..AG%#j 3 0<#.M}DN/#!;]#<.%AiF.MR%J= 3%#jH~DN/#J0 0v%R%.%•(%/6J 0%•(%/6.%UA2(D(\dI6.M:%A5.!S(u:.%#i..AG^J 00%•(%/6.M165(J, 3[.%#i.[.Q7E&#!€ 3&#!€.r(H&- 30G&#!€%A.%#i..AG E!q.$ E!q.4MA]g$ 0v.[%.Q.GH&-.%#i..AG$ 3•%&'(.MR%$ S._h[.Q.MA(%&'(.MR%$ %•(%/67E!G%(G$ v.M&(.%•(%/6‚<#%R%GD~%7$ 04%&'(F%GF.%•(%/6ƒS._h.%•(%/6$ 3nG%(G62!S%/#9#[, %&'(d+„…†‡4|sˆ=0 dQ.#i=0 dQ.#i=0 0d%[Z(2(D(=0 35%Q=3 0&-(F%G..MI=3 0dQ(%~%&-(F%G..MI=3 00%[A#i= …{+d‰=  DANH MỤC BẢNG: [(3S._h_[F%j6BTUH.%UAF%&'(.%2+s [(30dQ.9#[!G%(Gu:U.4MAŠU.‹Œ [(dQ.9#[==".%•==.M:(%B(•#%1.%#S-F<6, [(0dQ.9#[==".%•==.M:(%B(•#%1@%v(.%#S-F<6,0 [(3%%i@Q.9#[.%•(%/69#:65(, [(%h(@1_h&X(.M:(@% :!}(.%UA.Ž/, [(%h(@1_h&X(.M:(@% :!}(.%UA.Ž/,J [(J%h(@1_P.%:g!8(&•(τ[%%&V(!Q%/#_#<.BTUH==  DANH MỤC HÌNH: R%~.MLu:HSBSD#(.M1FMA]gu:65(3 R%0E%R%.MR%D#g/.<6.M#giF, R%00%%B:6h9#:%/.MA(M}..ML%.%v(.0 R%03*#g.MR%F%KA57ZH[0J R%0I#D•%N(!I6yy.MA(6S.6q.F%‘(%:%;#\[ 9#g;%R%M’M::‹3Œ^0, R%0G!&(.%‘(HI#D•@%A[(G%aƒ\’#DU:_.:U_^(N: G!I67E7-!I6\[9#g;%R%M’M::‹3Œ^3 R%0JG7U.AM7E\[9#g;%R%M’M::‹3Œ^3 R%33v%R%.%#i..AGF%KA57ZH[0 R%*#:%/(N:GH[(.MA('_VDN/#.iF%#<#g/7E.iF.%• \_:6FU^J R%0#gQ.L%% :.E/#H:A(€6A5HY!G%D<#\:^7E.%“% :\H^ A@U”:.A_`AATUDHg_.AFTAMD_.G%B\^y_.U66(\D^(G.MB(_h\U^ \[9#g;M’DUM::‹3Œ^JJ R%3E%R%2(D(.%•(%/6.M1(:AD/J R%W'!€65(.%•(%/6E!q.FMA]g R%&#!€H&-0 R%J&#!€H&-03 R%&#!€H&-3 R%$&#!€H&-_A_G%%/_h.M:(7E(&•(J R%,&#!€E!q.2(D( R%=v%R%65(.%•(%/6HSBFMA]gF%KA57ZH[$J R%n;#%Ž%!~:%ŽFMA]g.M16GgU.$J R%0I#!€HI#D•G(G.M~%/_h.&'(.Pu:_•_A7-_$$ R%3E%R%.%•(%/6.%#i..AG,= R%v%R%@I6.%•4MA]geUH–.UM.M165(,3 J R%E%R%@I6.M:%/#9#[.M165(, R%JI#!€_A_G%_h&X(.%UA.Ž/.M:(H~@% :,J R%I#!€HI#D•_h&X(.M:(9#:!&X(&•(τ, R%$E%R%@I6.%•_P.%:g!8(&•(τ== R%,n€.%~HI#D•%/#9#[@%.%:g!8(&•(τ=  DANH MỤC TỪ VIẾT TẮT: W  _g66U.M(.:W#H_MHUMU ’  A.U.::(U6U.D7UM_:M:’7MA6U._ ‰W A_UW6:M.g W  A6::6UWUM7U ed  UFM:7UDeUHdUM –4  –UM:_`UM4MA.AA 4  gFUM.U].M:_`UM4MA.AA 4  .UMU.4MA.AA\(%.%265(^ s  `AM6:.AsU.MU7U W4  .UMU.WUM7U4MA7DUM W W6:M.g W.AFTAMD D:%6G.r@%v([%%&V(!QSD#(7ZH[ 4  M:_6__AA.MA4MA.AA +s  +`AM6sU_A#MUA:.AM $ Lời nói đầu t#<.F%G..r6S.%/.M5(_•D(.UMU.(EgE(F%8HQyGD~%7 .M#giF.UMU.F%G..MI65%6—O(7-g1#"#9#[C%q.%—7/_• D(D%7TUHu:%;#(&7E.MG%_•D(%N(.M:(TUH˜!U™E6 HZ(%A5!5A!2]•%S%<.E!h7-(-.M“ -%N(g1#"#H2.%Q.! y(&(%12#.Q%E%.%P%/!;.E Egy.M1'_Vv((%/F%KA57ZH[y!;.EEg6#h!5. 6S.([F%GF B%N(.M:(TUH˜!U™%:g%N(.M:(TUH˜<6™6S.G%%/#9#[ #g%1y6S.7<6E!;.EEg%&:!5. EB%N(%R%[%.MA(6S. .M:(TUHy!KgE7<!;"!&X!"#.&.%16%š6%AE.%/6.1#%L%! Ev(7/BTUH *#:!Kg.v]%K.%E%[6' Tiến Sĩ Nguyễn Văn Hiệp ‚[(71 M&(n5BG%d%A:F!•.i.R%%&-(D•y.M#g;!5.@Q.%2 !Q.vyG6'GAnh/ChịF%›(Sau đại học Trường Đại Học Công Nghệ Thông Tin (thuộc Đại Học Quốc Gia TP. HCM)yG6'GH5Hœ!•(}F!•7E!S( 71.v%AE.%E%#i7ZEg Người viết Dương Đình Dũng , Chương 1: TỔNG QUAN 1.1. Giới thiệu: n;.E!&X%BDP:.M1%/.M5(_•D(65(.UMU.%/:gy.5(: !R%•(%&.5GD~%7v.M&(.UMU.F%G..MI65%6—%&( •(.;6j%N(6h(#g%I6.MA(! y%&%N(%R%[%@%1#DK6yH5A P7E%;#7<!;@%v(E%65%@%Gyž_— .G!S(]<#!Q(&DO( .UMU.%<.E(-.M“ƒ%N((&%&:C.%2!"g!u7;%N((#g%5! R .%Qy7<!;BTUH!&X%;#(&!"#.&7-%;#G%E6@%G%:#y%&( O(%&-(!Q6S.6.1#E(Z%q%N(.M:(TUH!S%5 1.2. Mục tiêu nghiên cứu: <!;(%12#%L%.MA(!;.EEgE(Z%qG.M:(TUH7E@Q .%2_•D(!I]KgDP(6S.HS TUHEv((%/.M.%2y.%IEF%KA5 7ZH[\U].:__`:.A^n;.E"F%[!5.!&X%N(SD#(_:#  (%12#%N(!I665%u:@Ÿ.%#i.F%KA57ZH[7E@Q .%2".%Q.%A@Ÿ.%#i.Eg%š6GFD( .h.%<.7EA!;.E (%12#  tG!~%%N(!I6H<.iF.r%N(%&'(.MR%2(D(BTUH %/ 7E%N(!I665%gQ#u:%N(F%&'(F%GF]KgDP(HS BTUH  n;]#<.F%&'(F%GFBTUH7E]KgDP(6v%R%yE!q.6S.HSB TUHDO(@Ÿ.%#i.F%KA57ZH[nq..%#i..AGBTUH!•E!q. 1FMA]g!I.%•(%/67E!G%(G.%#i..AG  %ŽM:%N([.Q".%Q.%A!;.E 1.3. Phạm vi nghiên cứu: 1.3.1. Tổng quan chung về vấn đề: = A.L%%<.u:65(.UMU.E.M#g;.[.%v(.MS(M•7E!:D5(y1 7/@%:.%G •((qF%;#MpMh<!;@%v(F%[EDO( @% @%Z 6E(-%57/_•D( %A.r(!h.&X(yDO(!}((#€.%v(.65( 7E%<.E%N(7<!; 19#:!Q!5A!2y.&.&V(y.%#"F%A(6Ÿ. u:(&DO(7E7<!;:%u:6S.9#h(: (:g.r@%.UMU.7ETUHF%G..MI7<!;H[A6i.•(%&A5HY%N( .M:(TUH%2:SD#(@%v(E%65%@%v(%A(&DO(.M#giF!Q!• !&X!q.M:*#:6S..%(:DEF%G..MIy.%UA_PF%G..MIu:v((%/7E.ML .%2u:A(&6 .%@¡(p;7-6S.@Ÿ.%#i.(Z%q.M:(TUH G%&'(.MR%BTUH.%&(DO(Gv((%/%&D:%_G%.Mp(7E D:%_G%!U\H:@_.7ET%.U_.^y(Z.r@% :\@UgTAMD^y%q!~:%Ž1@Q. \+s%:g4^y@I6_AG.SD#(\TUHA.U.^y77 nq!I6%#(GF%"6;6Eg .%IE.M1FMA]g_UM7UM%:gU.%Aq [%:S._h%&'(.MR%%Ž%5g.M16Gg!'y(}FF%%#g%@I6_AG.7/ DO(65(.UMU.u:AU66R%.h.%'nh7-%N('9#:y.8%2y DA:%(%/F.%R7/DO(%&'(.MR%BTUH@I6_AG.(:g!"#7EA!I9#[ C.AEHSG.M#giF.rH1.MA(%:gG%E%7!S.%iF.rH1(AEE7v O(9#:.MB(-6S.&#&X(-%N(g1#"#!9#:E6%A7/]•CV !"#@I6_AG..MV1HiMS%'7E#v!›%Y.h!S]•CF%[:A%'!I!GF 2(%:%% (Gg1#"#yQ#@%v(HSB7v.R%.5A1!I6.%p.8%:E %i6%/.%h(65( 1.3.2. Giới hạn vấn đề: MA(6v.M&(.M#g;.[.%v(.9#:65(.UMU.(&.:_•D(M<. %;#2(D(!€%B:7E6#.6UD:7EA.MA(v(.M#g;.[.%v(.\F%" -EG.M:(TUH^A! y%N(SD#(!&X(&@%:.%G.QF.%#M<.!: D5(MA(!;.EEgy(&7Q.%B6S.F%"SD#(.MA(6S..M:(TUH!I (%12#! E7ZH[H1.%I%/.MA(6S..M:(TUH [...]... giá Chương 5: Kết luận và hướng phát triển 19 Chương 2: CƠ SỞ LÝ THUYẾT 2.1 Khái niệm bộ lọc web: 2.1.1 Bộ lọc web (Web filter): Bộ lọc web là phần mềm có chức năng lọc vài loại nội dung hiển thị trên một trình duyệt web hay khóa vài vị trí web (web site) mà người dùng cố gắng truy cập đến Bộ lọc kiểm tra nội dung của một trang web hay một địa chỉ web dựa vào một tập các luật và thay thế bất kỳ nội... nghiệp Phân loại văn bản và trích xuất thông tin là hai dạng của xử lý văn bản nông cạn, nhưng có sự tương tác hay hợp lực giữa những kỹ thuật chiếm một phần khiêm tốn Nhiều hệ thống IR phát triển một vài kỹ thuật phân loại văn bản để đảm bảo rằng những văn bản đó được xử lý để đưa đến một tập văn bản chứa dữ liệu mong muốn Nghĩ theo một cách khác, ta có thể mường tượng rằng một hệ thống phân loại văn bản. .. trong phân loại văn bản: 1 Loại bỏ những từ có âm tắc (stop word) và những từ đánh dấu (marking) 2 Những từ còn lại là tất cả những thuộc tính 3 Một tài liệu trở thành một vector 4 Huấn luyện một bộ phân loại luận lý (boolean classifier) cho mỗi lớp văn bản 5 Đánh giá các kết quả dựa trên một mẫu văn bản chưa biết trước 2.2.6 Quá trình phân loại văn bản Hình 2.3 Quy trình phân loại văn bản. .. hệ thống phân loại văn bản: biểu diễn tài liệu, xây dựng bộ phân loại, lượng giá bộ phân loại 1.9 Nội dung đề tài: Trong luận văn này cần đạt đến: một tập tài liệu nghiên cứu lý thuyết và thiết kế chương trình Một bản minh họa (demo) cài đặt cho thuật toán và thể nghiệm trên mạng Cấu trúc dự kiến của luận văn như sau: Chương 1: Tổng quan Chương 2: Cơ sở lý thuyết Chương 3: Nghiên cứu vấn đề Chương... phần Proxy nguyên thủy Người dùng bên trong Thành phần lọc nội dung Hình 1.1 Vị trí của bộ lọc nội dung trên proxy của mạng Hình 1.1 ở trên cho thấy vị trí của bộ lọc đối với việc kiểm soát truy cập của một proxy đang hoạt động trên mạng Sự lọc web xảy ra sau khi một truy cập được cho phép Một thành phần lọc web dựa trên văn bản xử lý nội dung trong một định dạng văn bản và vì thế các phương thức lọc. .. j và ci Cách này hữu ích cho phương pháp phân loại tương tác 2.2.4 Một số phương pháp phân loại văn bản: Phân loại văn bản là một tác vụ học có giám sát, tác vụ đó gán những nhãn định trước cho các tài liệu mới, từ đó đem so sánh với tập huấn luyện gồm các tài liệu được gán nhãn Các hệ thống phân loại văn bản tự động truyền thống đơn thuần là áp dụng cho các văn bản đơn giản vì thế đem ứng dụng cho. .. về sự bất thường của loạt văn bản 2.2.3 Phân loại văn bản 2.2.3.1 Định nghĩa phân loại văn bản Phân loại văn bản là tác vụ khởi gán một hay nhiều loại văn bản ngôn ngữ tự nhiên được xác định trước vào các nhóm tài liệu nào đó đã định nghĩa trước Chẳng hạn như, một hệ thống email nhận thông điệp đến thì thông điệp đó có thể được gán là “junk” hay “non-junk”, có lẽ để thuận lợi cho việc ra quyết định nên... phân loại tài liệu một cách tự động trở thành vấn đề quan trọng hàng đầu Có hai vấn đề khác nhau trong phân loại văn bản: gom cụm văn bản (text clustering) và phân loại văn bản (text categorization) Vấn đề gom cụm liên quan đến việc tìm kiếm một nhóm cấu trúc tiềm ẩn trong tập các tài liệu Trong khi đó việc phân loại còn có tên gọi khác là phân loại văn bản (Text Classification) có thể được xem như tác... giới Trong đề tài này người viết dùng kỹ thuật lọc web bằng công nghệ khai mỏ văn bản (text mining) cụ thể là phân lớp văn bản (text classification) Với phương pháp lọc web này: thực hiện khám phá nội dung và phân tích URL với công nghệ khám phá văn bản Nhưng nội dung chủ đạo ứng dụng trong luận văn này là kỹ thuật so sánh hai văn bản 1.4 Ý nghĩa khoa học: Xét về mặt khoa học, đề tài này là một bổ sung... gán vào một số loại nhãn – Yêu cầu đặt ra cho bộ phân lớp văn bản:  Sự phân lớp cứng (Hard Classification): Đối với dạng này hỗ trợ một giá trị trong tập {T, F} nhờ nó chỉ ra cho biết văn bản là thành viên hay không phải thành viên của dj và ci Phương pháp này hữu dụng cho bộ phân lớp độc lập  Sự phân lớp mềm (Soft Classification) hỗ trợ giá trị trong [0,1] nó cho biết cấp độ tin cậy của hệ thống vào . %#(6S..%P.M5(EE6%i6!&(.M#g;DA_•D(GF%¢F@I6.M:7E _A_G%1.y6S.gQ#!I6@%GE@%v(.P!S(iF%i.G%E%7_•D( TUHu:(&DO( %L%7R%N(CDA7E!;#@/.P%1! (&7Q.%B!;.E“Ứng dụng phân loại văn bản xây dựng bộ lọc Web !I]KgDP(6S.HSB'!S( 7E%/#9#[-g1#"#@%pF%%N(%5%Qu:%N(%&'(.MR%O( A5%&_:# . tài: MA(#i7ZEg"!5.!Q6S..iF.E/#(%12#C.%#gQ.7E.%Q. @Q%&'(.MR% S.H[6%%B:DU6A^E!q.%A.%#i..AG7E.%I(%/6.M165( <#.M}DP@Qu:#i7Z%&_:# %&'(8(9#: %&'(0'_VC.%#gQ. %&'(3(%12#7<!; %&'(tKgDP(2(D(‚.%•(%/6‚!G%(G %&'(dQ.#i7E%&-(F%G..MI , Chương 2: CƠ SỞ LÝ THUYẾT 2.1. Khái niệm bộ lọc web: 2.1.1. Bộ lọc web (Web filter): SBTUHEF%"6;6 %2Z(B7EA5SD#(%I.%~.M16S. .MR%D#g/.TUH%:g@%. %v(.(&.:".%Q..%&(@%v(!&X(%5.MA(%N(6•# (#g1H[ 1.8. Sơ lược về phân loại văn bản (text classification): $ *#:%;#Z6&X(.E/#_h% :F%G..MI7&'