Xây dựng máy tìm kiếm ảnh dựa trên công nghệ search engines

XÂY DựNG MáY TìM KIếM ảNH DựA TRÊN CÔNG NGHệ SEARCH ENGINES TRờng đại học vinh Khoa công nghệ thông tin === === đồ án tốt nghiệp xây dựng máy tìm kiếm ảnh xây dựng máy tìm kiếm ảnh dựa trên công nghệ search engines dựa trên công nghệ search engines Giáo viên hớng dẫn: ThS. lơng xuân phú Sinh viên thực hiện: Lê Trờng giang Lớp: 46K 2 - CNTT Vinh, 5/2010 = = SVTH: Lê Trờng Giang GVHD: Th.S Lơng Xuân Phú 1 XÂY DựNG MáY TìM KIếM ảNH DựA TRÊN CÔNG NGHệ SEARCH ENGINES LI M U Trong mụi trng cụng ngh thụng tin ngy mt phỏt trin. Chỳng ang tip xỳc vi nhng cụng ngh mi nhng tri thc mi vi nhng k thut tin tiờn. Vỡ vy ngay trong gh nh trng tụi sinh viờn vi s nhit tỡnh ham tỡm hiu di s hng dn tn tỡnh ca quý thy cụ. ang dn hon thin kin thc ca mỡnh v cụng ngh thụng tin cựng cỏc ng dng ca nú . ti thc tp tt nghip l mt cỏch tip cn mc nghiờn cu cho sinh viờn v cụng ngh thụng tin. Trau di nhng kin thc b ớch cho bn thõn. Tụi thc hin tỡm hiu vn ang c s dng rt nhiu bõy gi ú chớnh l cụng ngh tỡm kim. Quỏ trỡnh phõn tớch khụng gp nhiu vn khú khn vỡ yờu cu rừ rng. Nhng quỏ tỡm hiu v code khụng phi l n gin, mc dự code chun ó cú nhng vic tỡm hiu mt chng trỡnh m khụng cú bn modul cng nhng bn mụ t hng dn cng gp nhiu khú khn. Vic s dng ngụn ng C# trong b visual 2008 khụng phi l n gin hn na hiu c Reguler Expression v ỏp dng cho chng trỡnh cng khỏ vt v. Chng trỡnh ch c ng dng mt phn nh trong mt h thng ln. Nhng ú l tim nng cho vic xõy dng mt h thng ln Quỏ trỡnh tỡm hiu nhng vn nờu trờn di s hng dn ca thy Lng Xuõn Phỳ. Ngoi vic tỡm hiu cỏc ti liu chuyờn ngnh tụi cú tỡm hiu thờm cỏc thụng tin trờn mng v trao i thụng tin vi bn bố. Sau quỏ trỡnh tỡm hiu tụi ó cú c nhng kin thc b ớch v lp trỡnh .Net trong b visual 2008, s dng tt hn i vi h c s d liu SQL2005, bit cỏch s dng biu thc chớnh quy (Rexguler Expression). Thu c kt qu nh vy. Tụi xin chõn thnh cm n Khoa cụng ngh thụng tin ó to iu kin cho tụi c tỡm hiu nhng lnh vc trờn. V chõn thnh cm n thy Lng Xuõn Phỳ ó nhit tỡnh giỳp trong thi gian qua. Vinh thỏng 5 nm 2010 Sinh viờn Lờ Trng Giang SVTH: Lê Trờng Giang GVHD: Th.S Lơng Xuân Phú 2 XÂY DựNG MáY TìM KIếM ảNH DựA TRÊN CÔNG NGHệ SEARCH ENGINES MC LC Trang đồ án tốt nghiệp 1 LI M U .2 TNG QUAN V TI .7 1.1. Lý do chn ti .7 1.1. Lý do chn ti .7 1.2. Phng phỏp thc hin ti 7 1.2. Phng phỏp thc hin ti 7 1.3. Cụng c ci t 8 1.3. Cụng c ci t 8 Phn 2 TNG QUAN V SEARCH ENGINES 10 2.1. Thnh phn ca mt c mỏy tỡm kim t ng .11 2.1. Thnh phn ca mt c mỏy tỡm kim t ng .11 2.1.1. B thu thp thụng tin (Robot) 11 2.1.1. B thu thp thụng tin (Robot) 11 2.1.2. B lp ch mc (Index) 11 2.1.2. B lp ch mc (Index) 11 2.1.3. B tỡm kim thụng tin (Search Engine) .11 2.1.3. B tỡm kim thụng tin (Search Engine) .11 2.2. Nguyờn lý hot ng ca Search Engine .12 2.2. Nguyờn lý hot ng ca Search Engine .12 2.3. ng dng ca Robot 13 2.3. ng dng ca Robot 13 2.3.1. Phõn tớch, thng kờ (Statistical Analysis) 13 2.3.1. Phõn tớch, thng kờ (Statistical Analysis) 13 2.3.2. Duy trỡ siờu liờn k (Maintenance) 13 2.3.2. Duy trỡ siờu liờn k (Maintenance) 13 2.3.3. nh x a ch web (Mirroring) .14 2.3.3. nh x a ch web (Mirroring) .14 2.3.4. Phỏt hin ti nguyờn (Resource Discovery) 14 2.3.4. Phỏt hin ti nguyờn (Resource Discovery) 14 2.3.5. Kt hp cỏc cụng dng trờn (Combined uses) .14 2.3.5. Kt hp cỏc cụng dng trờn (Combined uses) .14 2.4. Robot ch mc (Robot Indexing) .14 2.4. Robot ch mc (Robot Indexing) .14 2.5. Cỏc chin lc thu thp d liu .15 SVTH: Lê Trờng Giang GVHD: Th.S Lơng Xuân Phú 3 XÂY DựNG MáY TìM KIếM ảNH DựA TRÊN CÔNG NGHệ SEARCH ENGINES 2.5. Cỏc chin lc thu thp d liu .15 2.5.1. Chin lc tỡm kim theo chiu sõu 16 2.5.1. Chin lc tỡm kim theo chiu sõu 16 Phn 1 Chin lc tỡm kim theo chiu rng .16 Phn 1 Chin lc tỡm kim theo chiu rng .16 2.5.2. Chin lc tỡm kim theo ngu nhiờn .17 2.5.2. Chin lc tỡm kim theo ngu nhiờn .17 2.6. Nhng vn cn lu ý ca web robot .17 2.6. Nhng vn cn lu ý ca web robot .17 2.6.1. Chi phớ v him ho .17 2.6.1. Chi phớ v him ho .17 2.6.2. Quỏ ti mng v server (Network resource and server load) .17 2.6.3. S cp nht quỏ mc (Updating overhead) 18 2.6.4. Nhng tỡnh hung khụng mong i (Bad implementations) 19 2.6.5. Tiờu chun loi tr robot .19 2.6.5. Tiờu chun loi tr robot .19 2.6.5.1. File robot.txt 19 2.6.5.2. Th META dnh cho robot (Robot META tag) 20 2.6.5.3. Nhc im ca file robot.txt 21 Phn 3 MY TRUY TèM D LIU 22 3.1. Cỏc thut ng liờn quan 24 3.1. Cỏc thut ng liờn quan 24 3.2. Hot ng phõn hng cỏc trang Web 24 3.2. Hot ng phõn hng cỏc trang Web 24 3.2.1. Nhng tiờu chớ quan trng dựng trong phõn hng 25 3.2.1. Nhng tiờu chớ quan trng dựng trong phõn hng 25 3.2.2. K thut nõng cao th hng cho mt trang Web 26 3.2.2. K thut nõng cao th hng cho mt trang Web 26 3.3. Phõn loi mỏy truy tỡm .28 3.3. Phõn loi mỏy truy tỡm .28 Phn 4 MY TèM KIM CRAWPHOTO 31 4.1. c t mỏy tỡm kim .31 4.1. c t mỏy tỡm kim .31 4.2. Cu trỳc craw photo 32 4.2. Cu trỳc craw photo 32 4.2.1. Thut toỏn khi to link .33 4.2.1. Thut toỏn khi to link .33 4.2.2. Thut toỏn Tỡm link 35 SVTH: Lê Trờng Giang GVHD: Th.S Lơng Xuân Phú 4 XÂY DựNG MáY TìM KIếM ảNH DựA TRÊN CÔNG NGHệ SEARCH ENGINES 4.2.2. Thut toỏn Tỡm link 35 4.2.3. Thut toỏn download 37 4.2.3. Thut toỏn download 37 .38 .38 4.3. Cỏc bng d liu .39 4.3. Cỏc bng d liu .39 4.3.1. Bng link khi to cho vic tỡm link nh (Craw_UrlStart) .39 4.3.1. Bng link khi to cho vic tỡm link nh (Craw_UrlStart) .39 4.3.2. Bng qun lý cỏc chuyờn mc nh (Category) .39 4.3.2. Bng qun lý cỏc chuyờn mc nh (Category) .39 4.3.3. Bng link nh sau khi tỡm (UrlPhoto) 40 4.3.3. Bng link nh sau khi tỡm (UrlPhoto) 40 4.3.4. Bng qun lý album nh (Album) .40 4.3.4. Bng qun lý album nh (Album) .40 4.3.5. Bng qun lý nh (Photo) .41 4.3.5. Bng qun lý nh (Photo) .41 4.4. Lc quan h .41 4.4. Lc quan h .41 Phn 5 MT S GIAO DIN 43 5.1. Giao din thụng tin v chng trỡnh 43 5.1. Giao din thụng tin v chng trỡnh 43 43 43 5.2. Giao din khi to link v h tr ngi dựng .44 5.2. Giao din khi to link v h tr ngi dựng .44 5.3. Giao din Crawler link nh .44 5.3. Giao din Crawler link nh .44 5.4. Giao din download nh .45 5.4. Giao din download nh .45 KT LUN V KIN NGH .46 1. Kt lun 46 1. Kt lun 46 Kt qu .46 Kt qu 46 Hn ch 46 Hn ch .46 2. Kin ngh 47 2. Kin ngh 47 SVTH: Lê Trờng Giang GVHD: Th.S Lơng Xuân Phú 5 X¢Y DùNG M¸Y T×M KIÕM ¶NH DùA TR£N C¤NG NGHÖ SEARCH ENGINES TÀI LIỆU THAM KHẢO .46 SVTH: Lª Trêng Giang GVHD: Th.S L¬ng Xu©n Phó 6 XÂY DựNG MáY TìM KIếM ảNH DựA TRÊN CÔNG NGHệ SEARCH ENGINES Phn 1 TNG QUAN V TI 1.1. Lý do chn ti Di s bựng n thụng tin ngy mt nhiu. Nhu cu thụng tin cng ngy cng cao. Internet vi rt nhiu cỏc dch v v cụng c h tr ngi dựng. Trong ú cụng c tỡm kim l cụng c h tr ngi dựng nhiu nht v ỏp ng c hu ht cỏc yờu cõu v thụng tin v nhiu lnh vc khỏc. Vi mc ớch tỡm hiu v cụng ngh tỡm kim v cỏc phng phỏp tỡm kim nh cho cỏc trang web ln ch ng v ngun m khụng ph thuc trờn internet. Do vy tụi chn ti XY DNG MY TèM KIM NH DA TRấN CễNG NGH SEARCH ENGINES cú th gi n gin l mỏy tỡm kim nh. tỡm hiu mt phn no ú cỏch thc hot ng ca cỏc mỏy tỡm kim ln ang hot ng nh Google, Bing, Ask hay yahoo. Ngoi ra mỏy tỡm kim nh c s to ngun vo cỏc server khỏc. Trong quỏ trỡnh xõy dng phn gii trớ m c bit l phc ph nhu cu hỡnh nh v cỏc lnh vc cho ngi dựng, tng tớch hp dn v thu hỳt cho khỏch hng v cỏc thnh viờn trong cng ng internet. Thỡ ngun nh phi thc s phong phỳ. Vỡ vy vic tỡm ngun nh l rt cn thit. Trong khi ú nu ch vic tỡm kim nh bng tay cú ngha nu ngi qun tr chuyờn mc s dng cỏc cụng c tỡm kim trờn internet nh google, bing, ask hay yahoo mt nhiu thi gian. Do vy vic xõy dng mt chng trỡnh tỡm kim nh t ng l cn thit. Sau ú ngi qun tr ch vic biờn tp li nh v post lờn trờn website riờng. 1.2. Phng phỏp thc hin ti Do bi toỏn cú tớnh c thự riờng nờn vic tip cn phõn tớch theo tin trỡnh xõy dng bi toỏn. Tỡm hiu v cụng ngh Search engines. SVTH: Lê Trờng Giang GVHD: Th.S Lơng Xuân Phú 7 XÂY DựNG MáY TìM KIếM ảNH DựA TRÊN CÔNG NGHệ SEARCH ENGINES Tỡm hiu v cỏch thc hot ng ca mỏy tỡm kim. Tỡm hiu v cu trỳc mỏy tỡm kim . Tỡm hiu cỏch thc xõy dng mỏy tỡm kim Tỡm hiu cỏc cụng c h tr xõy dng mỏy tỡm kim Tỡm hiu c trng riờng ca mỏy tỡm kim nh v cu trỳc v vic xõy dng. Xõy dng mỏy tỡm kim da trờn nhng kin thc c bn v cỏc cụng c phn mm h tr ó bit v nhng cụng c mi b sung phi cú thi gian u t. Bi toỏn c ci t trờn ngụn ng lp trỡnhc.Net vi nn tng C# v s dng h qun tr c s d liu SQL2005. Phn quan trng ca chng trỡnh l biu thc chớnh quy Rexguler Experssion. Giỳp cho vic phõn tỏch cỏc chui liờn kt t ú a ra c link nh. T ú mỏy tỡm kim cú th download nh v mỏy chy robot. 1.3. Cụng c ci t - B Visual Studio 2008 Cụng c lp trỡnh to ra mỏy tỡm kim nh Crawler Photo, Vi vic to cỏc ỏn riờng bit v h tr cỏc phng thc thc hiờn thao tỏc vo ra c s d liu v cỏc th vin phong phỳ. Giỳp lp trỡnh viờn gim c nhiu thi gian hn trong quỏ trỡnh code v tng tớnh cng cỏc thao tỏc can thip vo h thng n gin hn. - H qun tr c s d liu SQL2005 H qun tr c s d liu 2005 l mt h qun tr mi nhanh chúng thay th cỏc h qun tr khỏc bi tớnh tin dng trong cỏc thao tỏc d liu, ớt li truy xut nhanh. Cú tớnh bo mt cao hn v vic to ra cỏc th tc thao tỏc vi c s d liu lm tng tớnh trong sut d liu i vi ngi dựng v giỳp tinh lc SVTH: Lê Trờng Giang GVHD: Th.S Lơng Xuân Phú 8 X¢Y DùNG M¸Y T×M KIÕM ¶NH DùA TR£N C¤NG NGHÖ SEARCH ENGINES nhiều thao tác trong quá trình tương tác với cở sở dữ liệu và có tính bảo mật cao do dễ dàng viết các thủ tục truy xuất dữ liệu. - Biểu thức chính quy (Rexgulre Experssion.) Việc xây dựng máy tìm kiếm không thể thiếu biểu thức chính quy. Biểu thức chính quy giúp việc lọc các link kết nối trong các trang do máy tìm kiếm duyệt qua. Từ các link kết nối này máy tìm kiếm tiếp tục tìm kiếm các link có liên quan và tìm các link ảnh. Làm cở sở để thực hiện quá trình download ảnh về server hoặc về máy chạy dịch vụ. SVTH: Lª Trêng Giang GVHD: Th.S L¬ng Xu©n Phó 9 XÂY DựNG MáY TìM KIếM ảNH DựA TRÊN CÔNG NGHệ SEARCH ENGINES Phn 2 TNG QUAN V SEARCH ENGINES Crawler-Based Search Engines - H thng tỡm kim trờn nn t ng Nhng c mỏy tỡm kim t ng, nh Google, Bing hay Yahoo to ra nhng danh sỏch ca h t ng. Chỳng s dng cỏc chng trỡnh mỏy tớnh, c gi l robots, spiders, hay crawlers ln tỡm thụng tin trờn mng. khi cú ai ú tỡm kim mt thụng tin, Search Engine lp tc hin th cỏc thụng tin lu tr tng ng. Nu nhng trang web thay i, nhng c mỏy tỡm kim t ng dn dn tỡm thy nhng s thay i ny, v iu ú cú th nh hng n bn c lit kờ nh th no. Nhng tiờu trang, ni dung vn bn v cỏc phn t khỏc u gi mt vai trũ nht nh. Human-Powered Directories - Cỏc th mc do con ngi qun lý v cp nht Cỏc th mc Internet - vớ d nh D ỏn th mc m - Open Directory Project (Dmoz.org) hũan ton ph thuc vo s qun lý ca con ngi. Bn ng ký website ca bn vo th mc vi mt vi dũng mụ t ngn gn hoc cỏc biờn tp viờn ca th mc vit giỳp phn mụ t cho bn - chỳng phự hp vi ni dung v ch ca tng danh mc. Vic thay i nhng trang web ca cỏc bn khụng cú hiu lc trờn danh mc ca cỏc bn. Nhng th hu ớch ci thin v trớ xp hng vi mt c mỏy tỡm kim khụng cú gỡ lm vi vic ci thin mt v trớ trong mt th mc. Ngoi l duy nht l mt site tt, vi ni dung tt, cú l thớch hp hn c xem xột so vi mt website nghốo nn. SVTH: Lê Trờng Giang GVHD: Th.S Lơng Xuân Phú 10 . XÂY DựNG MáY TìM KIếM ảNH DựA TRÊN CÔNG NGHệ SEARCH ENGINES TRờng đại học vinh Khoa công nghệ thông tin === === đồ án tốt nghiệp xây dựng máy tìm kiếm. tốt nghiệp xây dựng máy tìm kiếm ảnh xây dựng máy tìm kiếm ảnh dựa trên công nghệ search engines dựa trên công nghệ search engines Giáo viên hớng dẫn: ThS.