nghiên cứu và phát triển hệ thống xây dựng và vận hành tự động webbot thu thập thông tin trên internet để cung ứng các dịch vụ web theo yêu cầu

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN  NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG XÂY DỰNG VÀ VẬN HÀNH TỰ ĐỘNG WEBBOT THU THẬP THÔNG TIN TRÊN INTERNET ĐỂ CUNG ỨNG CÁC DỊCH VỤ WEB THEO YÊU CẦU  TP.HCM, 2008 TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN     NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG XÂY DỰNG VÀ VẬN HÀNH TỰ ĐỘNG WEBBOT THU THẬP THÔNG TIN TRÊN INTERNET ĐỂ CUNG ỨNG CÁC DỊCH VỤ WEB THEO YÊU CẦU   !"#$ Th.S ĐỖ HOÀNG CƯỜNG - Th.S TRẦN MINH TRIẾT NIÊN KHÓA 2005 – 2008 %&' !"#$ ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… Khóa luận đáp ứng yêu cầu của LV cử nhân tin học. TpHCM, ngày …… tháng …… năm 2008 Giáo viên hướng dẫn %&' () * ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… Khóa luận đáp ứng yêu cầu của LV cử nhân tin học. TpHCM, ngày …… tháng …… năm 2008 Giáo viên phản biện +,- Chúng em xin chân thành cảm ơn Khoa Công Nghệ Thông Tin, trường Đại Học Khoa Học Tự Nhiên, Tp.HCM đã tạo điều kiện tốt cho chúng em thực hiện đề tài tốt nghiệp này. Chúng em xin chân thành cảm ơn Thầy Đỗ Hoàng Cường và Thầy Trần Minh Triết những người đã tận tình hướng dẫn, chỉ bảo chúng em trong suốt thời gian thực hiện đề tài. Chúng em cũng xin gửi lời cảm ơn sâu sắc đến quý Thầy Cô trong Khoa đã tận tình giảng dạy, trang bị cho chúng em những kiến thức quí báu trong những năm học vừa qua. Chúng em xin gửi lòng biết ơn sâu sắc đến ba, mẹ, các anh chị và bạn bè đã ủng hộ, giúp đỡ và động viên chúng em trong những lúc khó khăn cũng như trong suốt thời gian học tập và nghiên cứu. Mặc dù chúng em đã cố gắng hoàn thành luận văn trong phạm vi và khả năng cho phép, nhưng chắc chắn sẽ không tránh khỏi những thiếu sót, kính mong sự cảm thông và tận tình chỉ bảo của quý Thầy Cô và các bạn. Nhóm thực hiện Nguyễn Đức Huy & Nguyễn Huy Khánh .!-/ 01234: Nghiên cứu và phát triển hệ thống xây dựng và vận hành tự động WebBot thu thập thông tin trên Internet để cung ứng các dịch vụ web theo yêu cầu 456740189:1;<=1>ThS. Đỗ Hoàng Cường – ThS. Trần Minh Triết 8?4;4@1A8BC84D1: từ ngày 07/12/2007 đến ngày 15/07/2008 E4187401A8BC84D1> Nguyễn Đức Huy (05HC077) – Nguyễn Huy Khánh (05HC087) 6F4G2A34: Tìm hiểu công nghệ và xây dựng ứng dụng H4#I1;234(mô tả chi tiết nội dung đề tài, yêu cầu, phương pháp thực hiện, kết quả đạt được, …): Đây là đề tài thuộc về hướng tìm hiểu công nghệ và phát triển ứng dụng. Đề tài bao gồm các phần sau: • Khảo sát hiện trạng các hệ thống phần mềm thu thập thông tin tự động hiện đang có trên thế giới: @J6K,@L8IJEMN7MN, 4,@CN6L, MKO4MPMO IA6Q@A461, IA6Q@A4611RK8MNM, EPSTJU6NMNIA6Q@A461. • Thông qua việc khảo sát hiện trạng của các hệ thống trên, phân tích các vấn đề cũng như giải pháp về kỹ thuật, công nghệ khi phát triển hệ thống xây dựng và vận hành WebBot o Nêu lên các vấn đề khi xây dựng hệ thống. o Đề ra các giải pháp mang tính kĩ thuật, công nghệ. o Trên cở sở tìm hiểu và phân tích các vấn đề, nhóm sẽ phát triển hệ thống xây dựng và vận hành WebBot thu thập thông tin trên Web. • Trên cơ sở phát triển hệ thống này, nhóm xây dựng website cung cấp dịch vụ web cho phép những website khác đưa lên những thông tin đã được rút trích, thu thập thông tin từ nhiều nguồn khác nhau V6FC88BC4D1: - 07/12/2007 đến 14/12/2007: Khảo sát hiện trạng các chức năng của công cụ rút trích thông tin và các hệ thống so sánh giá hiện có. - 15/12/2007 đến 15/01/2008: Phân tích các yêu cầu, vấn đề, giải pháp khi xây dựng hệ thống. - 16/01/2008 đến 16/02/2008: Tìm hiểu và hoàn tất các yêu cầu về mặt kĩ thuật. - 17/02/2008 đến 31/02/2008: Xây dựng khung chương trình cho hệ thống thu thập thông tin trên Web. - 01/03/2008 đến 13/04/2008: Hoàn thành các chức năng chính của hệ thống. - 14/04/2008 đến 31/04/2008: Nâng cấp, cải thiện hiệu suất tốc độ xử lý - 01/05/2008 đến 11/05/2008: Xây dựng khung chương trình cho hệ thống dịch vụ web - 12/05/2008 đến 31/05/2008: Hoàn thành các chức năng của dịch vụ web - 01/06/2008 đến 22/06/2008: Nâng cấp giao diện và tính tiện dụng của website cung cấp dịch vụ - 23/06/2008 đến 15/07/2008: Hoàn thành toàn bộ chương trình dựa trên qui trình và giải pháp đã xây dựng. %5C18W1CX@# ;3RYA851;Y1ZQ[ E8BC84D1 ,\\ [...]... thành một nhu cầu cấp bách và không thể thiếu được Đây cũng chính là mục tiêu trong đề tài nghiên cứu của chúng em Nội dung đề tài tập trung vào việc nghiên cứu và phát triển hệ thống xây dựng và vận hành tự động WebBot thu thập thông tin trên Internet để cung ứng các dịch vụ web theo yêu cầu Hệ thống này sẽ giúp cho người dùng có thể thu thập nhiều thông tin khác nhau một cách tự động Quá trình thu. .. dựng và vận hành WebBot Xác định các vấn đề khi phát triển hệ thống Đề ra các giải pháp kỹ thu t và công nghệ 14 - Trên các cơ sở tìm hiểu và phân tích, nhóm sẽ phát triển hệ thống vận hành các WebBot Các WebBot này sẽ vận hành để lấy về kết quả là các thông tin mà người dùng yêu cầu và cung cấp dịch vụ trả dữ liệu về theo các yêu - cầu như: SOAP Web Service, REST Web Service, RSS Feed, ATOM Feed Trên. .. thập thông tin sẽ được hệ thống ghi nhận lại dưới tập tin XML được gọi là WebBot Hệ thống sẽ tự động vận hành các WebBot theo một chu kỳ định trước để thu thập các thông tin cần thiết theo yêu cầu của người dùng Đồng thời, hệ thống cung cấp các dịch vụ để truyền dữ liệu đầu ra cho người dùng tại một địa chỉ nhất định theo các định dạng theo yêu cầu của mà người dùng hoặc các hệ thống khác Dựa vào hệ. .. phần tích các vấn đề, đề ra các giải pháp tương ứng cũng như xây dựng nên các qui trình cần thiết cho hệ thống xây dựng và vận hành Robot thu thập thông tin trên web sẽ được trình bày trong chương sau 34 Chương 3 Các vấn đề và giải pháp cho hệ thống xây dựng và vận hành robot thu thập thông tin trên internet  Nội dung chương này sẽ trình bày về các vấn đề cũng như giải pháp khi phát triển hệ thống Từ... thị nộp dung kết quả thực hiện của WebBot Chương 7: Phân hệ WebBot Watcher Nội dung của chương 7 trình bày chi tiết qui trình thực hiện, kiến trúc hệ thống và các tính năng của phân hệ WebBot Watcher cộng với các dịch vụ mà hệ thống này cung cấp trong việc giám sát các yêu cầu thực thi của các WebBot và tự động vận hành các WebBot này khi có yêu cầu Chương 8: Phân hệ WebBot Services Nội dung của chương... động để có thể thực hiện việc rút trích các thông tin cần thiết cũng như tổng hợp thông tin trên web thành các dịch vụ API cung cấp cho người sử dụng hoặc các hệ thống khác 1.3 Mục tiêu của đề tài Đây là đề tài thu c về hướng tìm hiểu công nghệ và phát triển ứng dụng Đề tài hướng vào mục tiêu là chính là hỗ trợ người dùng tạo ra các WebBot tổng hợp thông tin tự động hoặc bán tự động từ các website theo. .. 4: Tổng quan toàn bộ hệ thống Chương 5: Phân hệ WebBot Creator Chương 6: Phân hệ WebBot Online Manager Chương 7: Phân hệ WebBot Watcher Chương 8: Phân hệ WebBot Services Chương 9: Kết luận và hướng phát triển hệ thống Chương 1 Mở đầu  Nội dung của chương này trình bày xu hướng phát triển hiện nay và nhu cầu của việc xây dựng các hệ thống rút trích và tổng hợp thông tin tự trên Internet đồng thời nêu... năng thu thập thông tin một cách tự động ví dụ như robot thu thập nhiều links tìm được trong google, hay thu thập thông tin về các trận đấu bóng đá, thu thập các email mới trong hộp mail yahoo, gmail, thực hiện việc gửi tin nhắn tự động cho danh sách các thu báo từ một hệ thống web của Mobifone hay Vinaphone… Các Robot là một loạt các hành động do người dùng thực hiện và phần mềm RobotMaker của hệ thống. .. trang web phát triển theo Web 2.0 đa phần cung cấp các giao thức truyền thông SOAP hoặc REST để trao đổi thông tin giữa trang web với người dùng hoặc các ứng dụng khác Tuy nhiên không hẳn các dịch vụ mà trang web đó cung cấp đáp ứng đúng nhu cầu của người dùng, hơn nữa các trang Web 1.0 không có các dịch vụ này Vì thế vấn đề đặt ra ở đây là làm thế nào ta có thể thiết kế một Robot tự động hay bán tự động. .. tiết qui trình thực hiện, kiến trúc hệ thống và các tính năng của phân hệ WebBot Services cộng với các dịch vụ mà hệ thống này cung cấp trong việc định dạng các kết quả thực hiện của WebBot và cung cấp các dịch vụ để kết xuất các kết quả này ra bên ngoài theo yêu cầu của người dùng Chương 9: Kết luận Nội dung của chương 9 trình bày các kết quả đạt được và hướng phát triển của đề tài 16 Chương 2 Khảo . Khánh .!-/ 01234: Nghiên cứu và phát triển hệ thống xây dựng và vận hành tự động WebBot thu thập thông tin trên Internet để cung ứng các dịch vụ web theo yêu cầu 456740189:1;<=1>ThS tài nghiên cứu của chúng em. Nội dung đề tài tập trung vào việc nghiên cứu và phát triển hệ thống xây dựng và vận hành tự động WebBot thu thập thông tin trên Internet để cung ứng các dịch vụ web. HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN  NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG XÂY DỰNG VÀ VẬN HÀNH TỰ ĐỘNG WEBBOT THU THẬP THÔNG TIN TRÊN INTERNET ĐỂ CUNG ỨNG CÁC