Nghiên cứu và đề xuất giải pháp tích hợp các cơ sở dữ liệu phân tán trên môi trường internet

Đồ án tốt nghiệp MỤC LỤC LỜI CẢM ƠN MỞ ĐẦU CHƢƠNG 1: GIỚI THIỆU CHUNG 1.1 ĐẶT VẤN ĐỀ 1.1.1 Bài tốn tích hợp liệu: 1.1.2 Vấn đề tích hợp 1.2 TỔNG QUAN VỀ TÍCH HỢP DỮ LIỆU 1.2.1 Khái niệm tích hợp liệu 1.2.2 Các mức độ tích hợp liệu 1.2.2 Các phƣơng pháp tích hợp liệu CHƢƠNG 2: GIẢI PHÁP TÍCH HỢP CÁC CSDL 11 2.1 MỘT SỐ CÔNG NGHỆ XỬ LÝ CSDL TRÊN MÔI TRƢỜNG MẠNG 11 2.1.1 Một số phƣơng pháp truyền thống khai thác liệu dựa Web 11 2.1.1.1 Phƣơng pháp Java Socket 11 2.1.1.2 Phƣơng pháp Servlets Java 12 2.1.1.3 Phƣơng pháp RMI 13 2.1.1.4 Phƣơng pháp CORBA 14 2.1.2 Phƣơng pháp khai thác liệu dựa Web service 16 2.1.2.1 HTTP (Hypertext Transfer Protocol) 20 2.1.2.2 SOAP (Simple Object Access Protocol) 21 2.1.2.3 XML (eXtensible Markup Language) 21 2.1.2.4 Khai thác Web Service 23 2.2 XÂY DỰNG KHO DỮ LIỆU 25 2.2.1 Khái niệm: 25 2.2.2 Các kiến trúc liệu nghiệp vụ 28 Mai Quang Huy CT1002 Trang Đồ án tốt nghiệp 2.2.3 Tiêu chuẩn cho phân loại liệu nghiệp vụ 30 2.2.3.1 Khả sử dụng liệu nghiệp vụ: 31 2.2.3.2 Phạm vi liệu: 31 2.2.3.3 Dữ liệu đọc - ghi liệu đọc: 31 2.2.3.4 Thời gian hành liệu: 31 2.2.4 Kỹ thuật thiết kế 32 2.2.4.1 Lập mô hình tổ chức: 32 2.2.4.2 Biểu diễn thời gian liệu nghiệp vụ: 32 2.2.4.3 Dữ liệu lịch sử: 33 2.2.4.4 Nhân liệu: 33 CHƢƠNG 3: THỬ NGHIỆM TÍCH HỢP DỮ LIỆU VỀ CÁC CẦU TRÊN QUỐC LỘ 35 3.1 MƠ TẢ BÀI TỐN 35 3.2 TRUY CẬP CƠ SỞ DỮ LIỆU TẠI CÁC KHU QUẢN LÝ ĐƢỜNG BỘ 35 3.3 XÂY DỰNG WEB SERVICE 39 3.4 TIÊU THỤ WEB SERVICE 39 KẾT LUẬN 45 TÀI LIỆU THAM KHẢO 46 Mai Quang Huy CT1002 Trang Đồ án tốt nghiệp LỜI CẢM ƠN Lời em xin gửi lời cảm ơn chân thành tới TS Phùng Văn Ổn dành nhiều thời gian q báu để tận tình trực tiếp hƣớng dẫn, bảo định hƣớng cho em suốt thời gian hoàn thành đồ án Em xin bày tỏ lịng biết ơn tới thầy giáo Khoa Cơng Nghệ Thông Tin – Trƣờng Đại học Dân Lập Hải Phòng truyền đạt cho em kiến thức, kinh nghiệm quý báu suốt thời gian học tập trƣờng Em xin chân thành cảm ơn bạn bè gia đình, ngƣời thân u ln ln bên khuyến khích, động viên ủng hộ em học tập nhƣ sống Do thời gian trình độ có hạn nên đồ án khơng thể tránh khỏi thiếu sót Rất mong nhận đƣợc đóng góp ý kiến thầy giáo, bạn bè, quý vị quan tâm tới vấn đề để đồ án đƣợc hoàn thiện Trân trọng cảm ơn! Hải Phòng, tháng năm 2010 Mai Quang Huy Mai Quang Huy CT1002 Trang Đồ án tốt nghiệp MỞ ĐẦU Sự phát triển công nghệ thông tin việc ứng dụng công nghệ thông tin nhiều lĩnh vực đời sống, kinh tế xã hội nhiều năm qua đồng nghĩa với lƣợng liệu đƣợc quan thu thập lƣu trữ ngày tích lũy nhiều lên Trong khối lƣợng liệu ngày phát triển với tốc độ chóng mặt phân tán khắp nơi hệ thống cần số thông tin, liệu định phù hợp với yêu cầu riêng hệ thống nhiều trƣờng hợp để xây dựng hệ thống cần đến thông tin, liệu từ nhiều nguồn khác Xuất phát từ thực tế dẫn đến u cầu phải có phƣơng pháp tích hợp thơng tin, liệu từ nguồn khác để sử dụng tối ƣu thông tin, liệu cần thiết quan trọng sử dụng thơng tin, liệu hệ thống khác Xuất phát từ vấn đề nêu em chọn đề tài: “ Nghiên cứu đề xuất giải pháp tích hợp CSDL phân tán mơi trƣờng Internet.” với mục đích xây dựng giải pháp tích hợp liệu giúp ích công tác quản lý liệu phục vụ lĩnh vực quản lý Đồ án đƣợc chia thành ba chƣơng chính: Chƣơng 1: Trình bày khía cạnh tích hợp liệu cách tồng quan nhất, phƣơng pháp tích hợp liệu Chƣơng 2: Trình bày giải pháp tích hợp liệu Chƣơng 3: Thử nghiệm tích hợp liệu cầu quốc lộ Cuối cùng, phần kết luận trình bày số kết đạt đƣợc hạn chế đồ án Mai Quang Huy CT1002 Trang Đồ án tốt nghiệp CHƢƠNG 1: GIỚI THIỆU CHUNG 1.1 ĐẶT VẤN ĐỀ 1.1.1 Bài tốn tích hợp liệu: Vấn đề tổng hợp thông tin, đồng liệu từ nguồn liệu có sẵn nhu cầu khơng thể thiếu hệ thống thông tin Xuất phát từ yêu cầu em nghiên cứu công nghệ để thực yêu cầu đồ án Với bối cảnh chung phát triển công nghệ thông tin nƣớc, quan thƣờng đầu tƣ phát triển hạ tầng sở viễn thông phần mềm ứng dụng theo nhu cầu quan đó, giai đoạn đầu đáp ứng đƣợc yêu cầu đặt nhƣng đến lúc cần có kết hợp chia sẻ thơng tin hệ thống khơng đáp ứng đƣợc u cầu khơng đáp ứng đẩy đủ Nếu đầu tƣ từ đầu vừa lãng phí, vừa khó khai thác thơng tin tích lũy nhiều năm qua Vậy phải có cách cho phép hệ thống có hoạt động bình thƣờng mà trao đổi thông tin với hệ thống cũ khác Trên thực tế toán đƣợc giải theo nhiều mức độ khác tùy vào mơ hình tốn hỗ trợ công nghệ thời Mỗi công nghệ thời điểm hỗ trợ giải lớp toán đó, sau thời gian lại trở lên lạc hậu, không đáp ứng đƣợc yêu cầu công việc Thế thì, tiêu chí cần bổ sung để từ ta lựa chọn giải pháp giải đƣợc yêu cầu thay đổi theo thời gian hay cụ thể phụ thuộc vào thay đổi hạ tầng viễn thông Qua tổng hợp cơng nghệ có, ta cần dựa vào số tiêu chí nhƣ sau: Yêu cầu thực tế tổ chức Các cơng nghệ thời dùng để giải tốn Tài tổ chức Các chuẩn trao đổi thơng tin đƣợc chuẩn hóa thành chuẩn quốc tế, đƣợc nhiều hãng hỗ trợ Mai Quang Huy CT1002 Trang Đồ án tốt nghiệp Chọn lựa giao thức truyền thông không phụ thuộc vào tảng sở viễn thông phần mềm 1.1.2 Vấn đề tích hợp Khi nói đến tích hợp liệu hình dung đến việc tổng hợp thơng tin từ nguồn liệu có sẵn hệ thống khác hay hệ thống thành nguồn liệu dùng cho hệ thống để lƣu trữ… Vậy, công việc đƣợc thực nào? Trình tự sao? Đối với nội dung đồ án em đƣa số vấn đề nghiên cứu nhƣ: Cách khai thác vận chuyển thông tin từ sở liệu quan quản lý chuyên ngành chuyển Trung tâm tích hợp liệu Xây dựng kho lƣu trữ thơng tin 1.2 Tổng quan tích hợp liệu 1.2.1 Khái niệm tích hợp liệu Tích hợp liệu khái niệm trừu tƣợng chí mơ hồ khiến nhiều ngƣời khơng thể định nghĩa đƣợc xác cụ thể, thơng thƣờng tích hợp liệu đƣợc hiểu q trình kết hợp liệu từ nguồn thơng tin khác nhằm cung cấp cho ngƣời dùng nhìn tổng quan liệu Các đặc điểm hệ thống tích hợp liệu bao gồm: Các nguồn liệu phân tán Các nguồn liệu CSDL hệ thống khác nhau, trang Web địa khác nhau, ngƣời với quan điểm khác vấn đề Các nguồn liệu không đồng Sự không đồng thể ngôn ngữ biểu diễn từ vựng biểu diễn liệu Các nguồn liệu có ngơn ngữ biểu diễn khác nhau, ví dụ CSDL nguồn đƣợc biểu diễn theo dạng XML Mai Quang Huy CT1002 Trang Đồ án tốt nghiệp nhƣng nguồn liệu khác lại đƣợc biểu diễn theo CSDL quan hệ Các nguồn liệu sử dụng từ vựng khác để biểu diễn liệu Một hệ tích hợp liệu thƣờng khơng cần tồn thơng tin liệu nguồn cần tích hợp Với nhiệm vụ cụ thể, hệ thống cần liệu liên quan đến việc thực nhiệm vụ Nhƣ tập hợp toàn nguồn liệu vào hệ thống trƣớc tích hợp lãng phí nhiều khơng thể thực đƣợc Với đặc điểm nhƣ trên, việc xây dựng hệ tích hợp liệu yêu cầu kiến thức nhiều lĩnh vực khác nhƣ lý thuyết CSDL, phƣơng pháp ƣớc lƣợng, lý thuyết ngôn ngữ biểu diễn thơng tin, 1.2.2 Các mức độ tích hợp liệu Theo Khaled Bashir Shaban, tích hợp liệu đƣợc chia thành ba mức dựa đặc điểm đầu vào đầu q trình tích hợp nhƣ sau: Mức 1: Tích hợp liệu (Data Fusion) Đây mức thấp Trong mức này, đầu vào ghi liệu Đầu có dạng ghi dạng cao nhƣng đóng vai trị liệu cung cấp cho ứng dụng Mức 2: Tích hợp thơng tin (Information Fusion) Trong mức này, đầu vào đầu q trình tích hợp thơng tin, tức cấu trúc đầy đủ, tập hợp từ ghi liệu Mức xảy với hệ thống nhiều nguồn liệu mà cấu trúc nguồn liệu khác nguồn thông tin tách từ nguồn khác Mức 3: Tích hợp định (Decision Fusion) Đây mức tích hợp thơng tin liệu cao Đầu vào hệ thống thông tin, liệu, định (đƣợc biểu diễn theo dạng cụ thể đó) từ hệ thống khác Nhiệm vụ hệ tích hợp liệu mức phải đƣa tập định phục vụ yêu cầu đặt hệ thống Có thể nói tích hợp định phục vụ yêu cầu đặt hệ thống, tích hợp định mức trừu tƣợng cao hai mức trƣớc, bao hàm hai mức Một điểm khác nữa, nhƣ mức mức có Mai Quang Huy CT1002 Trang Đồ án tốt nghiệp trƣờng hợp trình tích hợp thơng tin liệu khơng thực đƣợc (do khơng thỏa mãn điều kiện đó) mức ln đƣợc thực không phụ thuộc vào chất đặc điểm nguồn liệu Tuy chia làm ba mức nhƣ nhƣng thực tế hệ tích hợp liệu thƣờng có đủ ba mức Các mức thấp, đó, làm sở cho mức cao 1.2.3 Các phƣơng pháp tích hợp liệu Nhu cầu tích hợp liệu hệ thống, môi trƣờng Internet lớn Nhiều nghiên cứu tích hợp liệu đƣợc tiến hành Các nghiên cứu đƣa loạt phƣơng pháp tích hợp liệu, phƣơng pháp lại phù hợp với dạng hệ thống (và nguồn liệu) cụ thể Trong phần trình bày số phƣơng pháp tích hợp liệu theo cách phân loại dựa kỹ thuật tích hợp 1.2.3.1 Tích hợp liệu dựa ƣớc lƣợng không chắn Hiểu cách đơn giản, tích hợp liệu dựa ƣớc lƣợng khơng chắn phƣơng pháp tính tốn độ phù hợp liệu thu thập đƣợc với yêu cầu ngƣời dùng ứng dụng cụ thể, sau chọn liệu có độ phù hợp cao Để tính tốn độ phù hợp, phƣơng pháp thuộc dạng sử dụng ƣớng lƣợng khơng chắn Trong ứng dụng tìm kiếm truy xuất thông tin liệu Web quen thuộc nhƣ Yahoo, Google, Alta Vista độ phù hợp thơng tin liệu đƣợc tính qua hai tham số độ xác (precision) khả thu hồi (recall) Từ u cầu tìm kiếm thơng tin ngƣời dùng, hai tham số đƣợc tính tốn Độ xác thay cho văn phù hợp với ngƣời dùng tập văn ban đầu Khả thu hồi thay cho phần phù hợp bên văn tìm đƣợc Kết trả dựa hai tham số Một phƣơng pháp tích hợp liệu khác sử dụng hệ đa agent Với mục đích tích hợp truy xuất nguồn thông tin liệu Internet nhằm tìm thơng tin liệu phù hợp với ngƣời dùng, hệ tích hợp liệu đƣợc tổ chức thành nhóm agent khác nhau, agent có chức thu thập thơng tin nguồn định Mai Quang Huy CT1002 Trang Đồ án tốt nghiệp Phƣơng pháp tích hợp liệu đƣợc đƣa tổ chức agent thành nhóm đồng hƣớng (team consensus) bao gồm agent thu thập liệu cho yêu cầu ngƣời dùng Các agent nhóm thu thập liệu từ nguồn sau liệu đƣợc ƣớc lƣợng giá trị theo phƣơng pháp ƣớc lƣợng không chắn (ƣớc lƣợng mờ) dựa điều kiện khơng chắn agent Cuối cùng, giá trị liệu đƣợc tính toán, so sánh lựu chọn theo thuật toán tích hợp hệ thống đƣa định lựu chọn liệu phù hợp với ngƣời dùng Nói chung, phƣơng pháp tích hợp liệu sử dụng ƣớc lƣợng khơng chắn cần thuật tốn tích hợp liệu phức tạp Mặt khác, việc tính tốn độ phù hợp liệu chƣa tính đến không đồng ngữ nghĩa thông tin liệu Theo nhận định Morgan Benton Benjamin K.Ngugi phƣơng pháp tính tốn độ phù hợp dựa hai độ đo: độ phù hợp khả thu hồi có chất so sánh bit, khơng so sánh đƣợc ngữ nghĩa thơng tin liệu 1.2.3.2 Tích hợp liệu dựa ràng buộc liệu Một dạng phƣơng pháp tích hợp liệu khác dựa ràng buộc liệu Các phƣơng pháp thuộc dạng đƣợc áp dụng cho hệ thống bao gồm nguồn liệu biểu diễn dƣới dạng hệ CSDL cấu trúc, ràng buộc hệ CSDL biết đƣợc Mục đích hệ thống trả lời truy vấn ngƣời dùng thông tin liệu nhiều nguồn khác mà không cấn truy nhập trực tiếp vào tất nguồn thông tin Tiêu biểu cho phƣơng pháp tích hợp liệu thuộc loại phƣơng pháp dùng cho hệ thống IBIS (Internet_base Information System) Phƣơng pháp tích hợp liệu đƣợc đƣa dựa ba lƣợc đồ (G, S, M) đƣợc xây dựng từ nguồn thông tin liệu cần tích hợp: Lƣợc đồ tồn cục (global schema) G: giống nhƣ lƣợc đồ quan hệ lý thuyết CSDL, mô tả ràng buộc quán, ràng buộc khóa yêu cầu tính độc lập nguồn thơng tin liệu Mai Quang Huy CT1002 Trang Đồ án tốt nghiệp Lƣợc đồ liệu (source schema) S: Mô tả cấu trúc tập nguồn liệu cần tích hợp hệ thống Các ánh xạ M: bao gồm ánh xạ đƣợc thiết lập lƣợc đồ toàn cục lƣợc đồ nguồn liệu Trên sở xem xét ràng buộc đƣợc định nghĩa G cấu trúc biểu diễn S, ngƣời thiết kế hệ thống xác định ánh xạ tƣơng ứng thực thể liệu nguồn liệu (ở CSDL) Phƣơng pháp có ƣu điểm biểu diễn đƣợc ngữ nghĩa thông tin liệu thông qua ba (G, S, M) nhƣng nhƣợc điểm cần biết cấu trúc ràng buộc CSDL hệ thống Điều lúc thực đƣợc 1.2.3.3 Tích hợp liệu tự động dựa ontology Nhiều nghiên cứu khác khẳng định phƣơng pháp tích hợp liệu dựa ontology có số ƣu điểm so với hai dạng phƣơng pháp trình bày Thay sử dụng ƣớc lƣợng khơng chắn lƣợc đồ CSDL, phƣơng pháp dựa ontology sử dụng cấu trúc phân lớp khái niệm, thuật ngữ quan hệ khái niệm gọi ontology để biểu diễn nguồn liệu cần tích hợp (cả nội dung ngữ nghĩa thông tin liệu) Thông qua tƣơng tác thành phần dựa ontology, liệu từ nguồn đƣợc tích hợp Vì ontology biểu diễn ngữ nghĩa thông tin liệu thông qua khái niệm câc mối quan hệ khái niệm nên phƣơng pháp tích hợp liệu dựa ontology giải đƣợc vấn đề không đồng ngữ nghĩa thông tin liệu Q trình tích hợp liệu diễn cách tự động thông qua việc xác định ánh xạ tƣơng đƣơng không tƣơng đƣơng khái niệm ontology khác Có nhiều nghiên cứu khác tích hợp liệu dựa ontology hệ đa agent Trong nghiên cứu này, Agustina Buccella H.Stuckenschmidt xây dựng phƣơng pháp tích hợp liệu sử dụng từ vựng chung (shared vocalbulary) cịn Soe-Tsyr Yuan xây dựng phƣơng pháp tích hợp liệu sử dụng agent trung gian Mai Quang Huy CT1002 Trang 10 Đồ án tốt nghiệp Dữ liệu hành thể tình trạng nghiệp vụ, thƣờng tồn thời gian ngắn thay đổi theo thời gian, theo hoạt động nghiệp vụ Nó biểu diễn xác tình trạng thời nghiệp vụ Dữ liệu thời điểm hình ảnh ổn định của liệu nghiệp vụ thời điểm cụ thể, phản ảnh trạng thái nghiệp vụ thời điểm Dữ liệu định kỳ: Xác định hình ảnh xác nghiệp vụ thay đổi khoảng thời gian 2.2.4 Kỹ thuật thiết kế Thiết kế kho liệu đòi hỏi nhiều kỹ thuật, cần thiết kỹ thuật xuất phát từ ba đặc điểm kho liệu: Phạm vi kho liệu bao gồm toàn tổ chức Kho liệu lƣu trữ liệu nghiệp vụ có tính chất lịch sử Nguồn tất liệu kho liệu có, có khả phân tán, thay đổi cấu trúc, nội dung chất lƣợng biến đổi Các đặc điểm trực tiếp dẫn tới kỹ thuật thiết kế đƣợc mơ tả dƣới đây: 2.2.4.1 Lập mơ hình tổ chức: Mục đích phần cung cấp hình ảnh xác khía cạnh giới thực phạm vi Nó giúp ngƣời sử dụng mơ hình hiểu rõ đối tƣợng đƣợc lập mơ hình hoạt động nhƣ khả dự đoán kết hoạt động bên môi trƣờng nhƣ ảnh hƣởng thay đổi tới 2.2.4.2 Biểu diễn thời gian liệu nghiệp vụ: Do nghiệp vụ thay đổi theo thời gian nên liệu nghiệp vụ phải thể thay đổi Tauzovich (1991) đề nghị đƣa vào số snapshot lifetime để biểu diễn cách nhìn tĩnh cách nhìn theo thời gian Lý khác biệt Snapshot lifetime kiện xảy ảnh hƣởng đến mối quan hệ thực thể Trong mơ hình liệu truyền thống khơng có vị trí rõ ràng thể kiện Một phƣơng pháp gắn nhãn thời gian (timestamp), thực tế phƣơng pháp đƣợc sử dụng rộng rãi Thƣờng liệu thay đổi mức trƣờng (field), nên biểu diễn thời Mai Quang Huy CT1002 Trang 32 Đồ án tốt nghiệp gian mức hay mức cao cấu trúc nhƣ ghi tùy theo yêu cầu chi tiết Cách nhìn liệu thời gian dựa rên trạng thái, hay sở liệu trạng thái bao gồm chuỗi ghi đƣợc gắn nhãn thời gian, ghi thể trạng thái thực thể thời điểm Thông thƣờng hệ tác nghiệp thời điểm đƣợc chọn thời điểm sau xảy kiện dẫn tới việc cập nhật sở liệu Thí dụ: Quản lý tài khoản ngân hàng,… 2.2.4.3 Dữ liệu lịch sử: Yêu cầu truy cập liệu lịch sử động xây dựng kho liệu Cụ thể hơn, liệu lịch sử đóng vai trị quan trọng kho liệu đƣợc dùng để phân tích xu hƣớng nghiệp vụ hay phân tích mẫu, thƣờng tập trung vào phần liệu đặc biệt tổ chức Dữ liệu lịch sử ngày quan trọng kho sữ liệu tổ chức cung cấp hồ sơ rõ ràng nghiệp vụ Có hai vấn đề địi hỏi việc trì hồ sơ lịch sử nghiệp vụ: Xem xét nghiệp vụ thời điểm bất kỳ: Ngƣời sử dụng cuối cần xem xét nghiệp vụ thời điểm khác nhau, thời điểm có vai trị quan trọng nghiệp vụ Ví dụ: Thời điểm đóng thuế, giao dịch ngân hàng,… Phân tích xu hướng nghiệp vụ: Phân tích xu hƣớng nghiệp vụ q trình nghiên cứu khác biệt chuỗi thời điểm xem xét Ví dụ: Kết kinh doanh hàng tháng đƣợc lƣu trữ để phân tích xu hƣớng kinh doanh công ty 2.2.4.4 Nhân liệu: Việc nhân liệu có đặc điểm sau: Kiểm sốt: Nhân liệu phải đảm bảo tính quán kết quả, liệu đƣợc chép hay sử dụng vào mục đích Quản lý: Cung cấp khả xây dựng sử dụng lại chức Mềm dẻo: Cho phép kết hợp chức kỹ thuật cần thiết Bảo trì dễ dàng: Cho phép đáp ứng nhanh chóng có hiệu có thay đổi cấu trúc vị trí tập liệu nguồn đích Mai Quang Huy CT1002 Trang 33 Đồ án tốt nghiệp Tích hợp siêu liệu: Cung cấp kết nối với siêu liệu liệu nguồn liệu đích, sử dụng tạo siêu liệu cần thiết Hiệu quả: Cung cấp cách thức hỗ trợ nguồn liệu lớn nhiều mức đồng Các nguồn đa dạng: Hỗ trợ nhiều nguồn liệu, đặc điểm hệ thống thông tin ngày Dễ dàng sử dụng: Ngƣời sử dụng với kỹ kỹ thuật khác từ ngƣời sử dụng cuối thông thƣờng tới ngƣời quản trị sở liệu sử dụng cơng cụ Phạm vi nghiệp vụ: Lƣu giữ mối quan hệ đƣợc tiến trình nghiệp vụ tạo lên nhân liệu Các đặc điểm nêu yếu tố để xây dựng kho liệu Mỗi kỹ thuật xác định nhu cầu quan trọng tồn thiết kế Mơ hình liệu tổ chức hỗ trợ cách nhìn chung liệu để hiểu, thực quản lý nghiệp vụ tƣơng lai Kỹ thuật biểu diễn liệu theo chiều thời gian dẫn đến khả lƣu trữ liệu lịch sử, có nhiều tiến trình nghiệp vụ tổ chức sử dụng Mai Quang Huy CT1002 Trang 34 Đồ án tốt nghiệp CHƢƠNG : THỬ NGHIỆM TÍCH HỢP DỮ LIỆU VỀ CÁC CẦU TRÊN QUỐC LỘ 3.1 Mơ tả tốn Bộ giao thông vận tải quan áp dụng nhiều giải pháp công nghệ thông tin quản lý Với đặc thù ngành, hệ thống đƣợc phân bố nhiều địa phƣơng khác nhau, đƣợc xây dựng để phục vụ nhiều mục đích khác Vấn đề tích hợp liệu, đồng liệu từ nguồn liệu có sẵn nhu cầu khơng thể thiếu hệ thống thông tin Đối với Bộ giao thơng vận tải điều quan trọng cần triển khai sớm tốt Bài tốn tích hợp liệu cầu quốc lộ từ khu quản lý đƣờng Bộ giao thông vận tải đƣợc phát biểu tổng qt nhƣ sau: “Từ thơng tin có sẵn hệ thống máy chủ khu quản lý đường bộ, cần xây dựng giải pháp tích hợp sở liệu trung tâm tích hợp liệu Bộ giao thông vận tải để phục vụ cơng tác quản lý” Hiện có nhiều giải pháp cho toán nhƣ trên, nhiên lựa chọn phƣơng pháp tùy thuộc vào hạ tầng kỹ thuật tin học có, quy định mặt pháp lý định hƣớng quan Trong đồ án em xin trình bày hƣớng xây dựng ứng dụng dùng Web service để trao đổi thông tin, tích hợp liệu để phục vụ cơng tác quản lý Để sử dụng Web service xây dựng ứng dụng, cần xem xét Web service dựa tảng công nghệ nào? Web service trao đổi thông tin dựa giao thức HTTP SOAP, điều cho phép trao đổi thông tin trung tâm với thông qua hệ thống Internet thuận lợi Chúng không phụ thuộc vào hạ tầng kỹ thuật, tin học đơn vị không phụ thuộc vào hệ quản trị sở liệu hệ điều hành 3.2 Truy cập sở liệu khu quản lý đƣờng Cơ sở liệu Cầu khu quản lý đƣờng đƣợc biểu diễn nhƣ sau: Mai Quang Huy CT1002 Trang 35 Đồ án tốt nghiệp Hình 12: CSDL cầu khu quản lý đường Tại khu quản lý đƣờng xây dựng Web service truy cập vào sở liệu cục để lấy thông tin Việc trao đổi thông tin trung tâm với thông qua HTTP SOAP cần có định danh cho Web service Hình 13: Mơ hình truy cập liệu khu quản lý đường Mai Quang Huy CT1002 Trang 36 Đồ án tốt nghiệp Trên Web service xây dựng phƣơng thức truy cập lấy thông tin từ máy chủ sở liệu Đối với loại hệ quản trị sở liệu có cách thức riêng để truy cập hoạt động đƣợc thực phạm vi tổ chức (trong mạng LAN), liệu Web service nhận đƣợc kết truy vấn vào sở liệu nội sau trả nơi yêu cầu thông qua giao thức HTTP, SOAP Phƣơng thức truy cập lấy liệu cầu từ khu quản lý đƣờng bộ: Tại Bộ giao thông vận tải, muốn khai thác Web service cần làm số thao tác sau: - Dùng tiện ích Disco, Wsdl để lấy đƣợc thông tin Web service - Các ứng dụng tham chiếu thông tin hai tệp để kích hoạt phƣơng thức Web service Một lời gọi đến phƣơng thức Web service thực tế lời gọi đến Proxy, việc lại Proxy thực Khi có u cầu lấy liệu, thơng điệp đƣợc gửi đến Web service trung tâm sở, sau kiểm tra tính hợp lệ thơng điệp phƣơng thức đƣợc định thực việc truy nhập vào sở liệu cục để lấy thơng tin Web service gửi thơng tin dƣới định dạng XML Bộ Tại liệu đƣợc xử lý thêm lần lƣu vào sở liệu Bộ Tồn thơng tin lấy đƣợc tích hợp thành sở liệu Cầu đặt Trung tâm tích hợp liệu Mai Quang Huy CT1002 Trang 37 Đồ án tốt nghiệp Hình 14: Mơ hình trao đổi thơng tin từ Web service với CSDL cục Vậy, ta thấy có số ƣu nhƣợc điểm sau: Ƣu điểm: o Bên yêu cầu lấy thông tin thông qua giao thức chung HTTP, SOAP nên không phụ thuộc vào hạ tầng hệ thống thông tin trung tâm sở (bao gồm hệ quản trị sở liệu hệ điều hành) o Bên yêu cầu nhận đƣợc thông tin Web service trả nên ta tinh giản đƣợc lƣợng liệu trƣớc truyền Internet o Sự an toàn máy chủ sở liệu đƣợc đảm bảo bên yêu cầu kết nối trực tiếp vào máy chủ sở liệu, liệu qua tầng trung gian Web service có thêm chế độ bảo mật Web service o Web service đƣợc xây dựng dễ dàng nhiều ngơn ngữ lập trình nhƣ: PHP, ASP.NET, C#, VB.NET,… Hạn chế: o Phụ thuộc vào tốc độ đƣờng truyền Internet o Nếu thay đổi yêu cầu nghiệp vụ phải thay đổi phƣơng thức Web service Mai Quang Huy CT1002 Trang 38 Đồ án tốt nghiệp 3.3 Xây dựng Web Service Ở đây, ngơn ngữ lập trình đƣợc sử dụng ASP.NET C# Visual Studio.NET Microsoft Tạo Web service: Khởi động VS.Net Vào Menu File chọn NewWeb Site, máy tính xuất hộp thoại: Hình 15: Hộp thoại tạo web service Sau hoàn thành việc xây dựng phƣơng thức để truy vấn liệu Bƣớc ta cấu hình Web service để hoạt động Việc cấu hình Web service tƣơng tự nhƣ việc cấu hình Web site bình thƣờng 3.4 Tiêu thụ Web Service Muốn sử dụng phƣơng thức Web service, ta phải lấy đƣợc tồn thơng tin Web service Mai Quang Huy CT1002 Trang 39 Đồ án tốt nghiệp Có hai cách để đƣa thông tin Web service vào ứng dụng tiêu thụ (Consumer Application) Cách 1: Trong môi trƣờng lập trình DotNet, MicroSoft cung cấp tiện ích nhƣ Disco Wsdl để lấy thông tin Web service Disco www.bridge.com/Service.asmx /out: c:\ Trong trƣờng hợp Web service cần khai báo quyền truy nhập ta dùng thêm hai tham số /username: tên truy cập /password: mật tham số /out để nơi lƣu trữ tệp kết đƣợc trả về, trƣờng hợp có hai tệp kết đƣợc trả Service.diso Service.wsdl Tiếp theo ta dùng lệnh Wsdl để tạo tệp Service.* phần mở rộng tệp tùy thuộc vào việc định tham số ngôn ngữ lệnh Wsdl Wsdl http://www.bridge.com/Service.asmx /o:c:\dataintegrated /language:CS /protocol:SOAP12 Kết việc thực câu lệnh tạo đƣợc tệp Service.cs tên tệp kết trùng với tên lớp đƣợc xây dựng bên Web service Tham số /language: nhận số giá trị nhƣ JS, CS, VB,… Tham số /protocol: giao thức truyền liệu nhƣ SOAP, SOAP12, HttpGet, HttpPost Biên dịch tệp Service.cs thành Service.dll Csc c:\Service.cs Cách 2: Khi tạo ứng dụng tiêu thụ Web service, ta dùng chức Add web reference Visual Studio.net Mai Quang Huy CT1002 Trang 40 Đồ án tốt nghiệp Hình 16: Thêm tham chiếu Web vào chương trình ứng dụng Máy tính xuất hộp thoại: Hình 17: Giao diện hộp thoại Add web reference URL: Nhập địa Web service Web reference name: Tên tham chiếu Web service chƣơng trình tiêu thụ Chọn Add Reference Trong chƣơng trình tên tham chiếu Web service là: ConsumerWS xuất chƣơng trình Mai Quang Huy CT1002 Trang 41 Đồ án tốt nghiệp Hình 18: Tham chiếu Web service Trong lớp muốn gọi phƣơng thức Web service phải khai báo dòng lệnh sau: using DatabaseFusion.ConsumerWS; DatabaseFusion: Đây namespace ứng dụng có dùng Web service ConsumerWS: Tên tham chiếu Web service Sau thực phần có tồn thơng tin Web service cần sử dụng Trong chƣơng trình tiêu thụ tạo đối tƣợng thuộc Web service đó: Service service = new Service(); Truy vấn liệu thành công khu quản lý đƣờng bộ, ta lƣu CSDL vừa thu đƣợc từ khu quản lý đƣờng dƣới dạng file XML: DataSet ds = service.getTable( servername, uid, pass, databasename); ds.WriteXml( filename+ ".xml"); Có đƣợc file XML, ta trích chọn thơng tin bản, đặc trƣng cầu quốc lộ để tạo CSDL tích hợp có cấu trúc nhƣ sau: Mai Quang Huy CT1002 Trang 42 Đồ án tốt nghiệp DataSet dsRead = new DataSet(); dsRead.ReadXml( filename + ".xml"); DataView dw = new DataView(dsRead.Tables[0]); DataTable table = dw.ToTable(true, "Bridge Number", "Bridge Ref Code", "Bridge Name", "Structure Type", "Road Classification", "Road Number", "Main Obstacle Crossed", "Road Cross Reference", "Number of Spans", "Maintenance Authority", "Maintenance Unit", "Owner", "Bridge Length", "Province_Town", "Year Built", "Load Standard", "Load Assesment", "Huyen", "Tong chieu rong", "Chieu rong xe chay"); Tiếp tạo CSLD tích hợp Bộ giao thông đặt tên CauQL.xml: table.WriteXml("CauQL.xml"); File đƣợc tạo có dạng nhƣ sau: Mai Quang Huy CT1002 Trang 43 Đồ án tốt nghiệp Trong chƣơng trình ta cho hiển thị thông tin CSLD lên đối tƣợng DataGridView: this.dataGridView.DataSource = table Kết sau thực bƣớc trên: Hình 19: Hiển thị kết nhận từ Web service Mai Quang Huy CT1002 Trang 44 Đồ án tốt nghiệp KẾT LUẬN Trong đồ án em trình bày nghiên cứu đề xuất giải pháp tích hợp sở liệu phân tán môi trƣờng Internet Sau thời gian nghiên cứu tìm hiểu tài liệu, kết đạt đƣợc là: Tìm hiểu kiến thức tích hợp liệu Các phƣơng pháp tích hợp liệu Xây dựng giải pháp tích hợp liệu Trình bày số cơng nghệ có dùng việc tích hợp liệu từ hệ thống phân tán Trình bày thử nghiệm tích hợp liệu cầu quốc lộ dựa Web service Giải pháp tích hợp liệu dựa Web service hƣớng việc trao đổi thông tin Internet Đồ án số hạn chế chƣa xây dựng đƣợc mô hình tích hợp tối ƣu hồn thiện nhất, phần thực nghiệm xây dựng đƣợc chƣơng trình nhỏ mang tính chất minh họa cho q trình tích hợp liệu từ nguồn sở liệu phân tán, thu thập thông tin đơn giản, thực tế nguồn thông tin đa dạng phức tạp nhiều, cần thực giải pháp trích chọn thông tin phù hợp tiến hành thu thập tích hợp Mai Quang Huy CT1002 Trang 45 Đồ án tốt nghiệp TÀI LIỆU THAM KHẢO Tiếng Việt Dƣơng Quang Thiện, NET Tồn Tập - Tập 5: Lập Trình Web Dùng ASP.NET Và C# - Lập Trình Visual C# Thế Nào?, 2005, 738 Dƣơng Quang Thiện, NET Toàn Tập - Tập 4: Lập Trình Căn Cứ Dữ Liệu dùng ADO.NET Và C# - Lập Trình Visual C# Thế Nào?, 2005, 692 Tiếng Anh Donald K Burleson, Joseph Hudicka,William H Inmon, Craig Mullins, Fabian Pascal, The Data Warehouse eBusiness DBA Handbook, BMC Software and DBAzine, 2003, 220 Dan Hurwitz, Jesse Liberty, Programming ASP.NET, Third Edition, O'Reilly, 2005, 956 Aaron Skonnard, Martin Gudgin, Essential XML Quick Reference A Programmer’s Reference to XML, XPath, XSLT, XML Schema, SOAP, and More, Addison Wesley, 2007, 429 Michael A Kittel, Geoffrey T LeBlond, ASP.NET Cookbook, 2nd Edition, O'Reilly, 2005, 1014 Microsoft, Developing XML Web Services Using Microsoft® ASP.NET, 2002, 498 Microsoft, Msdn, 2005 Stavros Papastavrou, Panos Chrysanthis, George Samaras, Evaggelia Pitoura, An Evaluation of the Java-based Approaches to Web Database Access, 2005, 15p Mai Quang Huy CT1002 Trang 46 ... tích hợp liệu thƣờng có đủ ba mức Các mức thấp, đó, làm sở cho mức cao 1.2.3 Các phƣơng pháp tích hợp liệu Nhu cầu tích hợp liệu hệ thống, môi trƣờng Internet lớn Nhiều nghiên cứu tích hợp liệu. .. trƣờng Internet Sau thời gian nghiên cứu tìm hiểu tài liệu, kết đạt đƣợc là: Tìm hiểu kiến thức tích hợp liệu Các phƣơng pháp tích hợp liệu Xây dựng giải pháp tích hợp liệu Trình bày số cơng nghệ... tiến hành Các nghiên cứu đƣa loạt phƣơng pháp tích hợp liệu, phƣơng pháp lại phù hợp với dạng hệ thống (và nguồn liệu) cụ thể Trong phần trình bày số phƣơng pháp tích hợp liệu theo cách phân loại