Nghiên cứu một số giải pháp tích hợp dữ liệu, ứng dụng xây dựng cơ sở dữ liệu nghiệp vụ tập trung trong ngành hải quan 04

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LƢU HÙNG CƢỜNG NGHIÊN CỨU MỘT SỐ GIẢI PHÁP TÍCH HỢP DỮ LIỆU, ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU NGHIỆP VỤ TẬP TRUNG TRONG NGÀNH HẢI QUAN LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LƢU HÙNG CƢỜNG NGHIÊN CỨU MỘT SỐ GIẢI PHÁP TÍCH HỢP DỮ LIỆU, ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU NGHIỆP VỤ TẬP TRUNG TRONG NGÀNH HẢI QUAN Ngành: Công nghệ Thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC TS PHÙNG VĂN ỔN Hà Nội - 2015 LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Hà Nội ngày 12 tháng 09 năm 2015 Học viên Lưu Hùng Cường LỜI CẢM ƠN Do vốn kiến thức thực tế hạn chế nên nội dung luận văn tránh khỏi thiếu sót Do em mong nhận ý kiến đóng góp thầy giáo quan tâm đến vấn đề tích hợp liệu để em hồn thiện lần sau cấp học cao Em xin gửi lời cảm ơn chân thành tới thầy cô Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội tạo điều kiện cho em nghiên cứu đề tài Và đặc biệt em xin gửi lời cảm ơn sâu sắc tới TS Phùng Văn Ổn, thầy tận tình bảo hướng dẫn em hoàn thành luận văn Trong luận văn có phần cơng sức đóng góp chung tập thể anh chị em cơng ty, nơi em cơng tác với vai trị Project Manager Hà Nội ngày 26 tháng năm 2015 Học viên Lưu Hùng Cường MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC CHỮ CÁI VIẾT TẮT DANH MỤC CÁC HÌNH VẼ LỜI MỞ ĐẦU 10 CHƢƠNG I GIỚI THIỆU CHUNG 13 1.1 Tích hợp liệu 13 1.1.1 Khái niệm tích hợp liệu 13 1.1.2 Các mức độ tích hợp liệu 13 1.1.3 Vấn đề tích hợp liệu 14 1.1.4 Vai trị tích hợp liệu tổ chức 15 1.1.5 Các yếu tố định đến việc lựa chọn giải pháp tích hợp liệu 16 1.2 Cơ sở liệu hệ thống OLTP OLAP 17 1.3 Kho liệu (Datawarehouse) 20 1.3.1 Định nghĩa kho liệu 20 1.3.2 Các đặc trưng kho liệu 20 1.3.3 Kiến trúc kho liệu 21 1.3.4 Mơ hình liệu sử dụng kho liệu 22 1.4 Hiện trạng mơ hình liệu ngành hải quan 23 1.4.1 Các hệ thống sử dụng 23 1.4.2 Quy trình thực 23 1.4.3 Những tồn nhu cầu bổ sung 24 1.5 Hiện trạng ứng dụng CNTT cục Hải quan TP HCM 25 1.5.1 Hệ thống mạng 25 1.5.2 Hệ thống thiết bị 27 1.5.3 Các ứng dụng triển khai 27 CHƢƠNG II: MỘT SỐ KỸ THUẬT, CƠNG NGHỆ TÍCH HỢP DỮ LIỆU31 2.1 Các kỹ thuật tích hợp liệu 31 2.1.1 Kỹ thuật hợp liệu 31 2.1.2 Kỹ thuật liên hợp liệu 32 2.1.3 Kỹ thuật lan truyền liệu 34 2.1.4 Kỹ thuật lai 35 2.2 Các cơng nghệ tích hợp liệu 35 2.2.1 Công nghệ ETL 35 2.2.2 Công nghệ EII 36 2.2.3 Công nghệ EAI 37 2.2.4 Công nghệ EDR 39 2.2.5 Công nghệ ECM 39 2.3 Nhận xét đánh giá 40 2.3.1 Bức tranh tổng thể 40 2.3.2 So sánh khác biệt 40 2.3.3 Kết hợp công nghệ 42 CHƢƠNG III: GIẢI PHÁP TÍCH HỢP DỮ LIỆU BẰNG SQL SERVER REPLICATION 43 3.1 Tổng quan SQL Server Replication 43 3.1.1 Thành phần 43 3.1.2 Các kiểu replication 46 3.2 Snapshot replication 46 3.3 Transactional replication 47 3.4 Merge replication 49 3.5 Các phƣơng pháp triển khai replication 49 3.6 Lựa chọn mơ hình cách tiếp cận 50 3.7 Nhận xét đánh giá 51 CHƢƠNG IV ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU TÍCH HỢP TỒN NGÀNH HẢI QUAN 53 4.1 Giới thiệu toán 53 4.2 Yêu cầu kỹ thuật 55 4.3 Kiến trúc tổng thể hệ thống 55 4.3.1 Mơ hình tổng thể 55 4.3.2 Mơ hình phân lớp hệ thống 56 4.3.3 Mơ hình kiến trúc ứng dụng liệu 58 4.3.4 Mơ hình trao đổi liệu với hệ thống khác 61 4.4 Giải pháp công nghệ sử dụng 61 4.4.1 Giải pháp tích hợp liệu 4.4.2 Giải pháp xây dựng ứng dụng tích hợp nghiệp vụ hải quan 4.4.3 Giải pháp xây dựng ứng dụng dự phòng, phòng chống thảm họa 61 66 69 4.5 Kết thực 70 4.6 Đánh giá kết 70 KẾT LUẬN 71 TÀI LIỆU THAM KHẢO 73 DANH MỤC CÁC CHỮ CÁI VIẾT TẮT Tên viết tắt CDC CNTT EAI ECM EDR EII ESB ETL MPLS OLAP OLTP SXXK UTP XML XNK DANH MỤC CÁC HÌNH VẼ Hình 1.1: Kiến trúc ứng dụng mức độ tích hợp liệu 13 Hình 1.2: Các thành phần ứng dụng tích hợp 16 Hình 1.3: OTLP OLAP 18 Hình 1.4: Kiến trúc kho liệu 21 Hình 1.4: Mơ hình liệu hình bơng tuyết 23 Hình 1.5: Mơ hình hạ tầng mạng Cục Hải quan TP Hồ Chí Minh 26 Hình 2.1: Kỹ thuật hợp liệu 31 Hình 2.2: Mơ hình kết hợp chế pull push 32 Hình 2.3: Kỹ thuật liên hợp liệu 33 Hình 2.4: Kỹ thuật lan truyền liệu 34 Hình 2.5: Tiến trình ETL 36 Hình 2.6: Cơng nghệ EII 37 Hình 2.7: Cơng nghệ EAI 37 Hình 2.8: Cơng nghệ EAI với ESB 38 Hình 2.9: Các kỹ thuật cơng nghệ tích hợp liệu 40 Hình 2.10: Mơ hình kết hợp nhiều cơng nghệ 42 Hình 3.1: Kiến trúc công nghệ SQL Server Replication .44 Hình 3.2: Snapshot Replication 47 Hình 3.3: Transactional Replication 48 Hình 3.4: Merge Replication 49 Hình 3.5: Tạo replication Management Studtio 50 Hình 4.1: Mơ hình tập trung liệu giai đoạn 55 Hình 4.3: Mơ hình tổng thể hệ thống tích hợp nghiệp vụ hải quan 56 Hình 4.4: Mơ hình phân lớp hệ thống tích hợp nghiệp vụ hải quan 56 Hình 4.5: Mơ hình kiến trúc úng dụng liệu 58 Hình 4.6: Mơ hình trao đổi liệu 61 Hình 4.7: Mơ hình tích hợp liệu thử nghiệm 62 Hình 4.8: Mơ hình tích hợp liệu thực tế triển khai 62 Hình 4.9: Luồng hoạt động ứng dụng chuyển đổi số liệu .64 Hình 4.10: Giao diện chương trình chuyển đổi số liệu 65 Hình 4.11: Mơ hình ứng dụng sharepoint .66 Hình 4.12: Đưa thêm webpart sharepoint 67 Hình 4.13: Cấu hình sử dụng control ascx .68 Hình 4.14: Giao diện sau cấu hình 68 Hình 4.15: Giao diện ứng dụng tích hợp nghiệp vụ 68 Hình 4.16: Mơ hình hệ thống dự phịng ứng dụng tích hợp nghiệp vụ .69 LỜI MỞ ĐẦU Trong trình tin học hóa hoạt động tổ chức, doanh nghiệp, loạt hệ thống xây dựng để đáp ứng nhu cầu quản lý,vận hành, lưu trữ riêng lẻ các phận tổ chức, doanh nghiệp Các hệ thống xây dựng dựa tảng công nghệ khác gần khơng có chia sẻ thơng tin hệ thống hệ thống thiết kế để hoạt động độc lập thiết kế để giải toán đơn lẻ cho phận riêng lẻ tổ chức, doanh nghiệp Điều dẫn đến tình trạng nguồn liệu lưu trữ không đồng phân tán nhiều nơi, người sử dụng cần phải sử dụng nhiều chương trình khác để hồn thành cơng việc mình, phải khai thác liệu từ chương trình khác kết hợp lại để liệu mong muốn Khi hoạt động tổ chức mở rộng (đặc biệt hoạt động kinh doanh doanh nghiệp) nhu cầu tổng hợp liệu để có báo cáo đầy đủ nhằm phục vụ cho việc điều hành tổ chức, doanh nghiệp trở nên cấp thiết hết việc thực tổng hợp liệu từ hệ thống riêng lẻ tốn thời gian gần thực liệu lớn Ngoài ra, phải thao tác với nhiều chương trình lúc thường nhiều thời gian so với việc thực hệ thống có nhiều khả dẫn đến sai sót phải làm thủ cơng nhiều bước Một vấn đề gặp phải việc trì hệ thống riêng lẻ chi phí vận hành lớn, tổ chức doanh nghiệp cần phải dùng nhiều nguồn lực dành cho việc trì nhiều hệ thống hoạt động Vấn đề tích hợp liệu khơng cịn xu hướng mà thực trở thành nhu cầu tổ chức, doanh nghiệp lớn năm gần Một loại kỹ thuật, công nghệ, sản phẩm phẩn mềm hãng công nghệ hàng đầu giới giới thiệu Oracle Data Integrator, Oracle GoldenGate, IBM InfoSphere, Microsoft BizTalk, Microsoft Business Intelligent, Microsoft SQL Server Replication,… Tính cấp thiết đề tài Ở Việt Nam, vấn đề tích hợp liệu quan tâm lớn tổ chức, doanh nghiệp lớn đặc biệt quan nhà nước có Tổng cục Hải quan Việc nghiên cứu, xây dựng nhóm giải pháp, quy trình phù hợp, bước thực tốn tích hợp liệu giúp cho tổ chức, doanh nghiệp Việt Nam thực việc tích hợp liệu dễ dàng từ phát triển thêm ứng dụng xử lý tập trung đáp ứng đòi hỏi ngày cao 10  Module giao tiếp với hệ thống thông quan điện tử Cung cấp chức cho phép trao đổi liệu với hệ thống thông quan điện tử  Module quản trị hệ thống Cung cấp chức đăng nhập hệ thống, quản lý phân quyền sử dụng hệ thống, thiết lập tham số hệ thống, có khả đồng thơng tin với Active Directory, ghi / theo dõi nhật ký giao dịch,  Hệ thống Nghiệp vụ hải quan tích hợp thiết kế xây dựng với thành phần sở liệu sau đây:  Cơ sở liệu danh mục, tham số hệ thống, nhật ký hệ thống Chứa hệ thống danh mục chuẩn, tham số hệ thống Lưu trữ nhật ký hệ thống  Cơ sở liệu tờ khai tạm Chứa thông tin tạm tờ khai doanh nghiệp khai qua mạng đẻ chờ duyệt  Cơ sở liệu tờ khai Chứa thông tin tờ khai chứng từ kèm thông tin ghi nhận, thơng tin phục vụ quy trình thủ tục tờ khai, lô hàng  Cơ sở liệu giá tính thuế Chứa thơng tin tờ khai trị giá, thơng tin khác phục vụ quy trình nghiệp vụ giá tính thuế  Cơ sở liệu kế tốn thuế Chứa thơng tin phục vụ quy trình nghiệp vụ kế toán thuế  Cơ sở liệu gia công Chứa thông tin hợp đồng, nguyên liệu, sản phẩm, thơng tin khoản… phục vụ quy trình loại hình nhập ngun liệu để gia cơng  Cơ sở liệu SXXK Chứa thông tin hợp đồng, nguyên liệu, sản phẩm, thông tin khoản… phục vụ quy trình loại hình nhập nguyên liệu để sản xuất hàng xuất  Cơ sở liệu khu chế xuất Chứa thông tờ khai, chứng từ, khoản… phục vụ quy trình khu chế xuất 60  Cơ sở liệu phƣơng tiện xuất nhập cảnh đƣờng Chứa thông tin phương tiện tạm nhập tái xuất, tạm xuất tái nhập qua cửa đường 4.3.4 Mơ hình trao đổi liệu với hệ thống khác Mơ hình trao đổi với hệ thống khác mơ tả hình vẽ đây: Doanh nghiệp Internet Trục tích hợp Nghiệp vụ hải quan tích hợp Hình 4.6: Mơ hình trao đổi liệu Từ mơ hình thấy:  Hệ thống Nghiệp vụ hải quan tích hợp giao tiếp với hệ thống khác thơng qua trục tích hợp  Việc giao tiếp hệ thống Nghiệp vụ hải quan tích hợp hệ thống nội ngành Hải quan gồm Quản lý rủi ro, Thống kê tập trung, Thông quan điện tử thực thông qua Web service hệ thống  Các hệ thống khai báo qua mạng doanh nghiệp giao tiếp với Nghiệp vụ hải quan tích hợp thơng qua web service internet trục tích hợp 4.4 Giải pháp cơng nghệ sử dụng 4.4.1 Giải pháp tích hợp liệu Qua khảo sát, hầu hết sở đữ liệu xây dựng dựa sở liệu SQL Server, số sở liệu xây dựng sở liệu Oracle giải pháp tích hợp liệu cân nhắc sử dụng Microsoft SQL Server replication để tích hợp sở liệu thành sở liệu tập trung 61 Cục Cơ sở liệu tích hợp Replication Chi Cục Cơ sở liệu chi cục A Cơ sở liệu chi cục B Cơ sở liệu chi cục C Hình 4.7: Mơ hình tích hợp liệu thử nghiệm Tuy nhiên, sau tích hợp thử liệu số chi cục, tác giả phát cấu trúc liệu chi cục bị thay đổi, xuất tình trạng liệu bị sửa đổi dẫn đến việc triển khai giải pháp tích hợp sử dụng Microsoft SQL Server replication gặp khó khăn Do sở liệu tích hợp cần phải chuyển đổi để phù hợp với ứng dụng tích hợp nghiệp vụ hải quan nên mơ hình điều chỉnh sau:  Dữ liệu chi cục đồng lên cục thành liệu chi cục giải pháp Microsoft SQL Server Replication  Một ứng dụng chuyển đổi số liệu dựa công nghệ ETL xây dựng để thực đọc liệu từ sở liệu có bước đưa chúng vào sở liệu tích hợp Mơ hình tích hợp liệu sửa đổi thể hình vẽ đây: Cơ sở liệu tích hợp ETL Cục Replication Chi Cục Cơ sở liệu chi cục A Cơ sở liệu chi cục B Cơ sở liệu chi cục C Hình 4.8: Mơ hình tích hợp liệu thực tế triển khai 62 Ứng dụng chuyển đổi số liệu dựa công nghệ ETL xây dựng tảng công nghệ Microsoft.NET cho phép dễ dàng cấu hình lựa chọn nguồn liệu Để làm điều này, ứng dụng sử dụng file cấu hình XML cho phép người dùng đưa câu lệnh SQL hàm chuyển đổi liệu trước đưa vào sở liệu nguồn Luồng hoạt đồng ứng dụng chuyển đổi số liệu mơ tả hình vẽ đây: 63 Oracle Khởi tạo OracleConnecti Lấy liệu reader = OracleRe KT_S53DTL_G OC 100