Mô hình xây dựng data warehouse

mục lục Lời cảm ơn phần i khái niệm data warehouse Chơng Lịch sử phát triển data warehouse 1.1 Thêi k× tiỊn sư - tríc năm 1980 80 1.2 Thời kì trung đại - từ năm 80 đến cuối năm 1.3 Cuộc cách mạng liệu - năm đầu thập kỉ 90 10 1.4 Kỉ nguyên quản lý dựa thông tin - tới năm kỉ 21 11 1.5 Kết luận Chơng Những khái niƯm vỊ data warehouse 13 15 2.1 Data warehouse lµ g× 15 2.2 KiÕn tróc cđa data warehouse 18 2.2.1 Kiến trúc 18 2.2.2 Kiến trúc data warehouse có thêm 20 lớp data mart bớc đệm xử lý Chơng Kiến trúc liệu data warehouse 29 3.1 Hệ thống thông tin hệ thống tác nghiƯp 29 3.2 KiÕn tróc d÷ liƯu cđa data warehouse 32 3.2.1 Mô hình liệu đa chiều (multidimensional data) 32 3.2.2 Mô hình liệu thực tế data warehouse 35 phần II xây dựng data warehouse cho chủ đề "hợp đồng khai thác" cho công ty bảo việt nhân thọ 39 Chơng Tìm hiểu vấn đề 41 4.1 Đặc điểm công ty Bảo Việt Nhân Thọ 41 4.2 Hệ thống liệu 45 Chơng Mô hình xây dựng Data Warehouse cho chủ đề "Hợp đồng khai thác" 47 5.1 Mô hình tổng quát 47 5.2 Mô hình chi tiết Chơng Triển khai mô hình kết 6.1 Mô hình liệu 48 56 56 6.1.1 Mô hình liệu data source 57 6.1.2 Mô hình liệu data warehouse 58 6.1.3 Mô hình liệu staging area 61 6.2 Chơng trình triĨn khai 63 6.3 KÕt qu¶ 69 KÕt ln 71 Tài liệu tham khảo 72 Lời cảm ơn Xin chân thành cảm ơn PSG-TS Nguyễn Việt Hơng, cô đà hớng dẫn em hoàn thành đồ án tốt nghiệp Xin chân thành cảm ơn TS Nguyễn Thành Quang, trởng phòng tin học Tổng công ty Bảo hiểm Việt Nam đà tạo điều kiện làm việc cho em trình thực tập phòng tin học Tổng công ty Bảo hiểm Việt Nam Xin chân thành cảm ơn anh Lê Minh, ngời đà giúp đỡ hớng dẫn em trình thực tập phòng tin học Tổng công ty Bảo hiểm Việt Nam Xin cảm ơn anh, chị phòng tin học Tổng công ty Bảo hiểm Việt Nam đà giúp đỡ em trình thực tập Cuối cùng, xin cảm ơn tất bạn bè, ngời đà có ý kiến đóng góp quý báu em trình thực đồ án tốt nghiệp phần i khái niệm data warehouse Data warehouse công cụ hữu hiệu giúp cho doanh nghiệp có đợc nhìn đầy đủ tổng quát doanh nghiệp mình, ngời dùng dựa data warehouse để chạy ứng dụng nhằm thu đợc thông tin hữu ích cho việc phát triển công ty môi trờng kinh doanh đầy cạnh tranh biến động Tuy nhiên, việc xây dựng data warehouse cho doanh nghiệp công việc không đơn giản Để xây dựng data warehouse trớc tiên cần phải biết đợc khái niệm vấn đề Ba chơng đồ án giúp bạn điều Chơng Lịch sử phát triển data warehouse : chơng mô tả lợi ích mà data warehouse mang lại cho ngời dùng cuối, nhờ ta hiểu đợc điều đà khiến doanh nghiệp tìm đến với công nghệ Chơng điểm qua toàn lịch sử phát triển ngành công nghệ thông tin theo hớng xuất data warehouse Phần nhìn ngợc trở lịch sử phát triển, nh ta thấy đợc logic phát triển công nghệ data warehouse Mặc dù chơng không đề cập chi tiết đa định nghĩa chặt chẽ khái niệm nào, nhiên đợc làm quen với hầu hết khái niệm Chơng Những khái niệm data warehouse : chơng trình bày định nghĩa vµ kiÕn tróc logic cđa data warehouse nh»m lµm cho ngời đọc có đợc nhìn tổng quan data warehouse Trong phần đầu chơng ta tìm hiểu c¸c kh¸i niƯm vỊ data warehouse Chóng ta sÏ thÊy đợc phần phức tạp data warehouse ®Þnh nghÜa cđa nã ViƯc hiĨu râ ®Þnh nghÜa cđa data warehouse giúp định hớng rõ ràng tìm hiểu kiến trúc hệ thống sử dụng data warehouse Phần kiến trúc logic data warehouse Phần mô tả cho ta thấy thành phần hệ thống sử dụng data warehouse tiến trình cần có để tổ hợp liệu vào data warehouse Chơng Kiến trúc liệu data warehouse : chơng mô tả kiến trúc cụ thể data warehouse cho thấy khác biệt với kiến trúc liệu thông thờng (kiến trúc liệu quan hệ) Ta tìm hiểu khác hệ thống thông tin hệ thống tác nghiệp, từ hiểu đợc data warehouse cung cấp thông tin cho ngời dùng cuối nh Phần mô tả kiến trúc liệu data warehouse, giúp ngời đọc làm quen với mô hình liệu phổ biến dạng dạng tuyết chơng Lịch sử phát triĨn cđa data warehouse Trªn thÕ giíi cã rÊt nhiỊu tổ chức hay công ty có kho liệu khổng lồ Trong trình hoạt động, yêu cầu công việc nên tổ chức hay công ty phải lu lại liệu khách hàng, sản phẩm, hóa đơn, Theo nghiên cứu khoảng sau năm khối lợng liệu doanh nghiệp lại tăng lên gấp đôi Tuy nhiên việc làm để khai thác đợc kho liệu khổng lồ lại vấn đề nan giải liệu thờng không quán không đợc thiết kế với mục đích hỗ trợ định Vì mà tổ chức công ty cần công cụ cho phép họ tổng hợp liệu cách hiệu Sự đời data warehouse bắt nguồn từ kết hợp hai nhân tố kinh tế kĩ thuật Các công ty, đặc biệt công ty lớn có nhiều chi nhánh khác nhau, muốn có đợc thông tin tổng quan phạm vi toàn công ty, từ giúp cho lÃnh đạo công ty định Tuy nhiên, hệ thống liệu tác nghiệp trớc hoàn thành đợc công việc chúng đợc thiết kế với mục đích phục vụ công việc nghiệp vụ hàng ngày, cần phải có công nghệ liệu khác Chính phát triển công nghệ đợc thúc đẩy mạnh mẽ nhu cầu doanh nghiệp môi trờng kinh doanh đầy cạnh tranh đà tạo nên data warehouse Data warehouse đời đà mang lại số lợi ích định cho nhà kinh doanh : Cho phép nhà kinh doanh theo dõi đợc biến động môi trờng kinh doanh : khía cạnh đó, data warehouse xem nh "ảnh chụp" liên tiếp tình trạng kinh doanh công ty, cho phép ngời dùng cuối thấy đợc môi trờng kinh doanh công ty qua thời kì Câu trả lời cho câu hỏi truy vấn liệu có tính thơng mại Các nhà kinh doanh muốn câu hỏi họ đặt lĩnh vực kinh doanh đợc trả lời theo dạng mà họ hiểu đợc Cung cấp công cụ truy xuất liệu nhằm mục đích phân tích hỗ trợ định Trong hệ thống sở liệu tác nghiệp trớc điều khó thực liệu đầy đủ sẵn sàng, lí đơn giản hệ thống sở liệu tác nghiệp đợc thiết kế với mục đích phục vụ công việc tác nghiệp thờng ngày đợc thiết kế với mục đích hỗ trợ định Thống đợc dạng cấu trúc liệu phù hợp với yêu cầu ngời dùng cuối Đối với công ty có nhiều chi nhánh khác liệu đợc lu trữ dới dạng khác nhau, ví dụ nh đơn vị đo chiều dài nhng có nơi dùng đơn vị cm, có nơi dùng đơn vị inch, gây khó khăn cho việc phân tích liệu để hỗ trợ định Quản trị dễ dàng Sau đợc xây dựng, ngời quản trị lên kế hoạch để hệ thống vận hành tự động Ngời quản trị có nhiệm vụ theo dõi, chỉnh sửa nâng cấp có yêu cầu cố Lợi ích data warehouse ngời dùng cuối doanh nghiệp rõ ràng Data warehouse đà đợc chứng minh công nghệ mang lại hiệu đầu t cao Một nghiên cứu công ty Dữ liệu Quốc tế (IDC : International Data Corporation) trªn 62 data warehouse cho biết tỉ lệ hiệu đầu t trung bình cho data warehouse 321% kết thu đợc thấy sau vài năm Lý thuyết hoàn chỉnh data warehouse đợc đời vào năm 1992 với xuất sách "Building the data warehouse" W H Inmon Inmon đợc coi cha đẻ data warehouse Tuy nhiên trớc data warehouse hay phần đà xuất dới dạng hay dạng khác Giữa thập kỉ 90 kỉ 20, data warehouse đà trở thành từ thông dụng đợc sử dụng công nghiệp máy tính Tuy nhiên cần phải nhấn mạnh data warehouse phát triển theo hớng nhà sản xuất, trái lại phải đợc phát triển công ty nhằm thỏa mÃn nhu cầu kinh doanh công ty Vì vậy, data warehouse sản phẩm hàng loạt, đợc sản xuất lần đem bán hay áp dụng cho nhiều đơn vị khác Data warehouse sản phẩm đơn chiếc, đợc sáng tạo lần đợc phát triển liên tục theo thời gian nhằm đáp ứng đầy đủ nhu cầu ngời sử dụng Nó thích hợp cho đơn vị phải bám sát đặc điểm kinh doanh hay sản xuất đơn vị Phần mô tả bớc phát triển ngành công nghệ thông tin theo chiều hớng tiến đến đời cđa data warehouse 1.1 Thêi k× tiỊn sư - tríc năm 1980 : Thời kì trớc năm thập kỉ 70 đợc coi thời kì máy tÝnh Sù ph¸t triĨn cđa c¸c m¸y vi tÝnh (sau đợc gọi PC) phần mềm ®· gióp cho ngêi dïng ci cã thĨ thao t¸c, ®iỊu khiĨn trùc tiÕp víi d÷ liƯu cđa hä Mét cột mốc quan trọng giai đoạn đời công nghệ liệu quan hệ vào đầu thập kỉ 70 Boyce/Codd Theo sau đời hàng loạt sản phẩm, công cụ quản lí giao tiếp với sở liệu quan hệ Đặc biệt đời ngôn ngữ truy vấn liệu có cấu trúc (SQL : Structured Query Language) rÊt gÇn gịi víi ngêi ®· cho phÐp ngêi dïng ci cã thĨ thao tác với liệu quan hệ cách dễ dàng, đợc chuẩn hóa sử dụng rộng rÃi Hiện tất hÃng sản xuất phần mềm quản trị liệu hỗ trợ ngôn ngữ Cho tới năm 70, phức tạp phần cứng phần mềm máy tính ngày tăng, số ngời dùng cuối có khả thao tác, điều khiển trực tiếp liệu ngày giảm Lúc này, họ cần phải tìm kiếm chuyên gia xử lý liệu (data processing expert) thao tác với liệu để cung cấp cho họ thông tin cần thiết giúp họ định Những chuyên gia xử lý liệu này, đòi hỏi công việc, phải tập trung toàn tâm trí sức lực vào việc nắm bắt kĩ thuật thao tác với máy tính liệu §iỊu nµy cã