Xây dựng kho dữ liệu data warehousing

DAI HOC QC GỴA HÀ NƠI K H O A C Ô N G N G H Ê DÂNG VÀN NINH XÂY DUNG • KHO DU*LIEU » (DATA WAREHOUSING) LUÂN V A N TH A C SI Hà N ôi-2004 M Ụ C L Ụ C DANH MỤC HÌNH VẼ, Đ ổ THỊ Hình số 1: tính chấc thay đổi Uậu trone kho ỉiệu Hình sỏ' 2; nguyên ỉý kho iiệu Hình số 3: Hệ hỗ trợ định Hình số 4: Yêu cầu chức kho đữ liệu Hình số 5: Mõ hình kiến trúc liệu ba tầng Hình số : Kiến trúc liệu cho siêu liệu Hình số 7: Kiến trúc iiệu mức cao Hình số 8: Kiến trúc siêu liệu Hình số 9: Quan niệm kho liệu mức doanh nghiệp Hình số 10: Luồng đữ liệu kho liệu Hình số 11: Tiếp cận theo mơ hình thác nước Hình sơ' 12: Tiếp cận theo mơ hình xoắn trơn ốc Hình sổ 13: Mổi trường vừa tập trung vừa phân tán Hình số 14: Mơ hình đữ liệu nhập xuất tồn Hình số 15: Thuộc tính bảng CUBNXT Hình số ỉ 6: Kết tiến trình sinh mã-Generation Hình sổ 17: Kết tiến trình thực — Deploy Hình số 18: Trang nhập hàng hố (Sheet Nhap) Hình số 19: Biểu đồ trang nhập hàng hố (Sheet Nhap) Hình số 20: Trang xuất hàng hố (Sheet Xuat ) Hình số 21: Biểu đổ trang xuất hàng hố (Sheet Xuat) Hình số 22: Trang tồn hàng hố (Sheet TON) Hình số 23: Biểu đồ trang tồn hoá (Sheet TON) MỞ ĐẨU PHẦN C SỞ XÂY DỤNG KHO DỮ L IỆ U CHƯƠNG GIỚI TH IỆU CHUNG VỂ KHO DỮ LIỆU Định nghĩa Kho đữ liệu — Data W arehouse Đặc điểm liệu kho liệu Nguvên lý bẳn (Basic Elements) Kho liệu cục - Đatamart Hệ hỗ trợ định (Decisions Support Systems-DSS) 10 Phân biệt Kho liệu với hệ sờ liệu tác nghiệp .11 Các yêu cầu chức kho đữ liệu (Desirable Warehouse Functionality) 12 Kết luận 13 CHƯƠNG KIẾN TRÚC KHO DỮ L IỆ U 15 I M ỘT SỐ KHÁI NIỆM C B Ả N 15 Dữ iiệu nghiệp vụ 15 1.1 Dữ liệu thời gian thực (real-time đata) 15 1.2 Dữ liệu dãn xuất (derived data) 15 1.3 Dữ liệu tương thích (reconciled data) 15 Siêu liệu (Metadata) .15 2.1 Siẻu liệu giai đoạn xây đựng 16 2.2 Sìơu liệu kiểm sốt ', 16 2.3 Siêu liệu vận dụng: 16 II KIẾN TRỦC D ữ LIỆU MỨC KHÁI NIỆM 17 Kiến trúc liệu nghiệp vụ 17 Kiến trúc siêu đữ liệu 21 Quan hộ nguén siêu đữ liệ u 22 3.1 Siêu liệu giai đoạn xây dựng 22 3.2 Siêu ỉiệu kiểm soát 23 3.3 Siêu liệu vận d ụ n g 25 Kiến trức Logic Kho liệ u 25 4.1 Dữ liệu nghiệp vụ kho ỉiệu 26 4,2- Kiến trúc Siêu liệu kho đữ liệu 31 4.3 Chỉ mục kho liệu (catalog) 34 III PHƯƠNG PHÁP XAY DỤNG KHO DỮ L IỆ U 34 Kế hoạch (The Basic pìan) 34 Quan niệm mức doanh nghiệp (The Enterprise View) 35 Luồng liệu qua kho liệu (Flow of Data Through the Warehouse) 3Ố So sánh mơ hình phát triển (Development Models Compared) 37 Mô hình thác nước (Waterfall) 37 4.2 Mơ hình xoắn trơn ốc (spiral) 38 4.3 Các pha phương pháp tiếp cận theo mơ hình xoắn ốc 39 Các giai đoạn thiết kế kho liệu (ĐW Database Design Phases) 40 5.1 Xác định mó hình nghiệp vụ (Defining the business model) 40 5.2 Xác định mò binh logic (Defininc the logical m odel) 40 5.3 Xác định mỏ hình Dimensnional (Defining the dimensional model) 40 5-4 Xác định mỏ hình vật lý (Defining the physical model) 40 K Ế T L U Ậ N 41 CHƯƠNG T H IẾ T K Ế KHO DỮ L IỆ U .43 I XÁC ĐỊNH MỊ HÌNH NGHIỆP v ụ VÀ MƠ HÌNH LOGIC (DEFINING TH E BUSINESS AND LOGICAL M O D ELS) 43 Xác định mơ hình nghiệp v ụ 43 l.í Phản tích chiến lược (Strategic Analysis) .44 1.2 Tạo mơ hình nghiệp vụ (Business models creation) 47 1.3 Tạo siêu liệu 52 Xác định mô hình logic (Defining the Logical Models) 52 II TẠO MƠ HÌNH DIMENSIONAL (CREATING THE DIM ENSIONAL M O D E L ) .53 Giản đồ hình s a o 53 Các thành phần giản đổ hình 53 Đặc điểm giản đồ hình 54 Vấn để đánh sỏ' (Index) 55 III TẠO MƠ HÌNH VẬT LÝ (CREATING THE PHYSICAL MODEL) .’ Kế hoạch thực 57 Mỏi trường thực (vừa tập trung vừa phản tán) .57 Lựa chọn hạ tầng 59 K ẾT LU Ậ N 60 PHẨN II: XÂY DỤNG KHO DỮ LIỆU THỬ N G H IỆ M .62 CHƯƠNG GIỚI THIỆU CÔNG c ụ XẢY DỤNG KHO D ữ LIỆU (ORACLE WAREHOUSE B U I L D E R ) 62 I KIẾN TRÚC VÀ KHẢ NĂNG CỦA SẢN PHẨM (PRODUCT A RCH ITECTU RE AND CA PA BILITIES) 62 Thành phần thiết kế (The Design Component) 62 Thành phđn thực thi (The Runtime Component) 63 Các thành phần Warehouse Builder 64 3.1 ứng dụng máy khách (Warehouse Builder Client Application) 64 3.2 Dịch vụ thực Warehouse Builder (Runtime Platform Service) * .! 65 3.3 Thành phần thiết kế Repository (WB Design Repository) 65 3.4 Repository WB thực thi (Warehouse Builder Runtime Repository) 65 3.5 Báo cáo kiểm toán (Audit Reporting Browser) .65 3.6 Báo cáo siêu liệu (Metadata Reporting Browser) 66 Đối urựng WB (Warehouse Builder Objects) 66 WB thực hệ thống dích (Warehouse Builder Deployment Targets) 66 II SO L ợ c QUÁ TRĨNH TẠO HỆ THỐNG NGHIỆP v ụ THÔNG MINH (OVERVIEW O F CREATING A BUSINESS INTELLIGENCE SY STEM ) .66 Bước 1: Tạo Project {Creating a Project) 67 Bước 2: Khai báo module nguồn đích (Defining Source and Target M odules) 67 Khai báo nguồn (Defining Sources) , 67 Bước 3: Khai báo trình chuyển đổi vận chuyển liệu 68 Bước 4: Kiểm tra hợp lệ sinh mã (Validating and Generating) .69 BướeS: Tạo thực (Deploying and Executing) 69 KẾT L U Ậ N .I Z 71 Kiến trúc khả sản phẩm 71 CHƯƠNG 5: XÂY DựSỈG KHO D ữ LIỆU TẠI PET R O L IM EX .72 Bài toán xây dựng kho liệu Petrolimex 72 Lựa chọn phạm vi xây dựng kho liệu thử nghiệm .73 Thiết kế thực kho đữ liệu thử nghiệm kho liệu 75 Khai thác kho liệu ! 82 4.! Trang nhập hàng hoá (Sheet-NHAP) 83 4.2 Trang xuất hoá (Sheet-XƯAT) .85 4.3 Trang tổn hàng hoá (Sheet-TON) 87 KẾT LU Ậ N .1 89 TÀI LIỆU THAM K H Ả O 92 M Ờ ĐẨU Trong năm qua với phát triển CNTT, hệ thống thòng tin đă phát triển mạnh vể số lượng, chất lương Đặc biệt doanh nghiệp tổn nhiều hệ thống thôna tin đa dạng phong phú Các nhà lãnh đạo ỉũn thiếu thơng tin phục vụ điều hành, chưa kể đến có thơng tin sai lệch chí mâu thuẫn việc sờ hữu khối lượng liệu khổng lồ Đến thời điểm nay, phương pháp xây dựng kho đữ liệu (Data Warehousing) phát triển lý thuyết thực tế Lý thuyết xây dựng kho liệu hình thành rõ nét, bên cạnh nhà cung cấp phần mềm đưa cơng cụ để xây dựng, trì phát triển kho liệu, Một kho đữ liệu giúp doanh nghiệp có khả quản iý liệu, khai thác thống tin phục vụ việc điều hành kính đoanh phù hợp Cũng doanh nghiệp khác, Petrolimex có mạng lưới ứng dụng nghiệp vụ cục đơn vị thành viên Việc tập hợp quản trị đữ liệu phạm vi tồn ngành để cung cấp thỏng tin cho "q trình phản tích, hoạch định chiến lược, hỗ trợ định" Irong mòi trường cạnh tranh hội nhập thách thức lớn mà Petrolimex tìm hướng giải Đề tài nghiên cứu lý thuyết, nắm phương pháp iuận còng cụ xây dựng kho liệu cụ thể, tạo tảng triển khai xây đựng kho liệu thực tế-hướng giải yêu cầu cùa tốn nói trên, Luận vãn bao gồm hai phần Phần í, trình bày sở xây dựng kho liệu, giới thiệu lý thuyết xây dựng Kho liệu Phần n, trình bày nội dung xây dựng kho liệu thử nghiệm, giới thiệu cồng cụ xây dựng kho liệu Oracle Warehouse Builder tốn kho liệu Petrolimex Tơi xin trân trọng cảm ơn hướng dản Tiến sĩ Nguyễn Tuệ Cảm ơn thầy cô giáo khoa Công nghệ, Viện CNTT, công ty Oracle Việt Nam đồng nghiệp đă nhiệt tình giúp tơi thực đề tài PHẦN C SỞ XÂY DỤNG K H O D ữ L IỆ* U « CH Ư Ơ N G G IỚ I T H IỆ U CH U N G V Ể K H O D Ữ LIỆ U Địẳìh n g h ĩa K h o d ữ liệ u - D a ta W a re h o u s e Có nhiều định nghĩa kho liệu, phổ biến định nghĩa kho liệu Bili Inmon: ”Kho đữ liệu tập hợp ỉiệu hướng chủ đề, mang tính tích hợp, thay đổi, đơn vị ỉiệu gắn với khoảng thời gian cụ thể Kho liệu thiết kế để hỗ trợ quản trị hỗ trợ định" Đ ặ c đ iể m d ữ liệ u tr o n g k h o d ữ liệ u Theo định nghĩa Bill Inmon Kho liệu có đặc tính gồm: Hướng chủ đề (Subject-oriented), Tích hợp (Integrated), thay đổi (nonvalatile), Tính thời gian cụ th ể (Time-variant) Một số định nghĩa khác Kho liệu có bổ sung thêm tính chất Kho liệu bao gồm liệu chi tiết liệu tổng hợp 2.1 Hướng chủ dề (Subject-oriented) Dữ liệu tập hợp, phân iớp, lưu trữ xử lý theo chủ để Các liậu mỗì chủ dề tổ chức liên kết khoá đại diện đưa vào vị trí, Ví dụ đữ liệu liên quan đến: khách hàng, sản phẩm, tài chính, bán hàng 2.2 Tích hợp (Integrated) Trong tổ chức có nhiều liệu từ nhiều hệ thống khác Việc hợp liêu trờ thành tập hợp liệu có nghĩa cho việc phân tích ỉà khó khăn Một tính chất Kho liệu hoằn thành q trình hợp hay tích hợp Cấu trúc liệu theo cách thức chung chấp nhận mặc đù xuất phát từ nhiều cấu trúc liệu nguồn khác Dữ liệu tích hợp phải đảm bảo tính qn, đơi chấp nhận tính dư thừa để tăng tính hiệu truy vấh 2.3 it thay ddi (nonvaiatile) Dü ii6u Kho dir li6u la d& lieu chi doc Warehouse Operational Load ■rfy Insert Read Update Delete Hmh s6 1: tinh chät it thay d6i cüa dü lieu kho dü lieu Dü lieu diroc tai (load) väo kho dir lieu o Idn däu ti£n dirdi dang ban tai möt thdi di^m (snapshot) vä sau thuöng xuy6n duoc lam tuoi (Refresh) Chu ky läm tiroi duoc xäc dinh theo y£u cäu nghiSp vu, cö nhung kho d£r liSu döi höi duoc läm tircri häng ngäy cö nhiing kho dü li6u chi cän duoc läm urcfi häng thäng Thöng tin Kho dü lieu duoc täi väo sau dur lieu hS thöng di£u hänh täc nghiep duoc xäc dinh Tinh it bi6n döi th6 hiön er chö: Du lieu duoc liru trü läu däi kho dir liöu, mac dü cö thäm dü li£u mcfi nhäp väo nhtmg dö li£u cö kho vän khưng bi xộ, dilu dư cho ph^p cung cäp thưng tin ve mưt khộng thưi gian däi, cung cäp dü so lieu cän thiö't cho cäc mö hinh nghiep vu phän tfch, dir bäo 2.4 Tinh thoi gian cu th^ (Time-variant) Möt kho chüa dü lidu bao häm möt khö'i luong lön dir lieu lieh sir Dü liSu duoc liru trü thänh möt Ioat cäc bän sao(snapshort), möi bän phän änh nhüng giä tri cüa dur li£u tai möt thöi di&n nhä't dinh, th£ hien möt khung nhin cüa möt vüng chü d l möt giai doan Do väy cho phep khöi phuc lai dü lieu lieh sir vä so sänh mộí cách xác giai đoạn khác Yếu tố thời gian đóng vai trị phần cùa khố để bảo đảm tính đơn hàng cung cấp đặc trưng thời gian cho íiộu 2.5 Dữ (iệu chi tiết ỉiệu tổng hợp Dữ liệu chi tiết thòng tin mức thấp lưu trữ Kho ỉiệu Dữ liệu tác nghiệp thơng tin mức thấp cho tồn xí nghiệp Dữ liệu tác nghiệp tuý không lưu trữ Kho liệu Dữ liêu tổng hợp liệu kết hợp từ liệu chi tiết lưu qua nhiều giai đoạn khác Nguyên lỷ CƯ (Basic Eỉements) Cptỉotìcnaỉ QữV0 DcJOyrhqợta ỮJ50W 0ftfws* u ã aroa ã Mk ã Ticnitonn ôtoieoraiô *Ckótft «toitgtoM • ĩìm*-vtoni *Nonvùtohi« • SummóoỉÉ Hình số 2: ngun lý kho liêu Cơ sở d ữ liệu nguồn (Source Database): Một CSDL tác nghiệp, trung tâm đữ liệu, hệ thống sắn có, làm đầu vào cho vùng định cư liệu Vùng định cư đữ liệu (Data Staging Area): Vùng lưu trữ liệu bình thường, đữ liệu dạng thơ dạng tổng hợp Quá trình định cư sử đụng số cổng cụ di trú (migration), công cụ làm (clean), chuyển tải đữ liệu (transformation) Sau đữ liệu sử dụng làm nguồn liệu đẩu vào cho nhiều kho liệu Đích (target): Nơi phát hiện, lưu trữ dừ liệu cho truy vấn trực tiếp người sử dụng cuối, tạo báo cáo ứn2 dụng khác khai thác kho liệu kho liệu cục Kho đữ liệu cục - Data m art Kho dừ liệu cục (Datamart) ià CSDL có đậc điểm giống với Kho đữ liệu với quy mô nhỏ lưu trữ liệu lĩnh vực, chuyên nsành Các Datamart hình thành từ tập liệu kho liệu hoăc xây đựng độc lập sau xây dựng xong, Datamart kết nối tích hợp lại với tạo thành kho liệu Vì xây đựng kho liệu bắt đầu việc xây dựng Datamart hay ngược lại xày dựng kho liệu trước sau tạo Datamart Datamarí kho liệu thứ cấp liệu tích hợp Kho liệu Đatamart hướng tới phần liệu thường gọi vùng chủ đề, tạo đành cho nhóm người sử đụng Dữ liệu Datamart cho thồng tin chủ đề xác định, toàn hoạt động nghiệp vụ diễn tổ chức Thể thường xuyên cùa Datamart kho liệu riêng rẽ theo phương diện vật lí, thường lưu trữ máy chủ riêng, mạng cục phục vụ cho nhóm người định Đơi Datamart kế? hợp cách đơn giàn với công nghệ OLAP theo quan hệ hình đặc biệt tạo siêu khối (hypercube) đữ liệu cho việc phân tích nhóm người có mối quan tâm phạm vi liệu Có thể chia làm loại: Datamart độc lập Daíamart phụ thuộc Datamart phụ thuộc, chứa liệu ỉấy từ Kho liệu đữ liệu trích lọc làm sạch, tích hợp ỉại mức cao để phục vụ chủ đề định Datamart Datamart độc lập: không giống Datamart phụ thuộc, DM loại xây đựng trước DW liệu trực tiếp lấy từ nguồn Phương pháp đem giản chi phí thấp đổi lại có điểm yếu Mỗi Kho liệu độc 79 Sau k h i kiểm tra tính hợp ỉệ, sinh mă thành công cho tất D im ensio n C ub tabíe Chúng ta dùng tính “ D e p lo y” để kết nốỉ thực đoạn mã lệnh định nghĩa đữ liệu m ột S0 liệu vật lý yir« [«obucH S el SJlttSRTWE a OMHWOHOA P.SOUPCE $■¿2CNm ensiOns a omKKû y C/IHM OAYNDƠ D**^ aaftri o*&Qf*£t>on Dgfjtggg ;Qẹyfty3tt*i* LOtÉflta tow HNOtD«pí0*ớ «TRÛ.L P_W0ET Nợnê Crt.wiuôd ã* Cif ft* SflCKX13nằ#fwSutMS China Mớ * Crôằn 5nằ4 111-37p* fr 3ucr»i* £nanti*4 ¿i DIMMHOMW H ClMflflM O cilihBír ChttQềO PETHOJ P_T*ïGfT PenWjL PJTMTO6T “•Cftat# ÿtMMillJT r* *•CiMtt y io » * 1ft 37 f>* fc Succ«S * Crew Vi1/04 ]?PMrôSuccrss rerfĩTẽ pr?rfT "peợr o j L p jr ^ o ê f pet*o',L p^AflOET DIIIHW0KOA CHMmo hp»t owNOAVTiKT Li#.- DtmiHCW MH OưBNXĨ T«les - * ij vunn MsiirialtwdVI«W ‘ Íjétrn* HỊ&Mvartt»dQutui« trì s«u*tt|j k>*C0tfnfctar$ 3>£r*»uồUrr*f\*wmwb«w %c*caơn< H ìn h số 17: K ế t tiến trình thưc h iên - D ep lo y C ông cụ O W B giúp ta thiết k ế , quản trị th ay đổi cập nhật c c siêu liệu giai đoạn x â y dựng (cấu trúc D im e n sio n , C U B , T a b ỉe ) cách dễ đàng Sau kh i thực kh o liệ u c sờ liệ u “ P E T R O " cấu trúc cá c bàng dạng vật lý m ô tả ch i tiết n h sau: D im K h o , bảng kh o xăng dầu gồm cấu trúc trường: STT T ê n trương K H O JD K iể u dl VARCHAR2 Đ ộ rộng M ô tả M ã kho BO KHO TEN VARCHAR2 30 T ên kho D im N h o m h h , bảng N hóm hàng hố gồm cấu trúc cá c trường: STT T ê n trường K iể u dl Đ ộ rộng N H O M _ H H O A _ ID VARCHAR2 M tả M ã nhóm hàng hố, khố N H O M _H H O A VARCHAR2 30 T ê n nhóm hàng hố Đ im H an g h o a, bảng H àng hố gổm cấu trúc trưịng: STT I T ê n trường K iể u đl H A N G H O A ID VARCHAR2 Đ ộ rộng M ô tả Mã nhóm hàng hố, khố ch ín h VARCHAR2 H A N G H O A _T EN 30 Tên nhóm hàng nhóm hàng hố H A N G H O A _ N H O M _ ID VARCHAR2 Mâ hố,khố ngồi D im n g a y n x t, bảng ngày nhập xu ất tồn gồm cấu trúc c c trường: STT T ê n trường K iể u dl N G A Y N X T _ ID D ATE Đ ộ rộng M õ tả N g ày nhập xu ất tồn C u b n x t, bảng nhập xuất tồn hàng hoá gồm cấu trú c c c trường: STT T ê n trường K iể u dl Đ ộ rộng M ô tả 81 I G IA N H A P N U M BER 12 G iá nhập hàng hoá G IA X Ư A T N U M BER 12 G iá xuất LU O N G N H A P N U M BER 15 Lư ợ ng nhập LƯ O N G XU A T N U M BER 15 Lư ợ n g xu ất H A N G H O A JD VARCHAR2 M ã hàng hoá K H O _ ID VARCHAR2 K h o hàng hoá N G A Y N X T ID D ATE N g ày nhập xu ất tồn Sau k h i thiết k ế kh o liệ u đ ích , xá c định đữ liệ u nguồn C hú ng ta sử đụng tính m apping O W B để thực quản trị ánh x liệ u từ nguồn tói đ ích H o ặc đùng công cụ S Q L * lo a d e r O cle D atabase để tạo c c lệnh load liệu từ nguổn vào đ ích T h ự c h iện trình chu yển tải đữ liệ u từ nguồn vào đích liệu tập lệnh x lý theo lô (b atch) ỉập lịc h 82 K hai th c k h o d ữ liệu Chúng ta sử dụng công cụ O racle D isc o ve ry để tru y c p kh a i thác D im en sio n C ub table sờ liệu “ Petro” thiết k ế phần Sử dụng công cụ O cle D isco ve ry A d m in istrato r để thiết k ế quản trị siêu đữ liệu vận dụng, Siêu đữ liệu siêu liệ u tải từ kh o liệu ỉên, sử dụng số siêu liệu đẫn x u ấ t cho bảng C U B N X T , ch i tiết siêu đữ íiệu đẫn xuất mơ tả bảng sau: STT T ê n trưởng Công thức l N G A Y N X T JD _Y E A R N ăm ngày nhập xu ất tổn N G A Y N X T _ ID _ Q u a te r Q u í ngày nhập x u ấ t tồn N G A Y N X T _ BD Month Th án g củ a ngày nhập x u ấ t tồn N G A Y N X T „ D ay N gày nhập xu ất tồn TO N D AU T O N C U O I củ a N G A Y J D - TO N CUO I T O N D A U + LU O N G N H A P -LU O N G X Ư A T T ie n N h a p Lu o n g n h ap *G ian h a p T ie n X u a t L u o n g X u a t* G ĩa X u a t T ỉe n T o n c u o i T o n c u o i*G ia N h a p 83 V i công cụ O cle D isco ve re r D esktop, kho liệ u thiết k ế Người dùng cu ố i tạo báo biểu theo c h ỉ tiêu rìhập xu ất tổn m ềm dẻo (không định trước) như: 4.1 Trang nhập hàng hoá (Sheet-NHAP) T n g n y thiết kế , có khả thiết k ế đào xâ u ( D r ill d o w n) theo chi tiêu m ột c ch mềm dẻo số lượng, tiền nhập hàng hoá theo cá c năm , q u í, tháng c h í theo m ột k ỳ định nghĩa k h i k h a i th ác, cho m ột tập nhóm c h ỉ tiê u : C c K h o nhập hàng hố, N hóm hàng hố nhập, H àng hố nhập V í dụ báo cáo theo c h ỉ tiêu: C c hàng: K h o -> N h ó m hàng hố->hàng hố; C ắc cột: N ă n » Q uí-> T h n g •> N gày H oặc C c hàng:N hóm hàng hố->hàng h o -> K h o ; C c cột: Năm -> Q -> T háng -> N g ày ® Q» ta s a iíiỉ •' 33 □ n 12 X ffica— + * ị ỹj S3 n í ;X + ^ * * « Ị* ■ ■*> « T & ' 't i ► : 5? •JOB _ *2003 Lww|jiifi*p l.PHOY300UT 1NHONDONGCO I.GASH0AU3N0 ■1 •Phuynhom300L»«* KHOXANGQAAJ TAY iw i iCTYffiOGHEW« J»1 IWrtlCI ;! 2.138 WKÜVOC3 "■ '1 ¡KHMvgcs w jcry XD812 2n* ;KWmC2 !i 3Í32 Phujn*»maCOLü««*0'KHOXWƯwy MCNTAV: j _ 9.S16 CTY»NƯH6T*»< ¡0*3 11371 :KHUWC1 IWWCJ )!Ä>7 n#ß KHUVW5 14,233 CTYW91J ia,496 :KKUWC2 i - WC-20 KMOXANÖQ*u>*NTAY ; 3SJ9I3 37529 : cn 50NGHÊĨ1NH jm jwci 36.930 ĩOJWC3 40.OT iKHĩVVCS L 1 M A&/Tthong khả nãng kh thác đầu mểm đẻo K Ế T LU Ậ N P etro ỉim ex có địa bàn trải rộng tồn quốc vớ i tỷ lệ thị phần chiếm tói % L doanh nghiệp xuất nhập khẩu, nguồn xăng dầu dược nhập từ nước g iớ i, nãm gần g íá dầu g iớ i liê n tục tảng T ro n g kh i giá xãng dầu nước phải tuân thủ theo giá trần nhà nước qui định Ngoài nhiệm vụ kin h doanh, m ang lạ i lợ i ích k in h tế T ổ n g công ty xăn g dầu V iệ t nam cịn phải thực nhiệm vụ ch ín h trị “ đóng vai trị chù đạo ưong lĩn h vực kìn h doanh xăng dầu, khơng phép để x ả y tình trạng thiếu nguồn dẫn tới sốt hàng hoá” Trư c yêu cầu phát triể n , hội nhập, yêu cầu đảm bảo g iữ vũng bình ổn thị trường xăng đầu nước kh i thị trường xảng đầu g ió i biến động ngày phức tạp T ổ n g công ty xăn g dầu V iệ t nam cần có m ột kh o liệ u , tập hợp quản trị k h ố i lượng liệu khổng lồ tạỉ c c đơn v ị thành v iê n , cung cấp thông tin cho nhà lãnh đạo đ ịn h nghiệp vụ V iệ c x â y dựng kho liậ u ià công việc phức tạp, tốn nhiểu thdi gian, Đ ố i với việc x â y dựng kho liệu thực tế Tổng công ty xăng dầu V iệ t nam đòi hỏi phải h u y động m ột ngổn lự c {ngân sách, người, thời g ia n ) lớn T h ự c tế x â y dựng thành công kh o ĩiệu đẫ c h ỉ “ cần phải tập trung vào k h ía cạnh nghiệp vụ tập trung vào k h ía cạnh cơng nghệ” Đ ề tài n ày nghiên cứu k ỹ lý thuyết v công cụ x â y đựng kho liệ u , vận dụng vào m ột lĩn h vực thực tế P e tro lim e x-ĩĩn h vự c quản lý nhập xu ất tồn hàng hoá M ặc dù đề tài x â y dựng kho đữ liệ u thử nghiêm cho m ột ĩĩn h vực quản lý hẹp, song mơ h ình củ a tốn m ang tính điển h ìn h , bao gồm cơng việc cần thiết phải thực k h i x â y dựng kho ỉiệu V ể m ặt nghiệp vụ , toán nhập xu ất quan hệ m ật thiết vố i tốn điểm hồ vốn, tốn hao hụt, tốn điểu đơ, có m h ình nghiệp vụ tương tự nghiệp vụ quản trị công nợ (tồn đầu nợ đầu k ỳ ; nhập phải th u; xuấtphải 90 trả; nhập — xuất phát sinh k ỳ ; tổn cuốinợ cuố i k ỳ ) , tương tự c c nghiệp vụ quản trị tài kh o ả n để tài thực thành công với nghiệp vụ nhập xu ất tồn, chứng m inh cho khả thực thành còng nghiệp vụ kh ác V ề m ặt công nghệ, để tài sâu nghiên cứu, cài đặt triển kh a i sử dụng thành công công cụ hỗ trợ x â y đựng kho đữ liệu thực tế củ a P e tro lim e x theo m ỏ hình đữ ỉiệ u tầng, lớp siêu liệu: M hình kiên trúc liệu : - T ần g 1: tầng liệ u tác nghiệp — tồn cá c chương trình nghiệp vụ c c đơn vị thành viên (đữ liệu có định dạng F o xp ro tập hợp thổng qua cá c tiện ích F T P củ a chương trình nghiệp vụ ) - T ầ n g : D ữ liệu tương th ích , đữ liệu ánh xạ tải từ tầng liệ u tác nghiệp vào kho liệu , (s đụng công cụ S Q L * L o a d e r, chuyển liệu từ file có định dạng F o xp ro vào kh o liệu O cle Database) - T ầ n g : D ữ liệu đẫn xu ấ t, liệ u dẫn xuất từ cá c liêu tương th íc h , nhằm cung cấp thơng tin có n gh ĩa, gần gũi với nghiệp vụ người sử dụng c u ố i M ố h ình kiế n trúc siốu liệ u : - Siêu liệu giai đoạn x â y dựng B a o gồm c c sieu liệ u nguổn, đ ích trình ánh x liệu (s đụng cơng cụ O cle W arehouse B u ild e r) - Siôu liệ u vận dụng B ao gổm siêu đữ liệ u kho liệu v siêu ỉiệ u dẫn xu ất D ù n g công cụ O ỉce D is c o v e ry A d m in istra to r để định ngh ĩa siêu liệu siêu ỉiệu dẫn xu ất để người dùng cuố i k h a i thác qua cơng cụ O ralce D isc o v e ry D esktop (O c le D isc o v e ry A d m in istrato r, O cle D isc o v e ry Destop) 91 Đ ề tài thực m ột bước chuẩn bị m ật lý thuyết, cống cụ đặc biệt m ột nghiệp vụ điển hình thực tế Đ ể sẵn sàng cho việ c tổ chức triển kh a i m ột kho liệ u theo yêu cầu thực tế Petxo lim ex 92 T À I L IỆ U T H A M K H Ả O J O c le i D isc o v e ry A d m in istrato r, R elease ; T trang l đến trang O c le i D isc o v e ry D esktop, R elease ; T trang Î đến ưang D ata W arehouse D atabase D esign M L e a Shaw E d itio n 1.0 A u g u st 2001 T trang 1-2 đến trang 1-38 O c le i W arehouse B u ild e r In sta ll and C o nfig uratio n G u id e , R elease T trang 25 đến trang O c le i W arehouse B u ild e r U se r G u id e , R e le a se 9.2 T trang 41 đến trang 573 9.2 ... sau xây dựng xong, Datamart kết nối tích hợp lại với tạo thành kho liệu Vì xây đựng kho liệu bắt đầu việc xây dựng Datamart hay ngược lại xày dựng kho liệu trước sau tạo Datamart Datamarí kho liệu. .. XÂY DựSỈG KHO D ữ LIỆU TẠI PET R O L IM EX .72 Bài toán xây dựng kho liệu Petrolimex 72 Lựa chọn phạm vi xây dựng kho liệu thử nghiệm .73 Thiết kế thực kho đữ liệu thử nghiệm kho liệu. .. Kho đữ liệu cục bộ, xét theo khía cạnh tập hợp kho đữ liệu cục tập kho liệu, dùng trung lĩnh vực cụ thể Có thể xây đựng kho liệu cục trước hợp thành kho dư liệu chung ngược iại xây dựng kho liệu