Bước 3: Khai báo quá trình chuyển đổi và vận chuyển dữ liệu

I. KIẾN TRÚC VÀ KHẢ NĂNG CỦA SẢN PHẨM (PRODUCT

3. Bước 3: Khai báo quá trình chuyển đổi và vận chuyển dữ liệu

Sau k h i k h a i báo các m ođuíe nguổn, đ íc h , tạo quá trình chu yển đổi và vận chuyển lo g ic. Q u á trình này được xem như là tạo E T L lo g ic. Công việ c chủ yếu kh i thiết k ế kho d ữ liệ u là thiết k ế tiến trình E T L lo g ic. C húng ta có thể sử dụng các thành phần để đ ịnh nghĩa quá trìn h chuyển đổi vằ vận chu yển dữ liệu trong W B : T ra n sfo rm a tio n s, M ap p ing s, Pro cess F lo w s .

Sử đụng những đ ố i tượng n ày để kh ai báo quá trình ch u yển đ ổ i, vận chuyển dữ liệu từ nguồn tới đ íc h , Đ â y là m ột tập hợp các toán tử ánh x ạ cùng với công cụ M apping E d ite r như m ột thư v iệ n sẵn có cho v iệ c chu yển đ ổi. dể thêm thông tin tham kh ảo "Part I I , D esig n in g E T L O b je cts" trong cuốn U se r's G u id e O W B của O racle.

T h iế t lập cấu hình (C o n fig u ra tio n )

T h iế t lập c á c thông số cấu hình củ a quá trình ánh x ạ dữ liệ u để kh ai báo các thuộc tính vật lý củ a các đối tượng, cấu hình c á c tham số để tối ưu hoẩ hệ thống

69

đ ích. C húng ta có thẻ’ sử dụng c á c giá trị ngầm đ ịn h , để thẽm thông tin về thiết ỉập quá trình ch u yển đ ổ ì, vận ch u yể n đ ữ liệ u xe m "C h ap ter 11, C o n fig u rin g E T L O b je cts” trong cuốn U s e r’s G u id e O W B củ a O ra c le ,

4 . B ư ớ c 4 : K iể m t r a hợp lệ v à s in h m ã (V a lid a t in g a n d G e n e r a tin g )

Sau k h i bạn đ ịnh n ghĩa các m odule nguổn, m odule đ ích và quá trình chuyển đ ổ i, vận chu yển đ ữ liệ u E T L lo g ic , chúng ta kiể m ư a tính toàn vẹn v à sin h m ã lệnh, kiểm tra lỗi để thực hiện.

K iể m tra tính hợp lệ (v a lid a tio n )

C húng ta có thể kiể m tra tính hợp ỉệ củ a tất c ả c á c đối tưọng v à m ođuỉe để đảm bảo rằng không có kh a i báo nào b ị không hợp lệ hoặc không đ ầy đủ. N ếu xu ất hiện sự khồng hợp lệ hoặc không đ ầy đ ủ , chúng ta có thể sử đụng công cụ (E d it ) để sửa. Nếu tất cả c á c m odule v à đối tượng họp lệ , chúng đã sẵn sàng cho v iệ c thực hiện sin h m ã.

S in h m â (G e n e r a tio n )

C hú ng ta có thể sin h m ã và xe m trước k h ỉ thực hiện c á c m ã n ằ y , L o ạ i m ă được sinh ra tuỳ thuộc vào cấu hình tham số cho hệ thống đ íc h . K h i sin h m ã chúng ta cũng có thể g hi lạ i các m ã này để thực hiện m ột cá ch ríỗng rẽ ngoài công cụ W B . 5 . B ư ớ c 5 : T ạ o v à th ự c h iệ n (D e p lo y in g a n d E x e c u tin g )

Sau kh i hoàn thành v iệ c thiết k ế hệ thống đ ích lo g ic, chúng ta sẽ thực hiện hệ thống đ ích . C hứ ng ta phải c à i đặt m ôi trường thực h iện R e p o sito ry v à k h a i báo kết nối R u n tim e R e p o sito ry trước k h i thực h iện. W B cung cấp h a i phương pháp để thực hiện. C húng ta có thể thực hiện trực tiếp ngay trong m àn hình quản trị (co n so le) hoặc sử dụng thành phần D eplo ym ent M an ag er tru y cập tới W B R e p sito ry . Chúng ta có thể sử dụng D e p lo ym e n t M an ag er để thực hiện tiến trìn h ánh x ạ , có thể kiể m tra tính hợp lệ và sin h m ã trước kh i thực h iện.

70

K h i chúng ta thực thi chúng ta phải chọn kết nốt thực thi R ep o sito ry, kết nối này kh a i báo R u n tim e R ep o sito ry được lưu trong dữ liệu thực hiện.

T rư ớ c k h i thực th i, chúng la phải cài đặt R u n tim e R ep o sito ry và tạo kết nối

R u n tim e R ep o sito ry. K ế t nối R u n tim e R ep o sito ry m ò tả kết nối tới Runtim e

R ep o sito ry để thực thi và quản trị. Đ ể biết thêm thông tin về R u n tim e Rep ository xem thêm tài liệ u : "O ra c le 9 i W arehouse B u ild e r In sta llatio n and C onfiguration G u id e ".

Sử dụng Deployment Manager.

C ông cụ được cung cấp n hư một thành phần trong W B giúp bạn quản trị m ôi trường thực th i, cập nhật và thực hiện các tiến trình ánh x ạ . chúng cũng cho phép xem các thông tin về những lẩn thực thị trước (D e p lo y ).

Việc xem, báo cảo kiểm toán thực thi (Viewing Deployment and Execution Audit Reports)

Sừ đụng còng cụ W B R u n tim e A u d it B ro w se r để xem các nhật k ý về quá trình thực thi c á c tiến trìn h ánh x ạ dữ liệ u .

71

O ra cỉe9 / W arehouse B u ild e r là một công cụ nghiệp vụ thông m inh (business in te llig e n ce ), nó cung cấp g iả i pháp tích hợp cho thiết k ế và thực hiện kho dữ liệu cấp doanh nghiệp, kho dữ liệu cụ c bộ, và các ứng dụng nghiệp vụ thông m inh. C hú ng g iải quyết các vấn đề phức tạp của dữ liệu tích hợp từ các dữ liệ u tản mát nguồn và đ ích . N goài ra công cụ còn có tính nẫng m ờ rộng cung cấp các chức năng cần thiết để bảo trì vòng đ ời hê thống được phát triển. Chương đã trìn h b ày hai phần:

Kiến trúc và khả năng của sản phẩm

- Th à n h phần thiết k ế (T h e D e sig n Com ponent)

- Th à n h phần thực thi (T h e R u n tim e Com ponent)

- C á c thành phần ch ín h củ a W arehouse B u ild e r: ứng dụng m á y kh á ch , D ịc h vụ

nền thực hiện W arehouse B u ild e r, T h à n h phần thiết k ế R ep o sito ry, R ep o sito ry W B thục th i, nhật k ý , B áo cáo siêu dữ liêu

Sơ lược các bước tạo dựng một hệ nghiệp vụ thông minh.

D ùng W B để x â y đụng kho dữ liệu, chúng ta cần phải qua các bước sau: Bước 1: T ạ o P ro ject (C re a tin g a Pro ject)

Bư ớc 2 : K h a i báo hộ thống nguổn và đích

Bư ớc 3 : K h a i báo quá trìn h ch u yển đổi và vận chu yển dữ liệu Bước 4 : K iể m tra toàn vẹn và sinh m ã (V a lid a tin g and G enerating) B ư ó c5 : T ạ o v à thực hiện (D e p lo y in g and E x e c u tin g )

72

CHƯƠNG 5: XÁ Y DỤNG KHO DỮ LIỆU TẠI PETROLIMEX 1. Bùi toán xây dựng kho dữ liệu tại Petrolimex

T rư ớ c tình hình cạnh tranh trong thị trường kin h doanh xăng dầu trong nước ngày càng g ay gắt, thị trường k in h doanh xăng dầu trên thế g iới biến động, xu hướng h ội nhập quốc tế .... P e tro lim e x có nhu cầu x â y đựng và phát triển hệ thống thông tin đủ m ạnh nhằm đáp ứng yẽu cầu quản trị, tổng hợp, phân tích , dự báo và hỗ trợ ra q uyết đ ịnh cho c á c cấp lãnh đạo (từ Tổng công tỵ tới Công ty thành v iê n ).

H iện tạ i, P e tro lim e x đã triển khai và sử đụng hệ thống ứng đụng nghiệp vụ tại các mạng cụ c bộ của tất c ả các đơn v ị thành viên . H ệ thống quản ỉý nhiều lĩn h vực khác nhau: k in h doanh, k ế toán, nhân sự, tiên ỉương, kho bể, cử a h àn g ....

N h ìn từ phạm v i toàn tổng công ty , các hệ thống ứng dụng n ày chưa có sự tích hợp chặt c h ẽ , c h ỉ dừng iạ i ở m ức kết xu ất các báo cáo thống kê theo định k ỳ , truyền

về vãn phòng T ổ n g công ty . T ạ i V P T C T Y , các phòng ban nghiệp vụ tổng hợp số liệu

từ các báo cáo n ày để đáp ứng nhu cầu thống kê báo cáo . H ệ thông chư a có kh ả năng liê n kết số liệ u từ các phòng ban khác nhau, chư a c ó k h ả nâng quản tộ , phân tích , so sánh v à d ự báo theo các khoảng thời gian tu y ý .

N h ìn từ phạm v ị cụ c bộ đơn v ị , D ữ liệu đã có nhưng m ói được quản lý cụ c bộ ở

các phòng ban, ch ư a có sự nhất quán trong từng đơn v ị. C á c hệ thống ứng dụng ch ỉ

dừng ỉại ở m ức thống kê nghiệp vụ phát sinh theo phạm v i phòng nghiệp vụ tại văn phồng, kho bể và cửa hàng của c á c đơn v ị thành viên m à chưa có sự tích hợp dữ liệu trên phạm v i toàn công ty .

N ắm rõ hiện trạng các hệ thống ứng đụng nghiệp v ụ , đứng trước yêu cầu phát triển hệ thống thông tin phục vụ điẻu hành sản xu ất kin h doanh. Ban lãnh đạo Pe tro lim ex đã đề ra định hướng ch iế n ỉược đầu tư phát triển m ạnh mẽ hệ thông thông tin . T ổ c h ứ c thực h iện định hướng chiến lược n ày bằng các đề án cụ thể, một trong số các đề án g iả i quyết những hạn c h ế nẽu trên ỉà x â y dựng kho dữ liệu .

Đ ể án x â y dựng kho dữ liệu là một dề án ỉớ n , có phạm v i rộng và thời gian thực hiện kéo dài (3 '> 5 n ăm ). V ớ i kh ố i iượng công v iệ c khổng lổ : song song với

73

việ c: "tổ ch ứ c trích chọ n, vận ch u yể n và tích hợp dữ liệ u từ hệ thống ứng dụng vào kh o đữ liệ u ” là v iệ c “ chuẩn hoá lại các qui trình quàn lý và cung cấp dữ liệ u ” ... 2. L ự a ch ọ n p h ạ m v i x à y d ự n g k h o d ữ liệ u th ử n g h iệ m .

Q uản lý hàng hoá tồn kho trong phạm v i m ột đơn v ị là điều tương đối đơn giản và đã được thực thi từ nhiều năm n a y , tu y nhiên công tác quản lý hàng hoá tồn kho trên phạm v i toàn tổng công ty là tương đối phức tạp. Phức tạp từ nơi xu ất phát thống tin nghiệp vụ tới những hệ thống phân tích số liệ u để hỗ trợ ra c á c quyết định điểu hành kin h doanh.

T h ị trường k in h doanh x ă n g dầu thế g iớ i ngày càng biến động theo chiều hướng không có lợ i cho những n hà nhập khẩu xăng dầu (từ vài năm n a y , g iá dầu thế g iói ỉiẻ n tục tăn g ). M ô i trường hoạt động k in h doanh xăn g đầu trong nưởe, cạnh tranh ngày càn g g ay gắt. T rư ớ c những qui đ ịnh quản lý k in h doanh xăn g dầu ngày càng chặt chẽ của nhà nướ c, sức ép củ a người tiêu d ù n g ....đ ò i h ỏ i quản lý kin h doanh xăng dầu phải được tổ ch ứ c thực hiện m ột c á c h hợp lý , để giảm giá thành.

Q u ản lý tổn kho hàng hoá đóng vai trò quan trọng trong c á c điều hành k in h doanh. Q u ản ỉý tồn kh o hàng hoá nhằm cung cấp thông tin hỗ trợ lãnh đạo ra quyết đ ịnh : nhập hàng hoá, nhập bao n hiêu ? nhập vào kh o nào? k h i nào thì n h ậ p ? ....

Thô n g tin về tổn kh o hàng hoá sẽ giúp các nhà iãnh đạo ra quyết định đem lạ i hiệu quả kin h doanh: giảm thiểu c h i p hí lư u k h o , c h i p hí hao hụt luôn luôn chủ động cân đ ố í, điểu độ nguồn nhập xu ất đáp ứng yêu cầu “ ổn đ ịnh nguồn hàng’' cung cấp cho thị trường.

T ro n g k in h doanh, xuất bán hàng hoá. T h ô n g tin về hàng hoá tổn kho sẽ giúp nhà lãnh đạo q uyết định k ý và thực thi các hợp đổng cun g cấp nhiên liệ u , chớp cơ hội kin h doanh tốt hơn.

N goài ra quản lý tổn kho hàng hoá còn liê n kết chặt chẽ (tích hợp) với các nghiệp vụ k h á c như bài toán g iá , đ iểm hoà v ố n ... cho đến b ài toán quản iý hệ thống kh o bể.

74

C á c yêu cầu quán lý tồn kh o hàng hoá. H ệ thống x â y dựng nhằm trả lời các câu hòi củ a nhà lãnh đạo ờ mức c a o như:

- H iệ n tại trong toàn ngành lượng tồn kho hàng hoá củ a từng loại mặt hàng như

th ế nào ? tỷ trọng tổn kho tại c á c kho? lượng ch i tiết củ a m ỗi loại mặt hàng đang được chứ a (tồn ) ờ nhũng kh o n à o ? ....

- Phân tích so sánh lượng hàng hoá nhập, xu ấ t, tổn theo các k ỳ thời g ia n .... c h i

tiết tới từng kh o , từng nhóm mặt hàng, từng m ặt hàng theo m ột thời gian nằo đó.

C ô n g v iệ c quản lý tồn kh o hàng hoá được thực hiện ở bộ phận kin h doanh,

xu ất nhập k h ẩ u , tu ỳ thuộc vào n ộ i dung yêu cầu củ a ỉănh đạo công tác này sẽ được tổ chức thực h iện theo hình thức sau :

C á c đơn v ị g ử i báo cáo tổn kho hàng hoá theo định k ỳ q ua đường E - m a il/ F a x (báo cáo n ày đẫ được hệ thống quản lý nghiệp vụ tại đơn v ị hỗ trợ thực h iệ n ). T ạ i phòng k in h doanh, cán bộ nghiệp vụ sẽ rà soát và tổng hợp thành các báo cáo trên phạm v i toàn ngành. K ế t quả n à y được ch ia sẻ dùng chung vớ i các bộ phận nghiệp vụ liên q uan. V iệ c quản lý như v ậ y , gặp rất nhiều khó khản k h i lãnh đạo yêu cầu có thồng tin theo n g ày, tháng, q u í, nâm , yêu cầu thông tin trong quá khứ để phân t íc h ....v à luôn trong tình trạng bị động, độ tin c ậ y củ a thông tin bị nghi ngờ.

Phần thực tế củ a đề tà i thực hiện m ột phần của bài toán nói trên dựa trên m ô hình và dữ liệ u thực tế. N h ằm m ục đ ích đưa ra một m ô h ình trực quan về kho dữ liệ u m à P e tro lim e x cần x â y dựng trong tương la i gần.

75

Sau k h i thu thập c á c yẻu c ầ u , biểu mẫu về công tác quàn lý tổn kho hàng hoá.

Phân tíc h , thiết k ế mô hình kho d ữ liệu thừ nghiệm cho lĩn h vực quản iý hàng hoá

tén kho được c á c kết q uả như sau: D ữ liệ u nguồn:

D ữ liệ u nguồn được lấ y từ hệ thống ứng dụng quản ỉý nghiệp vụ tại từng đơn v ị, dữ liệ u đưới dạng c á c file củ a V is u a l F o xrp ro .

B a o gồm c á c file có cấu trúc như sau: o Bảng D m jk h o , D anh m ục kh o hàng

3. T h iế t kè và th ự c hiện k h o d ữ liệu th ử n g h iệ m k ho đ ữ liệu.

S T T T ê n cột K iể u d ữ liệ u độ rộng D iễ n g iả i

1 M a _k h o C haracter 8 M ã kho

2 T e n _k h o C haracter 4 0 T ê n kho

o Bảng D m _n h o m h h , Danh m ục nhóm hàng hoá

S T T T ê n cột K iể u d ữ liệ u độ rộng D iễn:g iải'.’."?' V ? Q

1 M a_n h o m h h C h aracter 6 M ẵ nhóm hàng hoấ

2 T e n _n h o m h h C h aracter 30 T ê n nhóm hàng hoá

o B ả n g D m _h a n g h o a , D anh m ục hàng hoá

S T T T ê n cột K iể u d ữ liệ u độ rộng D iễ n g iải

ỉ M a jh a n g h o a C h aracter 8 M ã hàng hoá

2 T e n „h a n g h o a C haracter 30 T ê n hằng hoá

76

o Bảng N h a p X u a tT o n , nhập xuất tồn hàng hoá

S T T Tồn cột K iể u d ữ liệu độ rộng D iễ n giải

I M a jk h o C h aracter 8 M ã kho

2 N g a y N X T Date N g ày nhạp xuất tổn

3 M a_h an g ho a C h aracter 8 M ã hàng hoá

4 S L _ n h a p N um ber 15 S ố iượng nhập

5 G ia _n h a p N um ber 12 G iá nhập

6 S L _ x u a t N um ber 15 S ố lượng xuất

7 G ia _ x u a t N um ber 12 G iá xu ất xuất

S ử dụng công cụ O ra c le D a ta W arehouse B u ild e r, thiết k ế c á c D im en sio n và Cub table ta được m ô hình sau:

OIM~HAN_HANOHOA_U>1 gíCUBNXT I GIANHAP g G1AXUAT uLUONGNHAP g IUONGXUAT % FK_CUBNXT„HANGhOA ^ FK~CUSNXT_KHO .FK~CUBNXT.NGAY H ình số 14:MỎ hình dữ liêu nháp xu ất tổn

77

C h i ỉiết các đơn v ị đo của bàng sự kiện C Ư B N X T được chụp tại theo h ìn h sau:

M Cube Properties: CUBNXT "Read/Write"

. . . M i S H í Ì ? _ l ằ Ì l P Ì ẵ j

List of treasures:

Name ' Data Type ■ Length Precision Ị Scale :

GIAN HAP NUMBER 12 0

GtAXUAT NUMBER 12 0 LUONONHAP NUMBER 15 0 LUONGXUAT NUMBER ■ 15 0 ... MBBL m a > j Ạád I gemove HI H e l p ! OK I Cancel j H ìn h số 15: T h u ô c tính củ a bảng C U B N X T

Sau k h i hoàn thành quá trin h thiết k ế c h i tiết cho các D im en sio n và C u b table. T a dùng các tính năng, kiể m tra tính hợp lệ (V a lid a te ), sin h m ã (G en erate) chú ng ta sẽ được kết quả là c á c file scrip t bao gồm các câu lệnh đ ịnh nghĩa dữ liệu .

78

JC Generation Results

View All OUiects

Ịouiect Oanerate Action Valuation Generation

Ị í? MY.PROJECT *

B P£TRO_LOCM- ộ Create

0 P_TARGET 9 Cube

:uBN>;T n ^ Create ''Success & Success « ©Drop

9 Replace

Ọ Uogríơ« ___ ___ ___ ___________ ___ ... . .. ... ■* i*J ■ ÌtạỊcMfi Script

Object Script Name OBJectType

CU8NXT CUBNXT.đđl TAfiLE !

CU8NXT S£ở_UK_NHAf>XUAĨTONctdl UNIQUE KEY

CỤ8NXT . FK_CUSNXT_HANGHOAddt FOREIGN KEY 1

CueNXT FJ<_CUBNXT.KHO dổl FOREIGN KEY

CU8NXT FK_CU8NKr.NOAY.<Jdt FOREIGN KEY

CU8NXT CUBNXr_ANALYZE.ƠđI ANALYZE ;

CU8NXT CU0NXT_COMM£NT ddỉ COMMENT

v'lewt;o<ỉe ?ave A?.

fcjelp ! _QK___ ;

79

Sau k h i kiểm tra tính hợp ỉệ , và sinh m ă thành công cho tất c ả các D im en sio n v à C u b tabíe. C húng ta dùng tính năng “ D e p lo y ” để kết nốỉ và thực hiện các đoạn m ã lệnh định nghĩa đữ liệu trong m ột c ơ S0 dữ liệu vật lý .

yir« [«obucH P.SOUPCE $■¿2 CNmensiOns DIIIHW0KOA CHMmo hp» t owNOAVTiKT Li#.- DtmiHCWMH OưBNXĨ ö T«les - * ij vunn Msiirialtwd VI«W1 ‘‘ÍEÉjétrn* HỊ&Mvartt»d Qutui« trì s«u*tt|j k>*C0tfnfctar$ 3>£r*»uồU rr*f\*wmwb«w %c<x>*caơn< Se l SJlttSRTWE a OMHWOHOA a omKKû y C/IHMOAYNDƠ ¿i DIMMHOMWH O cilihBír

D**^ aaftri o*&Qf*£t>on Dgfjtggg ;Qẹyfty3tt*i* LOtÉflta . tow

Crt.wiu«d China Mí £nanti*4 ClMflflM ChttQềO Nợnê •* Cif ft* * Cr«»n “• Cftat# *• CiMtt * Crew HNOtD«pí0*ớ «TRÛ.L. P_W0ET