ETL v噂i Pentaho Data Integration

Một phần của tài liệu Xây dựng kho dữ liệu trên nền tảng đám mây đáp ứng các dịch vụ bi cho công ty xây dựng và kinh doanh bất động sản (Trang 37 - 43)

Rgpvcjq"u穎"f映pi"eƒe"mj嘘k"z¤{"f詠pi"8吋"ejw{吋p"8鰻k"f英"nk羽w"e栄c"d衣p"x "eƒe"vƒe"x映" mjƒe0"Sw{"vt·pj"e»pi"xk羽e"8逢嬰e"z¤{"f詠pi"d茨pi"eƒej"u穎"f映pi"eƒe"d逢噂e"jq員e"o映e" pj壱r"mjk"d衣p"v衣q"eƒe"ejw{吋p"8鰻k"x "e»pi"xk羽e0"O厩k"d逢噂e"8逢嬰e"m院v"j嬰r"d荏k"o瓜v"d逢噂e" pj違{"ejw{吋p"nw欝pi"f英"nk羽w"v瑛"o映e"p {"ucpi"o映e"vk院r"vjgq0"

2.2.2.1 Ho衣v"8瓜ng tích h嬰p d英 li羽u

M瓜t cách hi吋u v隠 tích h嬰p d英 li羽u là phân tách quá trình l医r"8亥y kho d英 li羽u thành m瓜t s嘘 ho衣v"8瓜ng riêng bi羽t. Trong ti吋u m映c này, chúng tôi mô t違 m瓜t s嘘 lo衣i ho衣v"8瓜ng tích h嬰p d英 li羽u thi院t y院ụ 雲 c医r"8瓜 r医t cao, v医p"8隠 l医r"8亥y kho d英 li羽u bao g欝m ch雨 ba lo衣i ho衣v"8瓜ng chính:

Trích xu医t: Thu th壱p d英 li羽u t瑛 m瓜t ho員c nhi隠u h羽 th嘘ng ngu欝n. Ví d映: l医y và t違i t医t c違 h欝 u挨"mjƒej"j pi"8«"8逢嬰c thêm vào ho員e"vjc{"8鰻i k吋 t瑛 l亥n t違i d英 li羽u cu嘘i cùng.

Chuy吋p"8鰻k<"Vjc{"8鰻i hình th泳c và / ho員c n瓜i dung c栄a d英 li羽w"8吋 phù h嬰p v噂i c医u trúc c栄a kho d英 li羽w"8 ej0"X "f映: tra c泳u tên ti吋u bang và qu嘘c gia cho các khóa

T違i: Th詠c t院n "n逢w"vt英 d英 li羽u trong kho d英 li羽w"8 ej0" - Vt ej"zwXv"*Gzvtcev+

D逢噂e"8亥u tiên trong toàn b瓜 quá trình tích h嬰p d英 li羽u là thu th壱p d英 li羽ụ Quá

vt·pj"p {" vj逢運pi"8逢嬰c g丑i là chi院t xu医v0"Vj»pi"vj逢運ng, ngu欝n d英 li羽u là m瓜t h羽 th嘘pi"e挨"u荏 d英 li羽u quan h羽 t衣o thành ph亥n cu嘘i c栄a m瓜t s嘘 泳ng d映ng ho衣v"8瓜ng. Trong nh英pi"vt逢運ng h嬰p này, có th吋 truy c壱p d英 li羽u ngu欝n tr詠c ti院p thông qua k院t n嘘k"e挨"u荏 d英 li羽w0"Vtqpi"vt逢運ng h嬰p này, vi羽c khai thác có th吋 là m瓜t nhi羽m v映 v逢挨pi"8嘘i d宇 dàng. Tuy nhiên, có th吋 không ph違k"n¿e"p q"e pi"mj違 thi vi羽c truy c壱p tr詠c ti院p vào h羽 th嘘pi"e挨"u荏 d英 li羽ụ Có th吋 có các chính sách c医m truy c壱r"e挨"u荏 d英 li羽u ngoài 泳ng d映pi"8cpi"jq衣v"8瓜ng. Các h羽 th嘘ng ho衣v"8瓜pi"pi {"e pi"8逢嬰c mong 8嬰i ho員c yêu c亥u ph違i luôn s印p"u pi"x "vƒe"8瓜ng c栄a quá trình thu th壱p d英 li羽u có th吋 8挨p"ik違p"n "mj»pi"v逢挨pi"vj ej"x噂i các yêu c亥u nàỵ Trong nh英pi"vt逢運ng h嬰p này, d英 li羽u có th吋 c亥p"8逢嬰c trích xu医t t瑛 d英 li羽w"ucq"n逢w"j羽 th嘘ng ho員c t羽p nh壱t ký e挨"u荏 d英 li羽ụ M瓜t y院u t嘘 khác có th吋 làm ph泳c t衣p vi羽c trích xu医t là th詠c t院 r茨ng vj逢運ng không ph違i t医t c違 d英 li羽u ngu欝p"8隠u có th吋8逢嬰c thu th壱p t衣i cùng m瓜t v鵜 trí. Có th吋 có nhi隠u h羽 th嘘ng ho衣v"8瓜pi"8cpi"8逢嬰c s穎 d映ng mà t瑛8„"f英 li羽u c亥p"8逢嬰c thu th壱p. Trên th詠c t院, yêu c亥u báo cáo trên nhi隠u h羽 th嘘pi"vj»pi"vkp"vj逢運pi"n "8瓜ng l詠e"vj¿e"8育y các d詠 án BI và kho d英 li羽ụ

- Ejw{あp"8ごk"*Vtcpuhqtơ

B医t k吋 quá trình chuy吋p"8鰻i di宇n ra 荏 8¤w."8„"n "o瓜v"d逢噂c quan tr丑ng trong quy trình phân tích. Các phép bi院p"8鰻i chu育n b鵜 d英 li羽w"8吋rj¤p"v ej0"F逢噂k"8¤{"n "o瓜t s嘘 ki吋u ph鰻 bi院n nh医t:

- Eƒe"rjfir"dkxp"8ごk"e¬"dVp<"

‚ N o"u衣ej<"ejw{吋p"8鰻k"PWNN"vj pj"2"jq員e"$Pco$"vj pj"$O$"x "$P英$"vj pj"$H$." 8鵜pj"f衣pi"pi {."È

‚ Nq衣k"d臼"vt́pi"n員r<"Zƒe"8鵜pj"x "nq衣k"d臼"eƒe"d違p"ijk"vt́pi"n員r0"

‚ U穎c"8鰻k"8鵜pj"f衣pi<"Ejw{吋p"8鰻k"d瓜"m#"v詠."ejw{吋p"8鰻k"8挨p"x鵜"8q"n逢運pị"ejw{吋p" 8鰻k"pi {"1"ik運."È

- Ejw{あp"8ごk"fの"nkうw"p¤pi"ecq<"

‚ N丑e<"Ej雨"ej丑p"eƒe"j pi"x "1"jq員e"e瓜v"pj医v"8鵜pj"

‚ M院v"j嬰r"f英"nk羽w<"Nk‒p"m院v"f英"nk羽w"v瑛"pjk隠w"piw欝p"- x "f映<"vj‒o"f英"nk羽w"ejk"vk‒w" sw違pi"eƒq"vt‒p"pjk隠w"p隠p"v違pị"ej鰯pi"j衣p"pj逢"Iqqing"CfYqtfu"x "Hcegdqqm" Ads.

‚ Vƒej"F英"nk羽w<"Ejkc"o瓜v"e瓜v"vj pj"pjk隠w"e瓜v0

‚ F英"nk羽w"zƒe"vj詠e<"Zƒe"vj詠e"f英"nk羽w"8挨p"ik違p"jq員e"rj泳e"v衣r0"X "f映<"p院w"dc"e瓜v" 8亥w"vk‒p"vtqpi"o瓜v"j pi"vt嘘pi"vj·"v瑛"ej嘘k"j pi"8„"mj臼k"swƒ"vt·pj"z穎"n#0

‚ V鰻pi"j嬰r<"Ikƒ"vt鵜"8逢嬰e"v鰻pi"j嬰r"8吋"e„"8逢嬰e"v鰻pi"u嘘"nk羽w"v pj"vqƒp"x "n逢w"vt英"荏" pjk隠w"e医r"f逢噂k"f衣pi"ej雨"u嘘"mkpj"fqcpj0"X "f映<"e瓜pi"v医v"e違"eƒe"ikcq"f鵜ej"owc"o " mjƒej"j pi"8«"vj詠e"jk羽p0 ‚ V pj"vqƒp<"Eƒe"rj亥p"v穎"f英"nk羽w"8逢嬰e"v鰻pi"j嬰r"v瑛"pjk隠w"piw欝p"f英"nk羽w"x "e挨"u荏" f英"nk羽w0 ‚ V ej"j嬰r<"Ewpi"e医r"ejq"o厩k"rj亥p"v穎"f英"nk羽w"fw{"pj医v"o瓜v"v‒p"vk‒w"ejw育p"x噂k" o瓜v"8鵜pj"pij c"vk‒w"ejw育p0"V ej"j嬰r"f英"nk羽w"8k隠w"j”c"eƒe"v‒p"x "ikƒ"vt鵜"f英"nk羽w" mjƒe"pjcw"ejq"épi"o瓜v"rj亥p"v穎"f英"nk羽w0"

- Vtw{zp"VVk"*Nqcf+

D逢噂c k院t thúc trong quy trình ETL d英 li羽w"dc"d逢噂c là t違i các t壱p d英 li羽w"8«"8逢嬰c trích xu医t và chuy吋p"8鰻k"vt逢噂e"8„"x q"e挨"u荏 d英 li羽w"8 ej0"E„"jck"eƒej"8吋 th詠c hi羽n: 8亥u tiên là th詠c hi羽n các câu l羽nh c医w"vt¿e"nk‒p"swcp"8院n vi羽c chèn th栄 công t瑛ng b違n ghi trong m厩i hàng c栄a b違pi"e挨"u荏 d英 li羽u m映c tiêu c栄a b衣n. Cách ti院p c壱n t違i khác s穎 d映ng m瓜v"n逢嬰ng l噂n d英 li羽u, dành riêng cho vi羽c t違i d英 li羽u l噂n.

Câu l羽nh c医u trúc SQL có th吋 ch壱ọ"pj逢pi"p„"vk院n hành ki吋m tra ch医v"n逢嬰ng d英 li羽u v噂i m厩i m映c. M員c dù t違i s嘘 n逢嬰ng l噂p"pjcpj"j挨p"pjk隠u khi t違i m瓜v"n逢嬰ng l噂n d英 li羽w."pj逢pi"p„"mj»pi"zgo"zfiv"v pj"vq p"x姻n c栄a d英 li羽u cho m丑i b違n ghị T違i hàng lo衣v"n "n#"v逢荏ng cho các t壱p d英 li羽u mà b衣n tin r茨ng không có l厩ị

2.2.2.2 T違k"x "e k"8員t Ph亥n m隠m

Pentaho BI Suite là ph亥n m隠m mã ngu欝n m荏; chúng ta có th吋 t詠 do s穎 d映ng và phân ph嘘k"eƒe"ej逢挨pi"vt·pj"e栄a nó, chúng ta có th吋 nghiên c泳u và th壱m chí s穎c"8鰻i mã ngu欝n c栄c"p„0"X "ej¿pi"vc"8逢嬰c s穎 d映ng mi宇n phí.

Rgpvcjq"8逢嬰c l壱p trình b茨ng ngôn ng英 l壱r"vt·pj"Lcxc0"Vt逢噂c khi có th吋 ch衣y các

Ej¿pi"vc"e pi"e„"vj吋 s穎 d映ng Java 1.6. Chúng ta có th吋 tìm thêm chi ti院t v隠 t違i xu嘘pi" x " e k" 8員t Javạ Và có th吋 t違i xu嘘ng t医t c違 ph亥n m隠o" 8«" rjƒv" j pj" e栄a

Pentaho t瑛 trang web SourceForgẹ

Cách d宇 nh医v"8吋 tìm ph亥n m隠o"n "8k隠w"j逢噂pi"8院n

http://sourceforgẹnet/projects/pentaho/ và nh医p vào liên k院t T違i xu嘘ng. - [‒w"eZw"

T違i xu嘘pi"x "e k"8員t Java 8.0

T違i xu嘘ng MySQL Connector / J b茨ng cách s穎 d映ng MySQL Installer

T違i xu嘘ng Pentaho - E k"8pv" ‚ E k"8員v"Lcxc" ‚ Ik違k"pfip"O{USN"Eqppgevqt"1"L"s"Ucq"ejfir"v羽r","0lct"ucpi0"\ Data-integration \ lib (Pentaho). ‚ Mj荏k"8瓜pi"v羽r"Urqqp0dcv"vtqpi"vj逢"o映e"rgpvcjq0"

‚ D逸v" 8亥w rgpvcjq" d茨pi" Urqqp0dcv" vtqpi" vj逢" o映e" rgpvcjq0" Vtqpi" Vqqnu" s" OctmgvRnceg"s"E k"8員v"O{USN"Rnwikp0"Ucw"8„"mj荏k"8瓜pi"n衣k"rgpvcjq0" 2.2.2.3 T衣o Conection Nh医p vào k院t n嘘k"pic{"vt‒p"8亥w"s"Ej丑p"Qvjgt"Tgrqukvqt{s"Fcvcdcug" tgrqukvqt{"s"Igv"Uvctvgf"s"Fcvcdcug"eqppgevkqp"s"Pgy"s"Vtqpi"Eqppgevkqp" Type Ch丑n MySQL. Vtqpi"x́pi"e k"8員t:

- Hostname: Tên Host name/ Endpoint.

- Fcvcdcug"Pcog<"N逢嬰e"8欝"vtqpi"O{USN0

- Rqtv"Pwodgt<"U嘘"Rqtv"Pwodgt"*Fghcwnv<"5528+0 - Wugt"Pcog<"V‒p"pi逢運k"f́pi0

- RcuuYqtf<"O壱v"mj育w0

Nh医r"x q"Vguv"8吋 ki吋m tra k院t n嘘i n院w"QM"s"Pj医p vào Next. A«"jq p"v医t thi院t l壱p k院t n嘘ị

2.2.2.4 Kh荏k"8瓜ng máy ch栄 Pentaho BI

Vtqpi"vj逢"o映c chính c栄a Pentaho, b衣n s胤 tìm th医y m瓜t vài t壱p l羽nh có th吋8逢嬰c

s穎 d映pi"8吋 kh荏k"8瓜ng máy ch栄0"Pi逢運i dùng Microsoft có th吋 b医o"8¿r"x q"v壱p l羽nh có tên spoon.bat

2.2.2.5 S穎 d映ng Repository Browser

Có th吋 truy c壱p t医t c違 các ví d映 b茨ng trình duy羽v"Tgrqukvqt{"Dtqyugt0"*A¤{"n " pi<p" vt‒p" épi" e栄a thanh bên trái trong b違pi" 8k隠u khi吋p" pi逢運i dùng, có nhãn Browser.). Repository Browser cung c医p ch院8瓜 xem d衣ng cây có th吋8逢嬰c s穎 d映ng 8吋 m荏x "8„pi"eƒe"vj逢"o映e"vtqpi"mjq0"A吋 m荏 m瓜v"vj逢"o映c và hi吋n th鵜 eƒe"vj逢"o映c con c栄a nó, ch雨 c亥n nh医p m瓜t l亥n vào bi吋w"v逢嬰ng d医u c瓜ng ngay phía bên trái c栄a bi吋w"v逢嬰pi"vj逢"o映e0"Eƒe"vj逢"o映c con c栄c"vj逢"o映c s胤 hi吋n th鵜 d‒p"f逢噂k"vj逢"o映c m姻 và bi吋w"v逢嬰ng bên trái c栄a bi吋w"v逢嬰ng th逢"o映e"vjc{"8鰻k"8吋 hi吋n th鵜 d医u tr瑛, cho bi院t vj逢"o映c hi羽p"8cpi"8逢嬰c m荏 r瓜ng.

A吋 8„pi"o瓜v"vj逢"o映c và 育p"eƒe"vj逢"o映c con c栄a nó, hãy nh医p vào bi吋w"v逢嬰ng d医u tr瑛.

A吋 xem n瓜i dung c栄a m瓜v"vj逢"o映c, hãy nh医p vào bi吋w"v逢嬰pi"vj逢"o映c ho員c tên vj逢"o映c xu医t hi羽n ngay bên ph違i c栄a bi吋w"v逢嬰pi"vj逢"o映e0"Vk‒w"8隠vj逢"o映c s胤 hi吋n th鵜 tô sáng màu xám và n瓜i dung c栄a nó s胤 hi吋n th鵜 vtqpi"pi<p"p瓜k"fwpi"vj逢"o映c pic{"d‒p"f逢噂k"Tgrqukvqt{"Dtqyugt"n逢w"vt英

A吋 m荏 m瓜t m映c xu医t hi羽p"vtqpi"pi<p"V羽p, hãy b医o"8¿r"x q"o映e"8„0"Vjcq"vƒe" này s胤 m荏 ra m瓜t trang tab m噂i trong không gian làm vi羽c, hi吋n th鵜8亥w"tc"8逢嬰c t衣o b荏i m映c

2.2.2.6 Thi院t l壱p k院t n嘘k"e挨"u荏 d英 li羽u

M瓜t k院t n嘘i bi吋u th鵜 thông tin k院t n嘘i c栄a m瓜v"e挨"u荏 d英 li羽u c映 th吋 và ho衣v"8瓜ng pj逢"ejc"o姻 trong h羽 th嘘ng phân c医p cho t医t c違 các b違ng v壱t lý và c瓜t v壱v"n#"8逢嬰c zƒe"8鵜pj"ejq"e挨"u荏 d英 li羽w"8„0"

Các mô hình siêu d英 li羽u Pentaho có th吋 k院t n嘘i v噂i h亥u h院v"eƒe"e挨"u荏 d英 li羽u quan h羽 ph鰻 bi院n b茨ng cách s穎 d映ng JDBC. Trình ch雨nh s穎a d英 li羽u Pentaho h厩 tr嬰 m瓜t b瓜 ngu欝n d英 li羽u phong phú và r瓜ng l噂p0"Vt逢噂c khi b逸v"8亥w"zƒe"8鵜nh mô hình kinh doanh c栄c"o·pj."vt逢噂c tiên b衣n ph違i mô t違e挨"u荏 d英 li羽u ho員c ngu欝n d英 li羽u mà b衣n mu嘘n l壱p mô hình. B衣n th詠c hi羽n vi羽c này b茨pi"eƒej"zƒe"8鵜nh m瓜t ho員c nhi隠u k院t n嘘i trong trình ch雨nh s穎a

2.2.2.7 Pi<p"z院p Pentaho

- PzpvVpi"

‚ Mjq"ik違k"rjƒr"x "e»pi"e映"ik違k"rjƒr" ‚ Sw違p"n#"pj„o"m院v"p嘘k"u荏"f英"nk羽w" ‚ F鵜ej"x映"zƒe"vj詠e"x "栄{"sw{隠p"Pi逢運k"f́pi"F鵜ej"x映" ‚ Ijk"pj壱v"m#"x "mk吋o"vtc" ‚ Pjk羽o"x映"- n鵜ej" ‚ N‒p"n鵜ej" - Khq"IkVk"rjƒr"x "E»pi"eつ

N隠n t違ng Pentaho t鰻 ch泳c n瓜i dung thành cái g丑i là gi違i pháp. Gi違i pháp Pentaho có th吋8逢嬰c coi là m瓜v"vj逢"o映c h羽 th嘘ng t羽p v噂i t医t c違 n瓜k"fwpi"8吋 gi違i quy院t m瓜t s嘘

v医p"8隠 kinh doanh. Gi違i pháp Pentaho có th吋 ch泳c"eƒe"vj逢"o映c và m映c 8逢嬰c g丑i là

chu厩k"j pj"8瓜ng.

Eƒe"vj逢"o映c ch雨 8挨p"ik違n là cung c医p m瓜t t鰻 ch泳c chung c栄a n瓜k"fwpi0"Eƒe"vj逢" m映c có th吋 ch泳c"eƒe"vj逢"o映c và chu厩k"j pj"8瓜ng khác. Chu厩k"j pj"8瓜ng là các d鵜ch v映 có th吋 8逢嬰c g丑k"8吋 cung c医p m瓜t s嘘 n瓜i dung. Chúng có th吋 8逢嬰c g丑i tr詠c ti院r"vj»pi"swc"v逢挨pi"vƒe"e栄c"pi逢運i dùng ho員e"8逢嬰c gi違i quy院v"f逢噂i d衣ng d鵜ch v映 web t瑛 m瓜t 泳ng d映ng khác. Thu瓜c tính th泳 hai cho phép tích h嬰p Pentaho v噂i các 泳ng d映ng khác

- Nfr"nおej"vƒe"xつ"

N隠n t違ng Pentaho s穎 d映ng Quartz làm thành ph亥n l壱p l鵜ch tác v映0"Swctv¦"8逢嬰c t衣o ra và duy trì b荏i d詠 ƒp" Qrgp" U{orjqp{" x " 8逢嬰c phát hành theo gi医y phép Apache 2.0 B瓜 l壱p l鵜ch tác v映8逢嬰c s穎 d映ng cho m瓜t s嘘 vi羽c: ‚ Vj詠e"jk羽p"8鵜pj"m "eƒe"pjk羽o"x映"d違q"vt·"" ‚ Vj詠e"jk羽p"eƒe"dƒq"eƒq" ‚ N壱r"n鵜ej"e»pi"xk羽e"GVN" - Fおej"xつ"gockn"

N隠n t違ng BI bao g欝m kh違 p<pi"i穎i email b茨ng cách s穎 d映ng máy ch栄 SMTP tiêu chu育n. M瓜t t羽p c医w" j·pj" 8吋 s穎 d映ng tài kho違p" Iockn" épi" 8逢嬰c bao g欝m. Vt逢噂c khi có th吋 g穎k"vj逢."vt逢噂c tiên máy ch栄 ph違k"8逢嬰c c医u hình. C医w"j·pj"vj逢"rj違i 8逢嬰c nh壱p vào t羽p email config.xml, n茨o" vtqpi" vj逢" o映c install-path> / pentaho- Solutions / system / smtp-email. Các t羽p c医u hình có nh壱n xét n瓜i tuy院n tuy羽t v運i và nó ph違k"8挨p"ik違p"8吋 thi院t l壱r"8k隠u nàỵ Kh荏k"8瓜ng l衣i máy ch栄ucw"mjk"vjc{"8鰻i t羽p

c医u hình là không c亥n thi院t; các m映c nh壱p m噂i s胤 8逢嬰c ch丑n t詠8瓜ng khi các giá tr鵜

8«"8逢嬰c nh壱p chính xác.

Một phần của tài liệu Xây dựng kho dữ liệu trên nền tảng đám mây đáp ứng các dịch vụ bi cho công ty xây dựng và kinh doanh bất động sản (Trang 37 - 43)

Tải bản đầy đủ (PDF)

(106 trang)