OLAP (OnLine Analytical Processing)

Tờn thnh viờn nhúm: Lp: 08DTHH Lờ Anh Hong Ngụ Hng Ngc Phm Hng Quõn Nguyn Xuõn Thng Nguyn Minh Tun OLAP (On-Line Analytical Processing) -oOo OLAP l gỡ? OLAP l mt k thut s dng cỏc th hin d liu a chiu gi l cỏc (cube) nhm cung cp kh nng truy xut nhanh n d liu ca kho d liu To (cube) cho d liu cỏc bng chiu (dimension table) v bng s kin (fact table) kho d liu v cung cp kh nng thc hin cỏc truy tinh vi v phõn tớch cho cỏc ng dng client Trong kho d liu v data mart lu tr d liu cho phõn tớch, thỡ OLAP l k thut cho phộp cỏc ng dng client truy xut hiu qu d liu ny OLAP cung cp nhiu li ớch cho ngi phõn tớch, cho vớ d nh: - Cung cp mụ hỡnh d liu a chiu trc quan cho phộp d dng la chn, nh hng v khỏm phỏ d liu - Cung cp mt ngụn ng truy phõn tớch, cung cp sc mnh khỏm phỏ cỏc mi quan h d liu kinh doanh phc - D liu c tớnh toỏn trc i vi cỏc truy thng xuyờn nhm lm cho thi gian tr li rt nhanh i vi cỏc truy c bit OLAP -1- Cung cp cỏc cụng c mnh giỳp ngi dựng to cỏc khung nhỡn mi ca d - liu da trờn mt cỏc hm tớnh toỏn c bit OLAP c t x lý cỏc truy liờn quan n lng d liu rt ln m nu cho thc thi cỏc truy ny h thng OLTP s khụng th cho kt qu hoc s mt rt nhiu thi gian Mụ hỡnh d liu a chiu l gỡ: Cỏc nh qun lý kinh doanh cú khuynh hng suy ngh theo nhiu chiu (multidimensionally) Vớ d nh h cú khuynh hng mụ t nhng gỡ m cụng ty lm nh sau: Chỳng tụi kinh doanh cỏc sn phm nhiu th trng khỏc nhau, v chỳng tụi ỏnh giỏ hiu qu thc hin ca chỳng tụi qua thi gian Nhng ngi thit k kho d liu thng lng nghe cn thn nhng t ú v h thờm vo nhng nhn mnh c bit ca h nh: Chỳng tụi kinh doanh cỏc sn phm nhiu th trng khỏc nhau, v chỳng tụi ỏnh giỏ hiu qu thc hin ca chỳng tụi qua thi gian Suy ngh mt cỏch trc giỏc, vic kinh doanh nh mt (cube) d liu, vi cỏc nhón trờn mi cnh ca (xem hỡnh bờn di) Cỏc im bờn l cỏc giao im ca cỏc cnh Vi mụ t kinh doanh trờn, cỏc cnh ca l Sn phm, Th trng, v Thi gian Hu ht mi ngi u cú th nhanh chúng hiu v tng tng rng cỏc im bờn l cỏc o hiu qu kinh doanh m c kt hp gia cỏc giỏ tr Sn phm, Th trng v Thi gian Saỷn phaồm Thụứ i gian Thũtrửụứ ng Mụ phng cỏc chiu kinh doanh OLAP -2- Mt d liu (datacube) thỡ khụng nht thit phi cú cu trỳc chiu (3-D), nhng v c bn l cú th cú N chiu (N-D) Nhng cnh ca c gi l cỏc chiu (dimensions), m ú l cỏc mt hoc cỏc thc th ng vi nhng khớa cnh m t chc mun ghi nhn Mi chiu cú th kt hp vi mt bng chiu (dimension table) nhm mụ t cho chiu ú Vớ d, mt bng chiu ca Sn phm cú th cha nhng thuc tớnh nh Ma_sanpham, Mo_ta, Ten_sanpham, Loai_SP, m cú th c ch bi nh qun tr hoc cỏc nh phõn tớch d liu Vi nhng chiu khụng c phõn loi, nh l Thi gian, h thng kho d liu s cú th t ng phỏt sinh tng ng vi bng chiu (dimension table) da trờn loi d liu Cn núi thờm rng, chiu Thi gian trờn thc t cú ý ngha c bit i vi vic h tr quyt nh cho cỏc khuynh hng phõn tớch Thng thỡ nú c mong mun cú mt vi tri thc gn lin vi lch v nhng mt khỏc ca chiu thi gian Hn na, mt d liu kho d liu phn ln c xõy dng o hiu qu ca cụng ty Do ú mt mụ hỡnh d liu a chiu c thự c t chc xung quanh mt ch m c th hin bi mt bng s kin (fact table) ca nhiu o s hc (l cỏc i tng ca phõn tớch) Vớ d, mt bng s kin cú th cha s mt hng bỏn, thu nhp, tn kho, ngõn sỏch, Mi o s hc ph thuc vo mt cỏc chiu cung cp ng cnh cho o ú Vỡ th, cỏc chiu kt hp vi c xem nh xỏc nh nht o, l mt giỏ tr khụng gian a chiu Vớ d nh mt kt hp ca Sn phm, Thi gian, Th trng vo thi im l mt o nht so vi cỏc kt hp khỏc Cỏc chiu c phõn cp theo loi Vớ d nh chiu Thi gian cú th c mụ t bi cỏc thuc tớnh nh Nm, Quý, Thỏng v Ngy Mt khỏc, cỏc thuc tớnh ca mt chiu cú th c t chc vo mt li m ch mt phn trt t ca chiu Vỡ th, cng vi chiu Thi gian cú th c t chc thnh Nm, Quý, Thỏng, Tun v Ngy Vi s sp xp ny, chiu Thi gian khụng cũn phõn cp vỡ cú nhng tun nm cú th thuc v nhiu thỏng khỏc Vỡ vy, nu mi chiu cha nhiu mc tru tng, d liu cú th c xem t nhiu khung nhỡn linh ng khỏc Mt s thao tỏc in hỡnh ca d liu nh OLAP -3- roll-up (tng mc tru tng), drill-down (gim mc tru tng hoc tng mc chi tit), slice and dice (chn v chiu), v pivot (nh hng li khung nhỡn a chiu ca d liu), cho phộp tng tỏc truy v phõn tớch d liu rt tin li Nhng thao tỏc ú c bit nh X lý phõn tớch trc tuyn (On-Line Analytical Processing OLAP) Nhng nh quyt nh thng cú nhng cõu hi cú dng nh tớnh toỏn v xp hng tng s lng hng hoỏ bỏn c theo mi quc gia (hoc theo mi nm) H cng mun so sỏnh hai o s hc nh s lng hng bỏn v ngõn sỏch c tng hp bi cựng cỏc chiu Nh vy, mt c tớnh phõn bit ca mụ hỡnh d liu a chiu l nú nhn mnh s tng hp ca cỏc o bi mt hoc nhiu chiu, m ú l mt nhng thao tỏc chớnh yu tng tc x lý truy Gii thiu dch v OLAP (OLAP Services) ca Microsoft SQL Server: Dch v OLAP l mt server tng gia (midle-tier server) phc v cho phõn tớch x lý trc tuyn (OLAP) H thng dch v OLAP l mt cụng c mnh vic xõy dng cỏc a chiu ca d liu cho phõn tớch v cung cp kh nng truy xut nhanh n thụng tin cho cỏc client Kin trỳc dch v OLAP c chia thnh phn: Phn server (c i din bi OLAP server) v phn client (l dch v PivotTable) C dch v OLAP v dch v PivotTable u cho phộp thit k, to mi v qun lý cỏc (cube) t kho d liu (data warehouse) v cho phộp cỏc client truy xut n d liu OLAP Cú th hiu rng OLAP server qun lý d liu cũn dch v PivotTable lm vic vi server cho client truy xut d liu OLAP -4- Cỏc c im ca dch v OLAP: D s dng: Bng cỏch cung cp cỏc giao din ngi dựng v cỏc tr giỳp thc - hin (wizard) - Linh ng: Mụ hỡnh d liu mnh cho nh ngha (cube) v lu tr - Cỏc cú th ghi (Write-enable): Cho cỏc kch bn phõn tớch dng what if - Kin trỳc cú th co dón (scalable architecture): Cung cp mt s a dng cỏc kch bn lu tr v gii phỏp t ng i vi hi chng bựng n d liu m gõy khú chu cho cỏc k thut OLAP - Tớch hp cỏc cụng c qun tr, bo mt, ngun d liu v client/server caching - H tr rng rói cỏc hm API v kin trỳc m h tr cỏc ng dng tu ý So sỏnh OLAP vi OLTP: c trng ca cỏc ng dng OLTP (On-Line Transaction Processing) l cỏc tỏc v x lý t ng ghi chộp d liu x lý tỏc v ca mt t chc nh ghi nhn n t hng v cỏc giao dch ngõn hng (chỳng l nhng cụng vic hng ngy ca t chc thng mi) m cn phi c hoc cp nht mt vi mu tin da trờn khoỏ chớnh ca chỳng Nhng tỏc v ú cú cu trỳc, c lp li, bao gm cỏc giao dch ngn, ti gin v tỏch bit, yờu cu d liu chi tit v mi cp nht Cỏc c s d liu tỏc nghip cú xu hng t vi trm megabyte n hng gigabyte kớch thc v ch lu tr cỏc d liu hin hnh Tớnh nht quỏn v kh nng phc hi ca c s d liu l then cht, v ti OLAP -5- a thụng lng giao dch l thc o chớnh yu Vỡ th c s d liu c thit k ti thiu cỏc xung t trựng lp Cũn kho d liu, mc tiờu l h tr quyt nh cho cỏc nh qun lý Tớnh chi tit v riờng l ca cỏc mu tin thỡ ớt quan trng hn tớnh lch s, tng kt v hp nht ca d liu Do ú, kho d liu thng cha d liu hp nht t mt hoc nhiu c s d liu tỏc nghip v c thu thp qua mt thi gian di Kt qu l kớch thc kho d liu cú khuynh hng t vi trm gigabyte n hng terabyte so vi cỏc c s d liu tỏc nghip Kho d liu h tr cỏc truy phc vi thi gian hi ỏp nhanh, cỏc truy phc cú th truy xut hng triu mu tin v thc hin nhiu ln cỏc thao tỏc quột, kt v tng hp i vi kho d liu, s lng truy a vo v thi gian hi ỏp quan trng hn s lng giao dch a vo M OLAP l mt nhng cụng c cho phộp thc hin hiu qu cỏc truy ny Cn c vo ú, cỏc c s d liu tỏc nghip c xõy dng h tr tt cỏc tỏc v OLTP, vỡ th nu c gng thc thi cỏc truy OLAP phc i vi cỏc c s d liu tỏc nghip s cho kt qu l hiu qu thc hin khụng th chp nhn c Cỏc mụ hỡnh lu tr h tr OLAP: Dch v OLAP h tr nhiu mụ hỡnh lu tr d liu khỏc nhau, mi mụ hỡnh cú cỏc u v khuyt im riờng, chỳng c s dng tu theo mc ớch khai thỏc 5.1 Mụ hỡnh Multidimensional OLAP (MOLAP): Mụ hỡnh OLAP a chiu (MOLAP) lu tr d liu c s (l d liu t cỏc bng ca kho d liu hoc data mart) v thụng tin tng hp (l cỏc o c tớnh toỏn t cỏc bng) cỏc cu trỳc a chiu gi l cỏc (cube) Cỏc cu trỳc ny c lu bờn ngoi c s d liu data mart hoc kho d liu OLAP -6- Mụ hỡnh d liu MOLAP Lu tr cỏc (cube) cu trỳc MOLAP l tt nht cho cỏc truy tng hp d liu thng xuyờn m cn thi gian hi ỏp nhanh Vớ d, tng sn phm bỏn c ca tt c cỏc vựng theo quý Mụ hỡnh MOLAP cho phộp thc hin cỏc truy phõn tớch d liu tt nht vỡ cỏc c im sau: - Thụng tin tng hp v d liu c s c lu tr cu trỳc a chiu - Cỏc thao tỏc kt (join), l mt nhng thao tỏc tn chi phớ nht ca mụ hỡnh quan h, thỡ khụng cn thit - MOLAP s dng cỏc thut toỏn nộn d liu cho phộp lu tr vi ớt khụng gian hn - MOLAP s dng ch mc bitmap cho hiu qu thc thi tt hn - MOLAP ly d liu (cube) rt nhanh bng cỏch s dng cỏc x lý truy tc cao v cache d liu (data cache) Thụng tin nhn c t (cube) v cỏc bng OLAP c s ch c truy xut thụng tin chi tit - MOLAP khụng x dng c ch khoỏ vỡ d liu l ch c - MOLAP cú th c np trc vo b nh cache - D liu cú th d dng chộp n client cho phõn tớch khụng trc tuyn (offline) 5.2 OLAP Mụ hỡnh Relational OLAP (ROLAP): -7- Mụ hỡnh OLAP quan h (ROLAP) lu tr d liu c s v thụng tin tng hp cỏc bng quan h Cỏc bng ny c lu tr cựng c s d liu nh l cỏc bng ca data mart hoc kho d liu Mụ hỡnh d liu ROLAP Lu tr cỏc cu trỳc ROLAP l tt nht cho cỏc truy d liu khụng thng xuyờn Vớ d nh nu 80% ngi dựng truy ch d liu vũng mt nm tr li õy, cỏc d liu c hn mt nm s c a vo mt cu trỳc ROLAP gim khụng gian a b chim dng, hn na cũn loi tr d liu trựng lp Lu tr d liu cu trỳc ROLAP cung cp cỏc li ớch sau: - ROLAP cho phộp Cube Builder t ng to ch mc - ROLAP ỏnh x cỏc tng hp cú sn t data mart hoc kho d liu OLAP Manager c phộp x dng cỏc tng hp cú sn tng hp m khụng cn tớnh toỏn li cho mi truy - ROLAP to ũn by cho h qun tr c s d liu quan h nhm cho cỏc nh qun tr h thng trỡ nú hiu qu hn - ROLAP h tr Microsoft SQL Server, Oracle, Access v Open Database Connectivity (ODBC) 5.3 Mụ hỡnh Hybird OLAP (HOLAP): Mụ hỡnh OLAP lai (HOLAP) l s kt hp gia MOLAP v ROLAP OLAP -8- Mụ hỡnh d liu HOLAP Lu tr cỏc (cube) cu trỳc HOLAP l tt nht cho cỏc truy tng hp d liu thng xuyờn da trờn mt lng ln d liu c s Vớ d, chỳng ta s lu tr d liu bỏn hng theo hng quý, hng nm cu MOLAP v d liu hng thỏng, hng tun v hng ngy cu trỳc ROLAP Li ớch ca vic lu tr cu trỳc HOLAP l: - Ly d liu (cube) nhanh hn bng cỏch s dng x lý truy tc cao ca MOLAP - Tiờu th ớt khụng gian lu tr hn MOLAP - Trỏnh trựng lp d liu 5.4 So sỏch cỏc mụ hỡnh: Bng sau so sỏnh tng hp ba mụ hỡnh lu tr h tr OLAP: MOLAP ROLAP HOLAP Lu tr d liu c s Khi Bng quan h Bng quan h Lu tr thụng tin tng hp Khi Bng quan h Khi Hiu sut thc hin truy Nhanh nht Chm nht Nhanh Tiờu th khụng gian lu tr Nhiu Thp Trung bỡnh Chi phớ bo trỡ Cao Thp Trung bỡnh OLAP -9- Kin trỳc (cube) ca OLAP: i tng chớnh ca OLAP l (cube), mt th hin a chiu ca d liu chi tit v tng hp Mt bao gm mt ngun d liu (Data source), cỏc chiu (Dimensions), cỏc o (Measures) v cỏc phn dnh riờng (Partitions) Cỏc c thit k da trờn yờu cu phõn tớch ca ngi dựng Mt kho d liu cú th h tr nhiu khỏc nh Bỏn hng, Bng kim kờ, D liu ngun ca mt ch ni cha kho d liu cung cp d liu cho Cỏc chiu (dimension) c ỏnh x t cỏc thụng tin ca cỏc bng chiu (dimension table) kho d liu vo cỏc mc phõn cp, vớ d nh chiu a lý thỡ gm cỏc mc nh Lc a, Quc gia, Tnh-Thnh ph Cỏc chiu cú th c to mt cỏch c lp v cú th chia s gia cỏc nhm xõy dng cỏc d dng v chc chn rng thụng tin tng hp cho phõn tớch luụn n nh Vớ d, nu mt chiu chia s mt phõn cp sn phm v c s dng tt c cỏc thỡ cu to ca thụng tin tng hp v sn phm s n nh gia cỏc s dng chiu ú Mt chiu o (virtual dimension) l mt dng c bit ca chiu m ỏnh x cỏc thuc tớnh t cỏc thnh viờn (member) ca mt chiu khỏc sau ú cú th c s dng cỏc Vớ d, mt chiu o ca thuc tớnh kớch thc sn phm cho phộp mt (cube) tng hp d liu nh s lng sn phm bỏn c theo kớch thc, hoc nh s lng ỏo bỏn c theo kiu v theo kớch thc Cỏc chiu o (virtual dimension) v cỏc thuc tớnh thnh viờn c ỏnh giỏ l cn thit cho cỏc truy v chỳng khụng ũi hi phi cú cỏc lu tr vt lý Cỏc o (measure) xỏc nh cỏc giỏ tr s t bng s kin (fact table) m c tng hp cho phõn tớch nh giỏ bỏn, chi phớ hoc s lng bỏn Cỏc phn dnh riờng (partition) l cỏc vt cha lu tr a chiu, gi d liu ca Mi cha ớt nht mt partition, v d liu ca cú th kt hp t nhiu partition Mi partition cú th ly d liu mt ngun d liu khỏc v cú th lu mt v trớ riờng bit (separate) D liu ca mt partition cú th c cp nht c lp vi cỏc partition khỏc mt Vớ d, d liu ca mt cú th c OLAP - 10 - chia theo thi gian, vi mt partition cha d liu ca nm hin hnh, mt partition khỏc cha d liu ca nm trc, v mt partition th ba cha tt c d liu ca cỏc nm trc na Cỏc partition ca mt cú th c lu tr c lp cỏc cỏch thc khỏc vi cỏc mc tng kt khỏc Cỏc partition khụng th hin i vi ngi dựng, i vi h mt (cube) l mt i tng n, v chỳng cung cp cỏc tu chn a dng qun lý d liu OLAP Mt o (virtual cube) l mt khung nhỡn lun lý (logic) ca cỏc phn chia ca mt hoc nhiu Mt o cú th c s dng kt (join) cỏc khỏc chia s mt chiu chung no ú, vớ d nh cú th kt gia Bỏn hng v Kho nhm cỏc mc ớch phõn tớch c bit no ú trỡ cỏc tỏch bit cho n gin Cỏc chiu (dimension) v cỏc o (measure) cú th c chn t cỏc c kt th hin o Mụ hỡnh kin trỳc dch v OLAP: Kin trỳc dch v OLAP gm thnh phn: Server v Client 7.1 OLAP Kin trỳc thnh phn Server: - 11 - Kin trỳc thnh phn Server Dch v OLAP ca SQL Server cung cp thnh phn Server cú kh nng to v qun lý d liu OLAP a chiu, ng thi cung cp d liu cho client qua dch v PivotTable (PivotTable Service) Cỏc thao tỏc (operation) ca thnh phn Server bao gm vic to cỏc d liu a chiu t kho c s d liu quan h v lu tr chỳng cỏc cu trỳc a chiu (MOLAP), c s d liu quan h (ROLAP) hoc kt hp c hai (HOLAP) Siờu d liu (metadata) ca cỏc cu trỳc a chiu c lu tr mt kho (repository) c s d liu quan h Cỏc thao tỏc c thnh phn Server cung cp gm: - Kh nng to v qun lý cỏc ca OLAP - Phc v ly d liu v lm cho nú cú th s dng c t cỏc ng dng client 7.2 OLAP Kin trỳc thnh phn Client: - 12 - Kin trỳc thnh phn Client Thnh phn client l dch v PivotTable giao tip vi OLAP server v cung cp giao din cho cỏc ng dng client s dng truy cp d liu OLAP trờn server Cỏc ng dng client kt ni n dch v PivotTable bng cỏch s dng giao din OLE DB hoc mụ hỡnh ADO (Microsoft ActiveX Data Objects) Cỏc ng dng client cú th s dng dch v PivotTable ly d liu t c s d liu OLAP Dch v PivotTable cú th to cỏc cc b m ú l cỏc ca cỏc c trỳ trờn server Cỏc cc b cú th c s dng lm tng hiu qu thc hin v s dng thc hin cỏc phõn tớch khụng trc tuyn (off-line) Dch v PivotTable l mt cụng c lu tr, duyt v phõn tớch (cube) PivotTable l mt OLAP Server x lý ti ch vi c cỏc c tớnh phõn tớch trc tuyn (on-line) v khụng trc tuyn (off-line) m: - Cung cp truy cp trc tuyn n d liu OLAP nh mt client ca dch v OLAP - Bao gm cỏc c tớnh phõn tớch d liu, xõy dng v qun lý cache Cho phộp cỏc (cube) lu tr cc b phõn tớch khụng trc tuyn (off-line) nh l kt ni n d liu dch v OLAP trc tuyn OLAP - 13 - OLAP - 14 - ... Connectivity (ODBC) 5.3 Mụ hỡnh Hybird OLAP (HOLAP): Mụ hỡnh OLAP lai (HOLAP) l s kt hp gia MOLAP v ROLAP OLAP -8- Mụ hỡnh d liu HOLAP Lu tr cỏc (cube) cu trỳc HOLAP l tt nht cho cỏc truy tng hp d... tr OLAP: Dch v OLAP h tr nhiu mụ hỡnh lu tr d liu khỏc nhau, mi mụ hỡnh cú cỏc u v khuyt im riờng, chỳng c s dng tu theo mc ớch khai thỏc 5.1 Mụ hỡnh Multidimensional OLAP (MOLAP): Mụ hỡnh OLAP. .. d dng chộp n client cho phõn tớch khụng trc tuyn (offline) 5.2 OLAP Mụ hỡnh Relational OLAP (ROLAP): -7- Mụ hỡnh OLAP quan h (ROLAP) lu tr d liu c s v thụng tin tng hp cỏc bng quan h Cỏc bng