1. Trang chủ
  2. » Luận Văn - Báo Cáo

Luận văn thạc sĩ Hệ thống thông tin quản lý: Xây dựng Data Warehouse và Business Intelligence cho công ty ngành nhựa tại Tp. HCM

88 0 0
Tài liệu đã được kiểm tra trùng lặp

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Nội dung

Trang 1

1JjQK+ӊ7+Ӕ1*7+Ð1*7,148Ҧ1/é 0mVӕ60.34.04.05

/8Ұ19Ă17+Ҥ&6Ƭ

73+Ӗ&+Ë0,1+WKiQJ07 QăP

Trang 2

&Ð1*75Î1+ĈѬӦ&+2¬17+¬1+7Ҥ, 75ѬӠ1*ĈҤ,+Ӑ&%È&+.+2$±Ĉ+4*-HCM

&iQEӝKѭӟQJGүQNKRDKӑF3*6761JX\ӉQ7KDQK%uQK

&iQEӝFKҩPQKұQ[pW 3*6767UҫQ0ҥQK+j

&iQEӝFKҩPQKұQ[pW 3*676ĈһQJ7UҫQ.KiQK

/XұQYăQWKҥFVƭÿѭӧFEҧRYӋ WҥL7UѭӡQJĈҥLKӑF%iFK.KRDĈHQG Tp HCM ngày 03 tháng 07 QăP 7KjQKSKҫQ+ӝLÿӗQJÿiQKJLiOXұQYăQWKҥFVƭJӗP 1 767UҫQ4XDQJ0LQK

Trang 3

ĈҤI HӐC QUӔC GIA TP.HCM

75ѬӠ1*ĈҤI HӐC BÁCH KHOA

CӜNG HÒA XÃ HӜI CHӪ 1*+Ƭ$9,ӊT NAM Ĉӝc lұp - Tӵ do - Hҥnh phúc

7Ç1Ĉӄ TÀI: Xây dӵng Data Warehouse và Business Intelligence cho mӝt công ty ngành

Nhӵa tҥi TP.HCM

NHIӊM VӨ VÀ NӜI DUNG:

- Tìm hiӇu vӅ FѫVӣ lý thuyӃWÿӇ xây dӵng Data Warehouse và Business Intelligence

- KҧRViWWKӵFWUҥQJFѫVӣKҥWҫQJ&177YjTX\WUuQKQJKLӋSYөEiQKjQJWҥLPӝWF{QJW\QJjQKQKӵD73+&0

- ĈӅ xuҩt xây dӵng hӋ thӕng Data Warehouse và Business Intelligence cho mӝt công ty ngành nhӵa tҥi TPHCM

I NGÀY GIAO NHIӊM VӨ: 13/08/2018

II NGÀY HOÀN THÀNH NHIӊM VӨ: 02/06/2019

III CÁN BӜ +ѬӞNG DҮN: PGS.TS NguyӉn Thanh Bình

Trang 4

LӠI CҦ0Ѫ1

ĈӇ có thӇ KRjQWKjQKÿӅ tài luұQYăQWKҥFVƭPӝt cách hoàn chӍnh, bên cҥnh sӵ nӛ lӵc cӕ gҳng cӫa bҧn thân còn có sӵ Kѭӟng dүn nhiӋt tình cӫa quý Thҫ\&{FNJQJQKѭ sӵ tҥRÿLӅu kiӋn thuұn lӧi tӯ SKtDF{QJW\ÿDQJF{QJWiFYjVӵ ÿӝng viên ӫng hӝ cӫDJLDÿuQKvà bҥn bè trong suӕt thӡi gian hӑc tұp nghiên cӭu và thӵc hiӋn luұQYăQWKҥFVƭ

Xin chân thành bày tӓ lòng biӃWѫQÿӃn Thҫy PGS.TS NguyӉQ7KDQK%uQKQJѭӡi ÿmKӃWOzQJJL~Sÿӥ tҥo mӑLÿLӅu kiӋn tӕt nhҩt cho tôi hoàn thành luұQYăQQj\;LQFKkn thành bày tӓ lòng biӃWѫQÿӃn quý thҫy cô trong khoa Khoa hӑFPi\WtQKYjNKRDVDXÿҥi hӑF Ĉҥi hӑc Quӕc gia TPHCM ± 7UѭӡQJ Ĉҥi hӑF %iFK KRD ÿm Wұn tình truyӅQ ÿҥt nhӳng kiӃn thӭFTXêEiXFNJQJQKѭWҥRÿLӅu kiӋn thuұn lӧi cho tôi trong suӕt quá trình hӑc tұp nghiên cӭu tҥLWUѭӡng

Xin chân thanh cҧPѫQF{QJW\QJjQKQKӵDPjW{LÿDQJF{QJWiFÿmFKRSKpSYjkhông ngӯng hӛ trӧ thӵc hiӋn luұQYăQ

Cuӕi cùng tôi xin chân thành cҧPѫQÿӃQJLDÿuQKEҥQEqÿӗng nghiӋSÿmKӛ trӧ cho tôi rҩt nhiӅu trong suӕt quá trình nghiên cӭu và thӵc hiӋQÿӅ tài luұQYăQWKҥFVƭPӝt cách hoàn chӍnh

TP Hӗ Chí MinhWKiQJQăP Hӑc viên thӵc hiӋn

NguyӉQ9ăQ7jL

Trang 5

7Ï07Ҳ7/8Ұ19Ă1

0өF WLrX FӫD ÿӅ WjL Oj ³;k\ GӵQJ KӋ WKӕQJ Data Warehouse và BI cho PӝW công ty QJjQKQKӵDWҥL73+&0´+ӋWKӕQJQj\QKҵPWұSWUXQJGӳOLӋXWӯQKLӅXQJXӗQGӳOLӋXNKiF QKDXYӟL PөFÿӏFK NKDLWKiF [ӱOêWK{QJWLQ KӛWUӧFKR EDQOmQKÿҥRUD TX\ӃWÿӏQKQKDQKYjFKtQK[iFĈӅWjLQj\WiFJLҧJLӟLKҥQOҥLYLӋF[k\GӵQJKӋWKӕQJGDWDwarehouse và BI dành cho phkQKӋEiQKjQJYjÿLVkXYjREӕQVӵNLӋQEiQKjQJF{QJQӧNKiFKKjQJNӃKRҥFKVҧQ[XҩWNKLӃXQҥLFӫDNKiFKKjQJĈӇWULӇQNKDLPөFWLrXWUrQWiFJLҧWKӵFKLӋQFiFF{QJYLӋFQKѭ7uPKLӇXFѫVӣOêWKX\ӃWGDWDZDUHKRXVHYj%,NKҧRViWWKӵFWUҥQJFѫVӣKҥWҫQJ&177YjTX\WUuQKQJKLӋSYөEiQKjQJFӫDF{QJW\ÿӅ[XҩWP{KuQKGDWDZDUHKRXVHYj%,FKRF{QJW\ÿLVkXYjREDVӵNLӋQFKtQKEiQKjQJF{QJQӧNKiFKKjQJNӃKRҥFKVҧQ[XҩWNKLӃXQҥLNKiFKKjQJYjFXӕLFQJWiFJLҧ[LQêNLӃQÿiQKJLiWӯEDQOmQKÿҥRF{QJW\KӋWKӕQJFyWKӇÿiSӭQJÿѭӧFYӟLQKXFҫXKLӋQQD\FӫDF{QJW\

ABTRACT

The objective of the project is "Building a Data Warehouse and BI system for a plastic industry company in Ho Chi Minh City" This system aims to focus data from many different data sources with the aim of exploiting and processing information to support management board to make decisions quickly and accurately This topic limits the construction of data warehouse and BI systems for sales modules and delves into four events: sales, customer debt, production plans and customer complaints To implement the objectives on the author perform tasks such as: Understanding warehouse data base and BI, surveying the status of IT infrastructure and the company's sales process, proposing models Data warehouse and BI for the company went into three main events: sales, customer debt, production plans, customer complaints, and finally the author asked for comments from the company's management, The system can meet the current needs of the company

Trang 6

7{L[LQFDPÿRDQ/XұQYăQ7KҥFVƭ+Ӌ7KӕQJ7K{QJ7LQ4XҧQ/ê³;k\GӵQJ'DWD:DUHKRXVHYj%XVLQHVV,QWHOOLJHQFHFKRPӝWF{QJW\QJjQK1KӵDWҥL73+&0´OjNӃWTXҧFӫDTXiWUuQKKӑFWұSQJKLrQQJKLrPW~F

&iFVӕOLӋXNӃWTXҧWURQJOXұQYăQOjWUXQJWKӵFW{LWKӵFKLӋQNKҧRViWWҥLF{QJW\QJjQKQKӵDPjW{LÿDQJOjPYLӋFÿѭӧFVӵFKRSKpSӫQJKӝWӯ %DQ/mQKĈҥRF{QJW\

73+ӗ&Kt0LQKQJj\WKiQJQăP2019 1JX\ӉQ9ăQ7jL

Trang 7

&+ѬѪ1*&Ѫ SӢ LÝ THUYӂT VÀ CÁC NGHIÊN CӬU LIÊN QUAN 5

&Ѫ6Ӣ LÝ THUYӂT DATA WAREHOUSE BI 6

2.1.1 Mӝt sӕ lý do cҫn phҧi có Data Warehouse và BI trong doanh nghiӋp 6

2.1.2 Ĉһc tính cӫa kho dӳ liӋu 7

2.1.3 ĈһFWUѭQJNKRGӳ liӋXYjFѫVӣ dӳ liӋXWK{QJWKѭӡng 8

2.1.4 Lӧi ích cӫa kho dӳ liӋu mang lҥi 9

2.1.5 Kho dӳ liӋu hiӋn nay 10

2.1.7 Tә chӭc dӳ liӋu trong kho dӳ liӋu 12

2.2 KIӂN TRÚC DATA WAREHOUSE 15

2.2.2 Thành phҫn trong Datawarehouse 18

2.2.2 Thu thұp, làm sҥch và tích hӧp dӳ liӋu (Extraction -Transformation -Loading -ETL) 20

&6'/ÿDFKLӅu vӟi OLAP 21

2.2.4 Các công cө truy vҩn, tҥo báo cáo, phân tích dӳ liӋu 21

2.3 CÁC NGHIÊN CӬU LIÊN QUAN 22

&+ѬѪ1*7+ӴC TRҤ1*&Ѫ6Ӣ HҤ TҪNG CNTT VÀ QUY TRÌNH NGHIӊP VӨ BÁN HÀNG CӪA CÔNG TY 24

&Ѫ6Ӣ HҤ TҪNG CNTT 25

3.1.1 Máy chӫ Server 25

3.1.2 ThiӃt bӏ OѭXWUӳ NAS 26

3.2 Hӊ THӔNG PHҪN MӄM ӬNG DӨNG TRONG CÔNG VIӊC SҦN XUҨT KINH DOANH CӪA CÔNG TY 26

Trang 8

3.2.2 Phҫn mӅm ERP ± SAP 27

3.2.3 Phҫn mӅm quҧn ly nhân sӵ tiӅQOѭѫQJ± QKjăQ 27

3.2.4 Thӵc trҥng công nghӋ cӫa phҫn mӅm quҧn lý sҧn xuҩt kinh doanh cӫa công ty 27 3.3 Hӊ THӔNG BÁO CÁO CӪA CÔNG TY 28

3.4 QUY TRÌNH NGHIӊP VӨ BÁN HÀNG CӪA CÔNG TY 29

4.5 THIӂT Kӂ TIӂN TRÌNH ETL 57

4.6 THIӂT Kӂ BUSINESS INTELLIGENCE 59

Trang 9

DANH MӨC BҦNG BIӆU

Bҧng 3 1: Thӵc trҥQJFѫVӣ vұt chҩt hҥ tҫng công nghӋ thông tin 25

Bҧng 3 2: Danh sҥch các hӋ thӕng quҧn lý cӫa công ty 27

Bҧng 3 3: Thӵc trҥng công nghӋ phҫn mӅm quҧn lý 28

BҧQJ4X\WUuQKEiQKjQJWKHRÿѫQÿһt hàng 30

Bҧng 3 5: Quy trình bán lҿ trên kênh online 37

Bҧng 4 1: ThuӝFWtQKFѫbҧn cӫa chiӅu thӡi gian 45

Bҧng 4 2: ThuӝFWtQKFѫEҧn cӫa chiӅu khách hàng 46

Bҧng 4 3: ThuӝFWtQKFѫEҧn cӫa chiӅu sҧn phҭm 47

Bҧng 4 4: ThuӝFWtQKFѫEҧn cӫa chiӅu kênh bán hàng 48

Bҧng 4 5: ThuӝFWtQKFѫEҧn cӫa chiӅXFKѭѫQJWUuQKNKX\Ӄn mãi 49

Bҧng 4 6: ThuӝFWtQKFѫEҧn cӫa chiӅXÿѫQYӏ sҧn xuҩt 51

Bҧng 4 7: ThuӝFWtQKFѫEҧn cӫa chiӅXÿѫQKjQJ 52

Bҧng 4 8: ThuӝFWtQKFѫEҧn cӫa chiӅu loҥi nӧ quá hҥn 54

Bҧng 4 9: ThuӝFWtQKFѫEҧn cӫa chiӅXÿѫQYӏ quҧn lý công nӧ 54

Bҧng 4 10: Thuӝc tính cӫa chiӅu nhóm khiӃu nҥi 56

Bҧng 4 11: Báo cáo cӫa tҫng BI 60

Trang 10

Hình 2 5: KiӃn trúc DW vӟi DSA 17

Hình 2 6: KiӃn trúc DW vӟi DSA, DM 18

Hình 2 7: Ví dө CSDL chӫ ÿӅ Data Mart DOANH SӔ 20

Hình 4 9: 6ѫÿӗ bông tuyӃt sӵ kiӋn KӃ Hoҥch Sҧn Xuҩt 49

+uQK6ѫÿӗ Database sӵ kiӋn KӃ Hoҥch Sҧn Xuҩt 50

Hình 4 11: ChiӅXÿѫQYӏ sҧn xuҩt 50

Hình 4 12: ChiӅXÿѫQKjQJ 51

Hình 4 13: 6ѫÿӗ hình sao sӵ kiӋn Công Nӧ Khách Hàng 52

Hình 4 14: 6ѫÿӗ Database sӵ kiӋn Công Nӧ Khách Hàng 53

Hình 4 15: ChiӅu loҥi nӧ quá hҥn 54

Hình 4 16: ChiӅXÿѫQYӏ quҧn lý công nӧ 54

Hình 4 17: Sѫÿӗ hình sao sӵ kiӋn khiӃu nҥi cӫa khách hàng 55

Hình 4 186ѫÿӗ database sӵ kiӋn khiӃu nҥi cӫa khách hàng 55

Hình 4 19: Luӗng dӳ liӋu ETL cho bҧng chiӅu dӳ liӋu 58

Hình 4 20: Luӗng dӳ liӋu ETL cho bҧng sӵ kiӋn 59

Trang 11

TӮ VIӂT TҲT

DW: Data Warehouse BI: Business Intelligence CSDL: &ѫsӣ dӳ liӋu

HCNS : Phòng Hành Chính nhân sӵ 7&Ĉ : Phòng Kӻ thuұW&ѫĈLӋn KV : Phòng Kho Vұn

BP KHSX : Bӝ phұn KӃ hoҥch Sҧn xuҩt 7*Ĉ : TәQJ*tiPĈӕc 37*Ĉ: Phó TәQJ*tiPÿӕc Ĉ'/Ĉ: Ĉҥi diӋQOmQKÿҥo *Ĉ.': *LiPÿӕc Kinh doanh *Ĉ.' : *LiPÿӕc Xuҩt khҭu

HTQLCL: HӋ thӕng quҧn lý chҩWOѭӧng 1/ĈѬ : 1ăQJOӵFÿiSӭng

Trang 12

PYCTM-Ĉ0 : PhiӃu yêu cҫu thӱ mүXYjWtQKĈӏnh mӭc PYCSP : PhiӃu yêu cҫu sҧn phҭm

ĈĈ+ : ĈѫQÿһt hàng +Ĉ0% : Hӧp ÿӗng Mua Bán +Ĉ*&: HӧSÿӗng GC

%%7/+Ĉ: Biên bҧn thanh lý hӧSÿӗng BCTGSP: Bҧng chiӃt tính giá sҧn phҭm %%+Ĉ*: Biên bҧn hӝLÿӗng giá

KHQ : Khai Hҧi Quan TT: Chӭng tӯ thanh toán BPTG: Bӝ phұn tính giá KDO : Kinh doanh Online KH : Khách hàng

PXK : PhiӃu xuҩt kho ĈĈ+: ĈѫQÿһt hàng

CB/CNV : Cán bӝ/công nhân viên DT : Doanh Thu

KM : KhuyӃn Mҥi

+Ĉ: HӧSÿӗng giӳa RҥQJĈ{QJYj&{QJW\JLDRQKұn

Trang 13

&+ѬѪ1*, *,Ӟ,7+,ӊ8

7URQJFKѭѫQJQj\tác giҧ nêu ra lý do FNJQJQKѭPөc tiêu ÿӅ xuҩt xây dӵng hӋ thӕng data warehouse và BI trong mӝt công ty ngành nhӵa tҥi TP.HCM ĈӇ triӇn khai các mөc WLrXÿһt ra, tác giҧ liӋt kê ra sáu công viӋc cҫn làm ÿӇ hoàn thành mөc tiêu

Trong quá trình triӇn khai xây dӵng data warehouse và BI cҫn mӝt nguӗn lӵFWѭѫQJÿӕi lӟQ FRQQJѭӡi, thӡLJLDQFKLSKt« 9uWKӃ tác giҧ ÿӅ xuҩt chӑn phân hӋ bán hàng và chӍ ÿLVkXYjRPӝt sӕ Eѭӟc trên tәQJViXEѭӟc nói ӣ trên

ĈӇ hiӇXU}KѫQYӅ FKѭѫQJQj\GѭӟLÿk\OjSKҫn trình bày chi tiӃt cӫDFKѭѫQJJLӟi thiӋXÿӅ tài

Trang 14

1.1 *,Ӟ,7+,ӊ8Ĉӄ7¬,

7URQJP{LWUѭӡng cҥnh tranh trong ngành nhӵa tҥi ViӋW1DPQKѭQJj\QD\NKiFKhàng là nhân tӕ quyӃWÿӏnh sӵ tӗn tҥi cӫa doanh nghiӋp Các doanh nghiӋp ngành nhӵa cҫn phҧi tìm hiӇu nhu cҫXÿDGҥng cӫa khách hàng, giành cho hӑ giá trӏ tӕLѭXKѫQVRYӟi ÿӕi thӫ cҥnh tranh và có nhӳng quyӋWÿӏnh chiӃQOѭӧc phù hӧp trong sҧn xuҩt và kinh doanh

Trong nhӳQJQăPTXDWKӏ WUѭӡng ngành Nhӵa tҥi ViӋt Nam ÿDQJJһp rҩt nhiӅu cҥnh tranh khӕc liӋt Các công ty lӟn ngành nhӵD ÿDQJEӏ các tұSWRjQQѭӟc ngoài mua và kiӇm soát công ty, còn lҥi mӝt sӕ danh nghiӋp vүn còn trө lҥLWKuÿDQJJһp rҩt nhiӅu khó NKăQYӅ viӋc nhұp khҭu nguyên liӋu, chính sách, giá thành, chҩWOѭӧng và mӝt vҩQÿӅ FNJQJTXDQWUӑng không kém là áp dөng hӋ thӕng công nghӋ thông tin vào quҧn lý

Mӝt sӕ doanh nghiӋSQyLFKXQJFNJQJQKѭGRDQKQJKLӋp NhӵDQyLULrQJQJj\QD\ÿDQJgһp phҧi mӝt sӕ thách thӭc vӅ hӋ thӕng CNTT trong quҧn lý QKѭ

- HӋ thӕng báo cáo lҩy tӯ nhiӅu nguӗQVDXÿyPӟi hӧp nhҩt lҥLÿӇ thành báo cáo tәng thӇ, rҩt mҩt thӡi gian, dӉ xҧy ra sai sót

- %DQOmQKÿҥo công ty không tӵ tin ra quyӃWÿӏnh vì thiӃt thông tin, các thông tin chҩp vá tӯ nhiӅu hӋ thӕng, tӯ nhiӅu loҥi file khác nhau

- Chính vì sӵ ra quyӃWÿӏnh chұm cӫD%DQ/mQKĈҥRF{QJW\ÿ{LNKLF{QJW\PҩWÿLFѫKӝLÿҫXWѭPҩWÿLNKiFKKjQJ

Tӯ nhӳng thách thӭc trên, và KѫQQӳa Tác giҧ lҥi là mӝt nhân viên làm trong mӝt công ty trong ngành nhӵa ÿDQJVӱ dөng nhiӅu hӋ thӕng CNTT riêng lҿ trong quҧn lý, rҩt mҩt thӡi gian trong khi làm báo cáo, thiӃXWK{QJWLQÿӇ ra quyӃWÿӏnh Vì thӃ công ty Tác giҧ ÿDQJFҫn mӝ hӋ thӕng tích hӧp dӳ liӋu tӯ các nguӗn dӳ liӋu riêng lҿ F{QJW\ÿDQJVӱ dөng

Vӟi nhӳng thách thӭc và nhu cҫu trên, Tác giҧ [LQ ÿӅ xuҩt: ³Xây d͹ng Data

Warehouse và BI cho m͡t công ty ngành Nh͹a t̩i TP.HCM´ ÿӇ giҧi quyӃt nhӳng

Trang 15

- Sӕ liӋXEiRFiRÿѭӧFOѭXWUӳ trong mӝt CSDL tұSWUXQJWKHRP{KuQK':ÿҧm bҧo tính an toàn, bҧo mұWYjWUiQKQJX\FѫPҩt dӳ liӋu

- %iRFiRÿѭӧc trình bày dӉ hiӇu, cho phép truy cұp mӑi lúc

1.3 NӜI DUNG CӪ$Ĉӄ TÀI

ĈӅ tài tұp trung nghiên cӭu, xây dӵng mӝt hӋ thӕng thông tin quҧn trӏ trong mӝt công ty ngành nhӵa tҥi TPHCM, theo mô hình Data Warehouse và BI Data Warehouse là hӋ thӕQJOѭXWUӳ dӳ liӋu tұp trung tӯ nhiӅu nguӗn dӳ liӋu khác nhau nhҵm mөFÿtFKNKDLthác, xӱ lý thông tin hӛ trӧ ra quyӃWÿӏnh BI gӗPFiFFiFFKѭѫQJWUuQKӭng dөng phҫn mӅPÿӇ ÿѭDUDFiFEiRFiRJҫn vӟi nghiӋp vө FKRQKjOmQKÿҥQKÿѭDUDTX\ӃWÿӏnh chính xác và nhanh nhҩt

ViӋc triӇQNKDLÿӅ tài gӗm có các công viӋc sau: - Tìm hiӇu FѫVӣ lý thuyӃWOLrQTXDQÿӃQÿӅ tài

- Tìm hiӇu quy trình nghiӋp vө trong công ty ngành nhӵa

- Khҧo sát thӵc trҥng hҥ tҫng CNTT và quy trình nghiӋp vө cӫa công ty

- Xây dӵng hӋ thӕQJFѫVӣ dӳ liӋu chӫ ÿӅ (Data Mart) cӫa nghiӋp vө chӑQÿӇ triӇn khai

- Thӵc hiӋn tiӃQWUuQKÿѭDGӳ liӋu tӯ hӋ thӕng nguӗn vào hӋ thӕng dӳ liӋu chӫ ÿӅ (Data Mart) - TiӃn trình ETL

- Xây dӵng hӋ thӕng báo cáo thông minh BI - HiӋn thӵc hӋ thӕng

1.4 GIӞI HҤ1Ĉӄ TÀI

Dӵa vào mөc tiêu cӫDÿӅ WjL³;k\Gӵng Data Warehouse và BI cho công ty ngành nhӵa tҥL73+&0´Tác giҧ muӕQKѭӟng tӟi xây dӵng toàn bӝ các phân hӋ trong công ty ÿӇ có mӝt giҧi pháp toàn diӋn Data Warehouse và BI

Trang 16

- Công ViӋc thӭ hai: Khҧo thӵc trҥng hҥ tҫng CNTT và quy trình nghiӋp vө bán hàng cӫa công ty

- Công ViӋc thӭ ba: Xây dӵng hӋ thӕQJFѫVӣ dӳ liӋu chӫ ÿӅ (Data Mart) cho phân hӋ bán hàng

- Công ViӋc thӭ Wѭ: Thӵc hiӋn tiӃQWUuQKÿѭDGӳ liӋu tӯ hӋ thӕng nguӗn vào hӋ thӕng dӳ liӋu chӫ ÿӅ (Data Mart) - TiӃn trình ETL

- Công ViӋc thӭ năP: Xây dӵng hӋ thӕng báo cáo thông minh BI - Công ViӋc thӭ sau: HiӋn thӵc hӋ thӕng

Vӟi sáu công viӋc cҫQOjPÿӇ xây dӵng DW và BI, Tác giҧ sӁ ÿLQJKLrQFӭu kӻ phҫn công viӋc thӭ nhҩt, hai, ba và thӭ Wѭ

1.5 3+ѬѪ1*3+È31*+,Ç1&ӬU

- 3KѭѫQJSKiSSKkQtích và tәng hӧp lý thuyӃt - 3KѭѫQJSKiSÿLӅu tra

- 3KѭѫQJSKiShӓi ý kiӃn chuyên gia

1.6 CҨU TRÚC LUҰ19Ă1

LuұQYăQÿѭӧc trình bày gӗPFKѭѫQJVDXÿk\ - &KѭѫQJ*Lӟi thiӋu

- &KѭѫQJ&ѫVӣ lý thuyӃt và các nghiên cӭu liên quan

- &KѭѫQJ7Kӵc trҥQJFѫVӣ hҥ tҫng CNTT và quy trình nghiӋp vө bán hàng cӫa công ty

- &KѭѫQJ3KѭѫQJSKiSÿӅ xuҩt xây dӵng hӋ thӕng data warehouse và BI - &KѭѫQJĈiQKJLiKӋ thӕng

- &KѭѫQJ.Ӄt luұn

Trang 17

&+ѬѪ1*&Ѫ6Ӣ LÝ THUYӂT VÀ CÁC NGHIÊN CӬU LIÊN QUAN

7URQJFKѭѫQJFѫVӣ lý thuyӃt và các nghiên cӭu liên quan, tác giҧ trình bày vӅ Fѫsӣ lý thuyӃW GDWD ZDUHKRXVH Yj %, WURQJ ÿy ÿL WuP KLӇu vӅ: lý do cҫn phҧi có data warehose và BI trong doanh nghiӋSÿһc tính cӫa data warehouse, lӧi ích cӫa kho dӳ liӋu, các kho dӳ liӋu hiӋn nay và tә chӭc dӳ liӋu trong kho dӳ liӋu

TiӃSWKHRWUuQKED\ÿӃn phҫn kiӃn trúc cӫa data warehouse gӗm có: thành phҫn trong data warehouse, tiӃQWUuQK(7/&6'/ÿDFKLӅu vӟi OLAP, và các công cө truy vҩn phân tích dӳ liӋu CuӕLFQJWURQJFKѭѫQJQj\tác giҧ trình bày mӝt sӕ nghiên cӭu liên quan

'ѭӟLÿk\OjSKҫn tác giҧ ÿmWUuQKEj\FKLWLӃWWURQJFKѭѫQJQj\ÿӇ QJѭӡLÿӑc hiӇu rõ KѫQ

Trang 18

2.1 &Ѫ6Ӣ LÝ THUYӂT DATA WAREHOUSE BI

2.1.1 Mӝt sӕ lý do cҫn phҧi có Data Warehouse và BI trong doanh nghiӋp

Các doanh nghiӋp ngày nay khi áp dөng mӝt hӋ thӕng thông tin vào công viӋc sҧn xuҩt kinh doanh cӫa công ty thì không thӇ thiӃXÿѭӧc phҫn báo cáo

ĈӅ Fyÿѭӧc báo cáo tӕt thì doanh nghiӋp cҫn cung cҩp vào hӋ thӕng các dӳ liӋXÿҫu vào ÿӫ, chính xác và tәn tҥi theo thӡi gian Vӟi thӡLÿҥi công nghӋ thông tin phát triӇQQKѭngày nay thì có rҩt nhiӅu giҧLSKiSÿӇ giҧi quyӃt viӋc kiӇm soát mӝt hӋ thӕQJÿҫu vào dӳ liӋXÿӇ ÿѭDUDÿѭӧc các báo cáo mang tính chҩt quyӃWÿӏnh

Trong phҫn này Tác giҧ [LQÿӅ cҩSÿӃn mӝt sӕ lý do doanh nghiӋp cҫn phҧi có hӋ thӕng kho dӳ liӋu (DW) và báo cáo thông minh (BI) QKѭVDX

- Tә chӭc phҧi viӃt vj duy tru hjQJWUăPFKѭѫQJWUuQKÿӇ trtch xuҩt, chuҭn bӏ, hӧp nhҩt dӳ liӋu ÿӇ sӱ dөng cho nhiӅu FKѭѫQJWUunh khic nhau dQJÿӇ phân ttch vj bio cio

- 1Jѭӡi ra quyӃt ÿӏnh muӕn khai thiFVkXKѫQYjo cic dӳ liӋu

- ĈLӅu njy dүQÿӃn cic yêu cҫu phit triӇQFKѭѫQJWUunh trtch xuҩt mӟLKѫQ4Xi trunh njy rҩt tӕn kpm, không hiӋu quҧ vj tӕn thӡi gian Data Warehousing cung cҩp mӝWSKѭѫQJSKip tiӃp cұn tӕWKѫQ

- Data Warehousing thӵc hiӋn qui trunh truy cұp dӳ liӋu tӯ cic nguӗQNK{QJÿӗng nhҩt; ljm sҥch, lӑc vj chuyӇQÿәi dӳ liӋXOѭXWUӳ dӳ liӋu theo cҩu tr~FÿӇ dӉ djng truy cұp, hiӇu r} vj sӱ dөng

- Dӳ liӋu VDXÿy ÿѭӧc dQJÿӇ truy vҩn, bio cio vj phân ttch dӳ liӋu

- Khӕi Oѭӧng dӳ liӋu trong kho dӳ liӋu cy thӇ rҩt lӟQÿһc biӋt khi xem xpt cic yêu cҫu phân ttch dӳ liӋu mang ttnh lӏch sӱ

- &KѭѫQJWUunh phân ttch dӳ liӋu ÿzi hӓi phҧi qupt qua khӕLOѭӧng dӳ liӋu rҩt lӟn, cy thӇ dүQÿӃn kӃt quҧ không tӕt cho cic ӭng dөng hoҥWÿӝng

Business Intelligence

- Giúp các tә chӭc doanh nghiӋSÿѭDUDQKӳng quyӃWÿӏQKÿ~QJÿҳn nhҩt cho viӋc kinh doanh giӳDKjQJWUăPKjQJQJjQOӵa chӑn

Trang 19

- Ĉk\OjFiFKWӕt nhҩWÿӇ công ty có thӇ YѭӧWOrQWUrQÿӕi thӫ cӫa mình vì bҧn thân dӳ liӋu chính là feedback cӫDNKiFKKjQJOj[XKѭӟng cӫa thӏ WUѭӡng vv - Khi phân tích các sӵ kiӋn mua hàng hoһc sӱ dөng 1 sҧn phҭm cӫa khách hàng,

công ty có thӇ [iFÿӏQKÿѭӧc ngân sách ngay tӯ ban ÿҫu khi muӕQÿѭDUDVҧn phҭm mӟi cho thӏ WUѭӡng

- Ngoài viӋc phát hiӋn nhӳQJFѫKӝi kinh doanh mӟi, BI còn giúp doanh nghiӋp ÿiQK JLi Oҥi nhӳng mһt yӃu kém vӅ: quy trình nӝi bӝ, sҧn phҭm, chiӃQ Oѭӧc PDUNHWLQJ«Gӵa trên nhӳng benchmark cӫa thӏ WUѭӡQJYjÿӕi thӫ

2.1.2 Ĉһc WUѭQJFӫa kho dӳ liӋu (Data Warehouse)

&NJQJQKѭFiFKӋ thӕng CNTT khác, kho dӳ liӋu có nhӳQJÿһFWUѭQJULrQJELӋt sau:

- Tính tích hӧp (Integration): Dӳ liӋu cӫD':ÿѭӧc tұp hӧp vӅ tӯ các nguӗn khác

QKDXQKѭFiF&6'/Fӫa các hӋ thӕng tác nghiӋp, các file tài liӋu cӫa mӝt doanh nghiӋp

- +ѭӟng chӫ ÿӅ (Subject-Oriented): Dӳ liӋu cӫD ': ÿѭӧc tә chӭF Yj OѭX WUӳ

theo các chӫ ÿӅ nghiӋp vө PjQJѭӡi khai thác quan tâm Ví dө: Dӳ liӋu cӫa mӝt doanh nghiӋp trong DW có các chӫ ÿӅ sau:

Thӵc thӇ doanh nghiӋp: Khách hàngÿӕi tácÿҥi lý

HoҥWÿӝng cӫa doanh nghiӋp: Bán hàng, phân phӕi, chӃ tҥo

- 7tFKONJ\WKHRWKӡi gian (Time-Variant): Dӳ liӋXOѭXWUӳ có tính chҩt lӏch sӱ,

theo dòng thӡi gian tính tӯ mӝt thӡLÿLӇm trong quá khӭ FKRÿӃn hiӋn tҥi và các dӳ liӋu sӁ SKiWVLQKWURQJWѭѫQJODL

- Bҩt biӃn (Non-Volatile): Dӳ liӋXÿmÿѭDYjRWURQJ':QyLFKXQJӣ dҥng chӍ ÿӑc

(read-only) và rҩt hiӃPNKLWKD\ÿәi (không update, không delete) DW chính là nhӳng FѫVӣ dӳ liӋu (CSDL) ÿѭӧc thiӃt kӃ cho mөFÿtFKNhai thác và phân tích thông tin (query - truy vҩn) chӭ không phҧi mөFÿtFKFұp nhұt (update±cұp nhұt, delete-[yD QKѭWURQJ&6'/Fӫa các ӭng dөng tác nghiӋp

2.1.2 Ĉһc tính cӫa kho dӳ liӋu

Trong quá trình hoҥWÿӝng kinh doanh, các dӳ liӋu cӫa doanh nghiӋp phát sinh ngày càng nhiӅX1Jѭӡi ta muӕn tұn dөng nguӗn dӳ liӋXQj\ÿӇ sӱ dөng cho nhӳng mөFÿtFKKӛ trӧ cho công viӋc kinh doanh ví dө QKѭFKo mөFÿtFKWKӕng kê hay phân tích Quá trình tұp hӧp và thao tác trên các dӳ liӋu này có nhӳQJÿһc tính sau:

- Tính tích hӧp

Khái niӋm tích hӧS Fy QJKƭD Oj NKR Gӳ liӋu có khҧ QăQJ WKX WKұp dӳ liӋu tӯ nhiӅu

Trang 20

Mӝt kho dӳ liӋu là mӝt khung nhìn tәng thӇ thӕng nhҩt các khung nhìn khác nhau Ví dө: mӝt hӋ thӕng tác nghiӋSQKѭEiQKjQJKRһc tiӃp thӏ có thӇ có chung mӝt dҥng thông tin vӅ NKiFKKjQJQKѭQJFiFYҩQÿӅ vӅ tài chính cҫn mӝt khung nhìn khác cho thông tin vӅ khách hàng Mӝt kho sӁ có mӝt khung nhìn toàn thӇ vӅ mӝt khách hàng .KXQJQKuQÿyEDRJӗm các phҫn dӳ liӋu khác nhau tӯ các hӋ thӕng tác nghiӋp khác nhau

- Dӳ liӋu tәng hӧp

Dӳ liӋu chi tiӃt là thông tin mӭc thҩp nhҩWÿѭӧFOѭXWUӳ trong kho dӳ liӋu Dӳ liӋu tác nghiӋp chính là thông tin mӭc thҩp nhҩt Dӳ liӋu tәng hӧSÿѭӧc tích hӧp lҥi qua nhiӅu JLDLÿRҥn khác nhau

2.1.3 ĈһFWUѭQJ kho dӳ liӋXYjFѫsӣ dӳ liӋu WK{QJWKѭӡng

DW vӅ bҧn chҩWFNJQJOjPӝWGDWDEDVHEuQKWKѭӡng, các hӋ quҧn trӏ FѫVӣ dӳ liӋu quҧn OêYjOѭXWUӳ QyQKѭFiFGDWDEDVHWK{QJWKѭӡng (tuy nhiên có hӛ trӧ thêm vӅ quҧn lý dӳ liӋu lӟn và truy vҩn) Mӝt sӕ khác biӋt cӫa DW so vӟi database

- 7Uѭӟc tiên DW là database rҩt lӟn

- 'DWDEDVHKѭӟng vӅ xӱ lý thӡi gian thӵc, DW Kѭӟng vӅ dӳ liӋu lӏch sӱ, tính әn ÿӏnh

- Database phөc vө xӱ lý transaction, cұp nhұW 'DWDZDUHKRXVH WKѭӡng chӍ ÿӑc, phөc vө cho nhӳng nhu cҫu báo cáo

- DW sӁ lҩy thông tin có thӇ tӯ nhiӅu nguӗn khác nhau: DB2, Oracle, SQLserver thұm chí cҧ )LOHWK{QJWKѭӣng rӗi làm sҥFKFK~QJYjÿѭDYjRFҩu trúc cӫa nó DW rҩt lӟn nên muӕn cho tӯng bӝ phұn chuyên biӋWQJѭӡi sӱ dөng cuӕi cùng có thӇ khai thác thông dӉ dàng thì bҧn thân DW phҧLÿѭӧc chuyên hoá, phân ra thành

Trang 21

nhӳng chӫ ÿӅGRÿyQKӳng chӫ ÿӅ FKX\rQP{QKyDÿyWҥo thành mӝt Database chuyên biӋt, ÿyOj'DWDPDUW

- MӝWÿLӇm quan trӑQJOj'DWDEDVHWKѭӡQJÿѭӧc chuҭn hóa (Dҥng chuҭn 1, 2, 3, %& ÿӇ khai thác DW phҧi phi chuҭn hoá rӗLVDXÿyFyWKӇ chuҭQKRiWKHROѭӧc ÿӗ hình sao WURQJ'DWDPDUWÿLӅXQj\ÿӗQJQJKƭDYӟi viӋc DW sӁ trùng lҳp thông tin ThұWUDÿLӅu này theo Tác giҧ QJKƭOjKLӇn nhiên vì viӋc chuҭn hoá nhҵm tránh sӵ trùng lҳSWK{QJWLQGRÿyVӁ nhҩt quán trong viӋc cұp nhұt, thêm, xoá, sӱa, tuy nhiên DW là Database rҩt lӟn phөc vө cho báo cáo, truy vҩn chӍ ÿӑc nên viӋc trùng lҳp thông tin sӁ giúp thao tác tìm kiӃm sӁ QKDQKKѫQĈk\FNJQJOjPӝt quy luұt: Càng trùng lҳp thông tin thì tìm kiӃm càng dӉ dàQJYjQJѭӧc lҥi

2.1.4 Lӧi ích cӫa kho dӳ liӋu mang lҥi

Tҥo ra nhӳng quyӃW ÿӏnh có ҧQK Kѭӣng lӟn: Mӝt DW cho phép trích rút tài

nguyên nhân lӵc và máy tính theo yêu cҫXÿӇ cung cҩp các câu truy vҩn và các báo cáo dӵDYjRFѫVӣ dӳ liӋu hoҥWÿӝng và sҧn xuҩWĈLӅu này tҥo ra sӵ tiӃt kiӋPÿiQJNӇ Có kho dӳ liӋXFNJQJWUtFKU~WWjLQJX\rQNKDQKLӃm cӫa hӋ thӕng sҧn xuҩt khi thӵc thi mӝt

FKѭѫQJWUuQKTXiOkXKRһc các báo cáo và các câu truy vҩn phӭc hӧp

Công viӋc kinh doanh trӣ QrQWK{QJPLQKKѫQ: 7ăQJWKrPFKҩWOѭӧng và tính

linh hoҥt cӫa viӋc phân tích kinh doanh do phát sinh tӯ cҩu trúc dӳ liӋXÿDWҫng cӫa kho dӳ liӋXÿyOjQѫLFXQJFҩp dӳ liӋXÿѭӧc sҳp xӃp tӯ mӭFÿӝ chi tiӃt cӫa công viӋc kinh GRDQKFKRÿӃn mӭFÿӝ FDRKѫQ- mӭFÿӝ tәQJTXiWĈҧm bҧRÿѭӧc dӳ liӋu chính xác và ÿiQJWLQFұ\GRÿҧm bҧRÿѭӧc là trong kho dӳ liӋu chӍ chӭa duy nhҩt dӳ liӋu có chҩt

lѭӧng cao và әQÿӏnh (trusted data)

Dӏch vө NKiFKKjQJÿѭӧc nâng cao: Mӝt doanh nghiӋp có thӇ giӳ gìn mӕi quan

hӋ vӟi khách hàng tӕWKѫQGRFyPӕLWѭѫQJTXDQYӟi dӳ liӋu cӫa tҩt cҧ khách hàng qua

mӝt kho dӳ liӋu riêng

Tái sáng tҥo nhӳng tiӃn trình kinh doanh: Sӵ cho phép phân tích không ngӯng

WK{QJWLQNLQKGRDQKWKѭӡng cung cҩp sӵ hiӇu biӃt mӑi mһt cӫDSKѭѫQJWKӭc kinh doanh GRÿyFyWKӇ làm nҧy sinh ra nhӳng ý kiӃn cho sӵ sáng tҥo ra nhӳng tiӃn trình này lҥi ChӍ NKL[iFÿӏnh chính xác các nhu cҫu tӯ kho dӳ liӋu thì mӟLJL~SWDÿiQKJLiÿѭӧc

nhӳng hҥn chӃ và mөc tiêu kinh doanh mӝWFiFKFKtQK[iFKѫQ

Tái sáng tҥo hӋ thӕng thông tin: Mӝt DW là nӅn tҧng cho các yêu cҫu dӳ liӋu

trong mӑLOƭQKYӵc kinh doanh, nó cung cҩp mӝt chi phí ҧQKKѭӣQJQJKƭDOjÿѭDUa thói quen cho cho cҧ hai sӵ chuҭn hóa dӳ liӋu và sӵ chuҭn hóa hoҥWÿӝng cӫa hӋ ÿLӅu hành

Trang 22

2.1.5 Kho dӳ liӋu hiӋn nay

Ngày nay, hҫu hӃt các kho dӳ liӋXÿDQJÿѭӧc dùng cho quҧn trӏ doanh nghiӋp thông PLQKOjPWăQJPӕi quan hӋ khách hàng (CRM - Customer Relationship Management) và khai thác dӳ liӋu Mӝt sӕ ÿѭӧc sӱ dөQJÿӇ báo cáo tәng hӧp, mӝt sӕ ÿѭӧc sӱ dөQJÿӇ tích hӧp dӳ liӋu Các cách sӱ dөQJQj\ÿӅXWѭѫQJTXDQYӟi nhau; ví dө, quҧn trӏ doanh nghiӋp thông minh (Business Intelligence - BI) và CRM sӱ dөng khai thác dӳ liӋu, kinh doanh thông minh sӱ dөng báo cáo, còn BI và CRM còn sӱ dөng tích hӧp dӳ liӋu Trong các phҫn sau sӁ mô tҧ cách sӱ dөng chính, bao gӗm quҧn trӏ doanh nghiӋp thông minh, CRM và khai thác dӳ liӋu

a Quҧn trӏ doanh nghiӋp thông minh

'ѭӡQJQKѭQKLӅu nhà cung cҩp thích dùng quҧn trӏ doanh nghiӋSWK{QJPLQKKѫQOjDW Nói cách khác, hӑ tұSWUXQJKѫQYjRYLӋc xem DW có thӇ làm gì cho doanh nghiӋp NhiӅu DW hiӋQQD\ÿѭӧc dùng cho BI: giúp nhà kinh doanh hiӇu công viӋc kinh doanh cӫa hӑ KѫQJL~SKӑ ÿѭDUDFiFTX\ӃWÿӏQKKjQKÿӝng, chiӃQOѭӧc, và mөc tiêu kinh doanh tӕWKѫQJL~SKӑ cҧi tiӃn hoҥWÿӝng kinh doanh

Mӝt sӕ FiFQKjOmQKÿҥo doanh nghiӋp ngày nay ra quyӃWÿӏnh dӵa trên dӳ liӋu Và 1 công cө quҧn trӏ doanh nghiӋp thông minh chҥy và vұn hành trên cӫa kho dӳ liӋu có thӇ là mӝt công cө hӛ trӧ tӕt cho mөFÿtFKÿyĈLӅXQj\Fyÿѭӧc là do sӱ dөng báo cáo và OLAP Báo cáo DW ÿѭӧc sӱ dөQJÿӇ ÿѭDUDVӕ liӋXNLQKGRDQKÿmWәng hӧp trong DW tӟi nhӳQJQJѭӡi kinh doanh OLAP cho phép doanh nghiӋp phân tích sӵҧQKKѭӣng lүn nhau cӫa dӳ liӋu giao dӏFKNLQKGRDQKÿѭӧFOѭXWUӳ trong DW ÿDFKLӅu

b Quҧn lý mӕi quan hӋ khách hàng

Mӝt hӋ thӕng quҧn lý mӕi quan hӋ khách hàng (CRM - Customer Relationship Management) gӗm có nhӳng ӭng dөng mà hӛ trӧ quҧn lý mӕi quan hӋ khách hàng Trong mӝt hӋ thӕng CRM, chӭFQăQJOêWѭӣQJVDXÿk\ÿѭӧc xây dӵng trong mӝt DW ÿDFKLӅu:

- Ĉӗng nhҩt khách hàng - Quҧn lý cho phép - 3KkQÿRҥn chiӃn dӏch - Dӏch vө/hӛ trӧ khách hàng - Phân tích khách hàng - &iQKkQKyD«

c Khai phá dӳ liӋu

Data mining là quá trình tìm kiӃm các mүu mӟi, nhӳng thông tin tiӅm ҭn mang tính dӵ ÿRiQWURQJFiFNKӕi dӳ liӋu lӟn Nhӳng công cө data mining có thӇ phát hiӋn nhӳng xu

Trang 23

KѭӟQJWURQJWѭѫQJODLFiFWULWKӭc mà data mining mang lҥi cho các doanh nghiӋp có thӇ ra các quyӃWÿӏnh kӏp thӡi và trҧ lӡi nhӳng câu hӓLWURQJOƭQKYӵc kinh GRDQKPjWUѭӟc ÿk\Wӕn nhiӅu thӡLJLDQÿӇ xӱ lý VӟLѭXÿLӇm WUrQ'DWDPLQLQJÿmchӭng tӓ ÿѭӧc tính hӳu dөng cӫDQyWURQJP{LWUѭӡQJNLQKGRDQKÿҫy tính cҥnh tranh20 QJj\QD\Yjÿѭӧc ӭng dөng rӝQJUmLWURQJFiFOƭQKYӵFWKѭѫQJPҥLWjLFKtQKÿLӅu trӏ y hӑc, giáo dөc, viӉn WK{QJ«

d Tích hӧp dӳ liӋu khách hàng

Tích hӧp dӳ liӋu khách hàng (CDI- Customer Data Integration) là MDM cho dӳ liӋu khách hàng CDI là mӝt quá trình chiӃt, làm sҥFKOѭXWUӳ, duy trì, và phân phӕi dӳ liӋu cӫa khách hàng CDI hӋ thӕng chiӃt dӳ liӋu khách hàng tӯ hӋ thӕng OLTP, làm sҥch nó, OѭXWUӳ trong mӝt kho dӳ liӋu khách hàng chính, duy trì dӳ liӋu cӫa khách KjQJOѭXJLӳ nó, và phân phӕi các dӳ liӋu khách hàng cho các hӋ thӕng khác

HӋ thӕng CDI cho phép bҥn có mӝt phiên bҧn dӳ liӋu khách hàng sҥFKKѫQGX\ nhҩt, ÿiQJWLQFұy mà các ӭng dөng khác trong các doanh nghiӋp có thӇ sӱ dөQJĈLӅu này FNJQJFyWKӇ JLDWăQJOӧi ích kinh doanh chҷng hҥQQKѭWăQJVӵ hài lòng cӫa khách hàng và phân tích kinh doanh tӕWKѫQYjQyOjPJLҧm sӵ phӭc tҥp cӫa các quá trình sӱ dөng dӳ liӋu khách hàng Tҩt cҧ các loҥi khác nhau cӫa quҧn lý dӳ liӋu chính, CDI là sӱ dөng rӝng rãi nhҩt bӣi vì mӛi tә chӭc có khách hàng CDI cung cҩp dӳ liӋu tích hӧp sҥch cho quҧn lý mӕi quan hӋ khách hàng

e Dӳ liӋu phi cҩu trúc

Dӳ liӋu có cҩXWU~FWKѭӡQJGQJÿӇ chӍ dӳ liӋXOѭXWUӳ trong các hӋ quҧn trӏ FѫVӣ dӳ liӋu quan hӋ QKѭ2UDFOH0664/6HUYHU0\64/«WURQJÿyFiFWKӵc thӇ và các thuӝFWtQKÿѭӧFÿӏQKQJKƭDVҹn Ví dө, dӳ liӋu cӫa mӝt thí sinh dӵ WKLÿҥi hӑc có thӇ bao gӗPFiFWK{QJWLQQKѭKӑ WrQQăPVLQKWUѭӡng dӵ WKLÿLӇm thi FiFP{Q7URQJNKLÿydӳ liӋu phi cҩXWU~F 8QVWUXFWXUHG'DWD WKѭӡQJGQJÿӇ chӍ dӳ liӋu ӣ dҥng tӵ do (free type) và không cҫn có cҩXWU~FÿӏQKQJKƭDVҹn Các trang web, video, ҧnh, âm thanh là các ví dө cӫa dӳ liӋu phi cҩu trúc

Dӳ liӋu phi cҩXWU~FÿѭӧFOѭXWUӳ trong kho dӳ liӋXQKѭWKӃ QjR"9jVDXNKLOѭXJLӳ, làm thӃ QjRÿӇ nhұQÿѭӧc nhӳng thông tin mà bҥn cҫn ra khӓi dӳ liӋXQj\"ĈӇ trҧ lӡi câu hӓi thӭ nhҩWÿӕi vӟi mӛi thành phҫn dӳ liӋu phi cҩu trúc bҥQÿӏQKQJKƭDWKXӝc tính YjVDXÿyWKLӃt lұp nhӳng thành phҫQÿyWKHRFiFWKXӝc tính Bҥn có thӇ OѭXWUӳ các thành phҫn dӳ liӋu phi cҩu trong mӝWFѫVӣ dӳ liӋu quan hӋ QKѭOjPӝt cӝWÿӕLWѭӧng nhӏ phân, vӟi các thuӝFWtQKQKѭOjFiFFӝt khác Hoһc bҥn có thӇ OѭXWUӳ các thành phҫn dӳ liӋu

Trang 24

phi cҩu trúc trong hӋ thӕng tұp tin và chӍ cҫQOѭXWUӳ các con trӓ vào tұSWLQWURQJFѫVӣ dӳ liӋu

Mӛi kiӇu cӫa dӳ liӋu phi cҩu trúc có thuӝc tính vӅ vұt lý và nӝi dung khác nhau Các thuӝc tính có thӇ ÿѭӧFOѭXJLӳ trong mӝt hay nhiӅXFѫVӣ dӳ liӋXÿӇ cho phép QJѭӡi sӱ dөng dӉ dàng tìm thҩy dӳ liӋu phi cҩu trúc riêng chi tiӃt Nӝi dung cӫa các dӳ liӋu phi cҩu trúc chính nó có thӇ ÿѭӧc phân tích, trích xuҩt, phân loҥLOѭXWUӳ YjÿӇ hӛ trӧ truy vҩn thông tin

f Kho dӳ liӋu thӡi gian thӵc:

DW QJj\QD\WK{QJWKѭӡQJÿѭӧc cұp nhұt tӯng ngày, tӯng tuҫn, tӯng tháng, Có mӝt sӕ yêu cҫu cӫa nhӳQJQJѭӡi sӱ dөng muӕn nhìn thҩy dӳ liӋu trong kho dӳ liӋXÿѭӧc cұp nhұt cӭ hai phút mӝt lҫn hay thұm chí thӡi gian thӵc Mӝt DW thӡi gian thӵc (Real-Time Data Warehouse) là mӝt DW Pjÿѭӧc cұp nhұt (bӣi ETL) ngay thӡLÿLӇm giao dӏch xҧy ra trong hӋ thӕng nguӗn

2.1.7 Tә chӭc dӳ liӋu trong kho dӳ liӋu a /ѭӧFÿӗ dӳ liӋu trong DW

Trong thiӃt kӃ logic DW, có hai loҥLP{KuQK&6'/WKѭӡQJÿѭӧc sӱ dөQJÿyOjP{hình sao và mô hình bông tuyӃt:

- 6WDU6FKHPD OѭӧFÿӗ hình sao): là CSDL quan hӋ ÿѭӧc thiӃt kӃ logic dҥng hình sao bao gӗm mӝt bҧng dӳ liӋu chi tiӃt ӣ vӏ trí trung tâm quan hӋ vӟi các bҧng dӳ liӋu danh mөc xung quanh (kiӇu N:1) Mӛi bҧng danh mөFÿӅu là bҧng duy nhҩt cӫa nhánh, không có quan hӋ vӟi bҧng danh mөc nào khác Ví dөWURQJP{KuQKVDRVDXÿk\Eҧng dӳ liӋu trung tâm thӇ hiӋn sҧQOѭӧng và doanh sӕ, các bҧng danh mөc xung quanh là: khách hàng, sҧn phҭm, kênh phân phӕi, thӡi gian

Hình 2 1: Ví dͭ v͉ O˱ͫFÿ͛ hình sao

Trang 25

Hình 2.1 là mӝt ví dө vӅ OѭӧFÿӗ hình sao và mөc tiêu cӫDOѭӧFÿӗ hình sao là truy vҩn dӳ liӋXÿѭӧc nhanh nhҩt; chҩp nhұQGѭWKӯa dӳ liӋu ӣ các bҧng danh mөc

- 6QRZIODNH6FKHPD OѭӧFÿӗ hình bông tuyӃt): Oj&6'/KuQKVDRQKѭQJÿѭӧc chuҭn hóa theo mӝt dҥng chuҭn khác: mӛi bҧng danh mөFÿѭӧc tách thành các bҧng danh mөc phân cҩp (nӃXFy ÿӇ ÿҧm bҧRNK{QJGѭWKӯa dӳ liӋu Trong ví dө GѭӟLÿk\QKiQKbҧQJNKiFKKjQJÿmÿѭӧc tách thành các bҧng phân cҩp

Hình 2 2: Ví dͭ v͉ O˱ͫFÿ͛ hình bông tuy͇t

Hình 2.2 là ví dө vӅ OѭӧFÿӗ bông tuyӃt và mөc tiêu cӫa mô hình bông tuyӃt là kӃ thӯa

viӋc truy vҩn nhanh cӫDP{KuQKVDRNK{QJÿӇ GѭDWKӯa dӳ liӋu

b Mô hình dӳ liӋXÿDFKLӅu

Bҧn chҩWÿDFKLӅu cӫa các câu hӓi trong nghiӋp vө ÿѭӧc phҧn ánh trong thӵc tӃ chҷng hҥQQKѭQKӳQJQJѭӡi quҧn lí thӏ WUѭӡQJNK{QJÿѭӧc thoҧ mãn vӟi câu hӓi theo mӝt chiӅu ÿѫQJLҧQWKD\YjRÿyOjQKӳng câu hӓi phӭc tҥp MӝWFiFKÿӇ quan sát mӝt mô hình dӳ liӋu nhiӅu chiӅXOjQKuQQyQKѭPӝt hình khӕi Hình 2.3 thӇ hiӋn câu truy vҩn theo bӕn chiӅu: khách hàng, dӏch vө, thӡi gian

Trang 26

Hình 2 3: Mô hình dͷ li͏XÿDFKL͉u

Thӡi gian trҧ lӡi mӝt truy vҩn nhiӅu chiӅu phө thuӝc vào sӕ Oѭӧng FiF{ÿѭӧc thêm vào trong quá trình thӵc hiӋn Khi sӕ Oѭӧng chiӅXWăQJWKuVӕ ô cӫa khӕLQj\WăQJWKHRcҩp sӕ PNJ%rQFҥQKÿyQKӳng truy vҩQÿDFKLӅXÿӅu liên quan tӟi nhӳng dӳ liӋu ӣ cao và dӳ liӋu tәng Vì vұy, giҧLSKiSÿӇ xây dӵng mӝWFѫVӣ dӳ liӋXÿa chiӅu có hiӋu quҧ là phҧi kӃt hӧp tӯ WUѭӟc tҩt cҧ các tәng con logic và các tәng theo tҩt cҧ các chiӅu Sӵ kӃt hӧSWUѭӟFQj\ÿһc biӋt có giá trӏ khi các chiӅu mang tính phân cҩp

Sӵ phân cҩp vӅ NtFKWKѭӟc, quҧn lí dӳ liӋXWKѭDKѫQYjVӵ kӃt hӧSWUѭӟc là quan trӑng vì chúng làm giҧPÿiQJNӇ kích cӥ cӫDFѫVӣ dӳ liӋu và nhӳng yêu cҫu tính toán các giá trӏ Mӝt thiӃt kӃ QKѭYұy loҥi bӓ viӋc phҧi kӃt hӧp nhiӅu bҧng và cung cҩp sӵ truy nhұp trӵc tiӃp và nhanh tӟi các câu trҧ lӡi vì vұy cҧi thiӋQÿiQJNӇ tӕFÿӝ trong viӋc thӵc hiӋn các truy vҩQÿDFKLӅu

Các thành phҫn chính

Các dӳ kiӋn (Facts)

- Miêu tҧ các vùng kinh doanh

- K{QJWKD\ÿәLNKLQyÿmÿѭӧc sinh ra - ĈѭӧFOѭXWҥi mӝt cҩSWK{QjRÿy

Trang 27

- Mӝt khӕi bao gӗm nhiӅu ô dӳ liӋu

c Bҧng sӵ kiӋn

Bҧng sӵ kiӋQÿLӇn hình có hai kiӇu cӝt, chúng chӭDÿӵng nhӳng sӵ kiӋn sӕ WKѭӡng gӑi là WKѭӟFÿR YjFKӭa khóa cӫa các bҧng dimension Bҧng sӵ kiӋn chӭDÿӵng nhӳng sӵ kiӋn mӭc chi tiӃt hoһc nhӳng sӵ kiӋQPjÿmÿѭӧc tәng hӧp lҥi Bҧng sӵ kiӋn mà chӭa sӵ kiӋn tәng hӧSWKѭӡQJÿѭӧc gӑi là nhӳng bҧng tóm tҳt Bҧng sӵ kiӋQWK{QJWKѭӡng chӭDÿӵng nhӳng sӵ kiӋn vӟi cùng mӭc cӫa sӵ tәng hӧp Tuy nhiên hҫu hӃt nhӳng sӵ kiӋn liên kӃt tҩt cҧ các chiӅu, nó có thӇ liên kӃt vӟi 1 sӕ chiӅu hoһc không liên kêt

Bҧng sӵ kiӋn là bҧng chӭa dӳ liӋu chi tiӃt nên có sӕ Oѭӧng bҧn ghi rҩt lӟn và còn WKѭӡQJ[X\rQÿѭӧc cұp nhұt, bә sung dӳ liӋXWURQJNKLÿyFiFEҧQJGLPHQVLRQWKѭӡng cӕ ÿӏQKQyLÿ~QJKѫQOjFyVӵ WKD\ÿәLNK{QJÿiQJNӇ theo thӡi gian Bҧng theo chiӅu chӭDÿӵng các thuӝc tính có thӇ ÿѭӧc sӱ dөQJQKѭFiFWLrXFKtWuPNLӃPYjWKѭӡng có NtFKWKѭӟc nhӓ KѫQUҩt nhiӅu, rҩt quen thuӝc vӟLQJѭӡi sӱ dөng tӯ WUѭӟc

d Bҧng chiӅu dӳ liӋu

Các chiӅu là cách mô tҧ chӫng loҥLPjWKHRÿyFiFGӳ liӋu sӕ trong khӕLÿѭӧc phân FKLDÿӇ SKkQWtFK.KL[iFÿӏnh mӝt chiӅu, chӑn mӝt hoһc nhiӅu cӝt cӫa mӝt trong các bҧng liên kӃt (bҧng chiӅu) NӃu ta chӑn các cӝt phӭc tҥp thì tҩt cҧ cҫn có quan hӋ vӟi nhau, chҷng hҥn các giá trӏ cӫa chúng có thӇ ÿѭӧc tә chӭc theo hӋ thӕng phân cҩSÿѫQĈӇ [iFÿӏnh hӋ thӕng phân cҩp, sҳp xӃp các cӝt tӯ chung nhҩt tӟi cө thӇ nhҩt Ví dө: mӝt chiӅu thӡLJLDQÿѭӧc tҥo ra tӯ các cӝWQăPT~\WKiQJQJj\

Mӛi cӝt trong chiӅu góp phҫn vào mӝt cҩSÿӝ cho chiӅu Các cҩSÿӝ ÿѭӧc sҳSÿһt theo nét riêng biӋWYjÿѭӧc tә chӭc trong hӋ thӕng cҩp bұc mà nó thӯa nhұQFiFFRQÿѭӡng hӧp logic cho viӋFÿjRVkX(drill_down) Ví dө: chiӅu thӡLJLDQÿѭӧc miêu tҧ ӣ trên cho SKpSQJѭӡi dùng khӕLÿjRVkXWӯ QăPWӟi qúy, tӯ qúy tӟi tháng và tӯ tháng tӟi ngày

2.2 KIӂN TRÚC DATA WAREHOUSE

DW và kiӃn trúc cӫa nó tùy thuӝc vào vӏ trí cӫa tӯng tә chӭc Có 3 kiӃn trúc phә biӃn

cӫa DW:

- KiӃn trúc DW FѫEҧQĈk\OjNLӃn trӭFÿѫQJLҧn cho DW

Trang 29

Hình 2 5: Ki͇n trúc DW vͣi DSA

(https://docs.oracle.com/cd/E11882_01/server.112/e25554/concept.htm#DWHSG8071)

- Hình 2.6 KiӃn trúc DW vӟi Staging Area và Data Mart: So vӟi kiӃn trúc trên có thêm data mart, dӳ liӋXÿѭӧc chuyӇQÿәi và biӇu diӉn theo yêu cҫu bӣi mӝt nhóm FiFQJѭӡLGQJÿһc biӋt

Trang 30

Hình 2 6: Ki͇n trúc DW vͣi DSA, DM

(https://docs.oracle.com/cd/E11882_01/server.112/e25554/concept.htm#DWHSG8071)

2.2.2 Thành phҫn trong Datawarehouse

x Data Source ± Dӳ liӋu nguӗn

Dӳ liӋu nguӗQ Oj ÿҫu vào cӫa toàn bӝ hӋ thӕng DW, bao gӗm mӝt danh sách nguӗn dӳ liӋXÿѭӧc lӵa chӑQÿӇ ÿѭDYjRhӋ thӕng

Dӳ liӋu nguӗQÿLӇn hình cӫa DW là các CSDL tác nghiӋp bên trong tә chӭc, cung cҩp sӕ liӋu chi tiӃt vӅ các giao dӏch phát sinh hàng ngày; các CSDL này có thӇ ÿѭӧc xây dӵng trên các công nghӋ khác nhau (Oracle, Microsoft SQL Server, '%« 

Ngoài ra, dӳ liӋu nguӗQ FKR ': FNJQJ Fy WKӇ ӣ dҥng file ± tұp tin (text, xml, H[FHO« KRһc có thӇ là dӳ liӋu nguӗn bên ngoài tә chӭc (CSDL cӫa các tә chӭc liên kӃWFiFFѫTXDQQKjQѭӟF«

x Staging Area

Data Staging Area (DSA) là mӝt tұSFiF&6'/ÿyQJYDLWUzWUung chuyӇn dӳ liӋu giӳa các nguӗn dӳ liӋu vӟL(0'6$OjP{LWUѭӡng dӳ liӋXWUXQJJLDQOѭXWUӳ tҥm thӡi dӳ liӋXÿӇ xӱ lý, làm sҥch và tích hӧSWUѭӟFNKLÿѭDYjR(0

ĈһFÿLӇm dӳ liӋu tҥi DSA:

- ChӍ OѭXWUӳ tҥm thӡi cӫa mӝt phiên, khi xӱ Oê[RQJWKu[yDÿLÿӇ chuҭn bӏ xӱ lý cho phiên tiӃp theo

- Có hai loҥi DSA: + '6$ÿtFK

x Là CSDL có cҩXWU~FWѭѫQJÿѭѫQJYӟi EM (CSDL hình bông tuyӃW

Ngày đăng: 05/08/2024, 00:47

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w