Bài tập thực hành chuyên Đề cơ sở dữ liệu

CHUONG 1: PHAN TICH PHAN VÀ THIET KE CO SO DU LIEU CHO PHAN HE DUA TREN MO HINH ERP Muc tiéu: - Strdung céng cu UML phân tích và thiết kế cơ sở dữ liệu cho ứng dụng - Sw dung hé quản t

at _ DATHQC BANANG _ Jf

KHOA CONG NGHE SO

MUC LUC

CHUONG 1: PHAN TICH PHAN VÀ THIET KE CO SO DU LIEU CHO PHAN HE DUA TREN MO HINH ERP

Muc tiéu:

- Strdung céng cu UML phân tích và thiết kế cơ sở dữ liệu cho ứng dụng

- Sw dung hé quản trị CSDL SQL Server cài đặt cơ sở dữ liệu cho một phân hệ đã thiết kế theo

mô hình ERP

Thiết kế CSDL cho một phân hệ dựa trên mô hình ERP

Cho hệ thống CSDL ERP gồm các phân hệ sau:

- Quan ly San xuất

- Quan ly ké toan

- Quan ly kho hang

- Quan ly ban hang

- _ Quản lý nguồn nhân lực

- Quan ly chuỗi cung ứng

Sinh viên phân tích và thiết kế hệ thông cho một phân hệ đã được chọn và triển khai theo

mô hình CSDL ERP đã cho

Chú ý: Sinh viên hiểu kiến trúc ERP cũng như các phân hệ Sử dụng một trong hai phương pháp tiếp cận trong phân tích và thiết kế hệ thống: phân tích và thiết kế truyền thống, hướng đối tượng UML

3lPage

Hinh 1 Mé hinh CSDL ERP

4lPage

CHUONG 2: EXTRACT — TRANSFORM - LOAD (ETL)

Muc tiéu:

- Tao du an ETL từ visual studio

-_ Sử dụng các điêu khiên của thanh công cụ ETL đề nạp dữ liệu tử nhiêu nguồn khác nhau

- ETL phân tích làm sạch dữ liệu và chuyền đữ liệu dữ liệu nguồn vào vào hệ thông đích

- ETL tich hop, van chuyén và lưu trữ dữ liệu vào một mảng dữ liệu đa chiều (a

dimensional data store: DDS)

2.1 ETL là gì

ETL (Extract, Transform, Load) mang các dữ liệu từ các hệ thống nguồn khác nhau vào một vùng riêng (staging area) ETL là một hệ thống có khả năng kết nối các hệ thông nguồn, đọc

dữ liệu, chuyền DL và lưu trữ vào một hệ thống đích (a target system: không nhất thiết phải

là một DW) Hệ thống ETL tích hợp, vận chuyền và lưu trữ đữ liệu vào một mảng đữ liệu đa chiều (a đimensional đata store: DDS) Hay nói cách khác, ETL là quá trình kết hợp đữ liệu

từ nhiều nguồn thành một kho lưu trữ lớn trung tâm được gọi là kho dữ liệu ETL sử dụng hệ thống các quy tắc kinh doanh để làm sạch và sắp xếp dữ liệu thô, sau đó chuẩn bị dữ liệu cho quá trình lưu trữ, phân tích và máy học (ML)

Công cụ ETL cung cấp giao diện hoặc môi trường để xác định, quản lý và thực hiện các bước trích xuất, biên đối và tải dữ liệu một cách tự động Những điêu kiện này sẽ tôi ưu hóa quá trình chuân bị dữ liệu cho hoạt động phân tích sắp diễn ra

2.2 Quá trình lấy dữ liệu về từ hệ thống nguồn, chuyển đỗi rồi đưa vào kho dữ liệu Source Systems Data Warehouse

ETL Server Database Servers

Data Warehouse Database Servers

5|Page

2.3 Tao dw an cho ETL

State

City PostalCode

Quantity

Discount Profit [Shipping Cost]

Hình 2 Quy trình thực hiện của ETL

DimProducts + ProduclD SubCategory Category

6lPage

B Chuân bị nguồn đữ liệu Excel có tên (Global Superstore)

1 RewlÐD der ID Order Date Ship Date ShipModeCustomerlD Customer Name ent PostalCode City State Country Region

2 24599 IN-2017-CA120551- 3/22/2017 3/29/2017 Standard (CA-120551 Cathy Armstrong Home Offic Herat Hirat Afghanistan Southern Asi:

3 29465 1D-2015-80116051- 9/1/2015 9/4/2015 Second Cl BD-116051 Brian Dahlen Consumer Herat Hirat Afghanistan Southern Asi

4 24598 IN-2017-CA120551- 3/22/2017 3/29/2017 Standard tCA-120551 Cathy Armstrong Home Office Herat Hirat Afghanistan Southern Asi:

5 24597 IN-2017-CA120551 3/22/2017 3/29/2017 Standard (CA-120551 Cathy Armstrong Home Office Herat Hirat

6 29464 ID-2015-8D116051 9/1/2015 9/4/2015 Second Cl:BD-116051 Brian Dahl Consumer Herat Hirat

7 28879 ID-2015-A1107801-¿ 4/19/2015 4/22/2015 FirstClass AJ-107801 Anthony Jacobs Corporate Kabul bul

8 27993 IN-2017-GM144551 8/1/2017 8/5/2017 Standard (GM-144551 Gary Mitchum fome Office Kabul Kabul

9 28967 IN-2017-VB217451~ 12/11/2017 12/15/2017 Standard (VB-217451 Victoria Brennan Corporate Kabul bull

10 29492 IN-2016-LO171701- 9/24/2016 9/28/2016 Standard (LO-171701 Lori Olson Corporate Kabul Kabul

11 28966 IN-2017-VB217451- 12/11/2017 12/15/2017 Standard (VB-217451 Victoria Brennan Corporate Kabul Kabul

12 25232 1D-2015-SS201401-¢ 12/16/2015 12/20/2015 Standard (SS-201401 Saphhira Shifley Corporate Kabul Kabul

13 23222 IN-2017-AA103751 7/10/2017 7/15/2017 Second Cl:AA-103751 Allen Armold n3úi Kabul Kabul

14 29094 IN-2015-BG110351 9/28/2015 10/4/2015 Standard (BG-110351 Barry Gonzalez Consumer Kabul Kabul

15 28265 IN-2016-AH105851- 11/27/2016 12/1/2016 Standard (AH-105851 Angele Hood nsui Kabul Kabul

16 27278 IN-2016-CS118451-| 1/18/2016] 1/20/2016 FirstClass CS-118451 Cari Sayre Corporate Kabul bul

17 27279 IN-2016-CS118451-+ 1/18/2016 1/20/2016 FirstClass CS-118451 Cari Sayre Corporate Kabul Kabul Afghanistan Southern Asi:

18 29096 IN-2015-BG110351 9/28/2015 10/4/2015 Standard (BG-110351 Barry Gonzalez nsui Kabul Kabul Afghanistan Southern Asi:

19 23219 IN-2017-AA103751 7/10/2017 7/15/2017 Second Cl:AA-103751 Allen Armold Consumer Kabul — Kabul Afghanistan Southern Asi:

20 28276 IN-2014-AH105851- 11/30/2014 12/3/2014 FirstClass AH-105851 Angele H: Consumer Kabul — Kabul Afghanistan Southern Asi

21 29585 IN-2015-DW131951 6/5/2015 6/10/2015 Standard (DW-131951 avid Wiener Corporate Kabul Kabul Afghanistan Southern Asi:

22 23951 IN-2014-R$194201-4 8/16/2014 8/18/2014 First Class RS-194201 Ricardo Sperren Corporate Kabul Kabul Afghanistan Southern Asi:

23 24892 IN-2017-TS213401-« 12/23/2017 12/28/2017 Standard (TS-213401 Toby Swindell Consumer Kabul Kabul Afghanistan Southern Asi

24 20728 IN-2017-JG151151-‹ 10/24/2017 10/27/2017 First Class JG-151151 Jack Garza Consumer Kabul Kabul Afghanistan Southern Asi:

25 28883 IN-2016-SU206651- 9/17/2016 9/20/2016 Second Cl:SU-206651 Stephanie Ulpright Home Office Kabul Kabul fghanistan Southern Asi:

26 25230 1D-2025-SS201401-¢ 12/16/2015 12/20/2015 Standard (SS-201401 Saphhira Shifley Corporate Kabul Kabul Afghanistan Southern Asi _

‘Orders | Retums | People oe "¬ ‹ : : ›

Pim = Type here to search

2.4 Bai thwe hanh sé 1: ETL nap dé liéu nguon tir file Excel va chuyén vao dir ligu dich SQL Server

A Tur IDE visual studio vao File-> New project -> Integration Services Project

ee accessed templates will be This project may be used for b g high performa ta iteration and

yea inere workflow solutions that can also be run/debugged on SSIS Platform-as-a-Service

PaaS) if Azure Data Factory

Integration Services Import Project Wizard

ration Services (SSIS) project that is deployment file

ou cresting anew

ting one Import from a

Oje‹ spac extension) or tion Services catalog on an ifistance of SQL Server Integration Services Project

This project may be used for building high performance data iitegration and workflow solutions that can be run on SSIS catalog, induding extraction, transformation, and loading (ETL) operations for date warehousing

A project template for eating a Bi febAssembly and is

y ASP.NI with rich dynamic user ifterfaces (U

an be used for web apps C8 — Unưx

oS Blazor Server App

l : E macOS Windowz

® Type here to search

7lPage

B Đặt tên cho dự án

ĐỔ File edt \ n x

- =

2 UveShare #P

Configure your new project ——¬

Integration Services Project

| 2 Type here to search

C Kết quả sau khi tạo dự án

BỘ File Edit View Git Project Build Debug Format Test Analyze Tools Extensons Wiadow Hep Search (Ctr!) ` ETLERP oe - 3 x : E3 « Œ% Mã dề © =] Develop + Defouk + b stat >| me), t2 LweShue

@e Data Flow Task £2] Solution 'ETL_ERP* (1 of 1 project)

đổ Execute SQL Task + ETLERP

4 Common @ Project params

@ Analysis Services Proce f@! Connection Managers

BF Bulk Insert Task 4 @@ SSIS Packages

&) Data Profiling Task B Package.dtsx

"BL Execute Package Task 4 Gl Pockage Parts

{0 Execute Process Task ta Control Flow

@® FIP Task f@ A2u10 Storage

® Hadoop File Systern Task ‘olution Explorer ^^

B Hadoop Hive Task >

B Hadoop Pig Task

& script Task

® Send Mail Task

Provides convenient access to

your favorite elements so that đ KÝ ae they are only a click away Right-click here to add a new connection manager to the SSIS pockage “a

Specifies the name of the object

— Tab Control Flow luéng diéu khién dé t6 chire diéu hudng cac luéng dit liéu (Data

Flow)

— Tab Data Flow luéng diéu khién di ligu

— Tab Parameter tham sé

— Tab Event Handlers trinh xu ly sy kién

8lPàge

— Tab Package Explorer khám phá gói

D Sử dụng điều khiến Control Flow Task thiết kế cho Tab control Flow như sau

Data Flow Task: @§ Dimlime

a Excel source (1) — pa Derived colurmn( 2) —— re Aggreoate( +

Destination

K- peered (2 «+— ty Script Component( 5 ) +———— Ut sol *)

1 Nạp dữ liệu tir file Excel chon sheet Order

2 Tạo cột dân suat

9|Page

Input Cokznn Output Alias Operation Comparison Flags ‘Count Distinct Seale Count Distinet Keys

| Ordervesr OrderYear Group by

OrderQuarter OrderQuarter Group by

OrderMonth OrderMonth Group by

OrderDay OrderDay Group by

ShipYear ShipYear Group by

ShipQuarter ShipQuarter Group by

ShipMonth ShipMonth Group by

ShipDay ShipDay Group by

OrderDay

ShipYear

ShipQuarter v

Input Column Output Alias Operation Compat

| OrderYear | OrderYear Group by

OrderQuarter OrderQuarter Group by

OrderMonth OrderMonth Group by

OrderDay OrderDay Group by

ShipYear ShipYear Group by

ShipQuarter ShipQuarter Group by

ShipMonth ShipMonth Group by

ShipDay ShipDay Group by

1 Sort Transformation Editor

#T Script Transformation Editor oO

Access Microsoft Visual Studio Tools for Applications (VSTA) to write scripts using Microsoft Visual Basic 2019 or Microsoft

Visual C# 2019, and configure component properties

Script

Input Columns

Inputs and Outputs

Connection Managers Inputs and outputs:

Specify column properties of the script component

‘Y Common Properties

ComparisonFlag Description ErrorOrTruncatio ErrorRowDisposi RD_NotUsed

ID 218 IdentificationStri Script Component.c

218

Lineageldentifice Script Component.C

MappedColumn 0 Name TimelD SpecialFlags 0 TruncationRowD RD_NotUsed

Y Data Type Properties

LineagelD

CodePage 0

Length 0 Precision 0

S&F Script Transformation Editor

Visual C# 2019, and configure component properties

Input Columns

Inputs and Outputs -

Connection Managers) Properties:

Includes and runs custom script code For example, a

Includes and runs custom script code For example, a

206

Script Component True Vietnamese (Vietnam)

row that is currently passing t

public override void Input@_ProcessInputRow(Input@Buffer

F Su dụng các điều khiên trên thanh công cụ thiết ké cho Data Flow cho Control Flow Task (DimLocation)

Bio Control Flow #tÈ, Data Fl0w

@ Parameters J Event Handlers “= Package Explorer} Execution Results

Data Flow Task: iw DimLocatins

xs Excel Source —— gh Aggregate —— » UT Sort

s- ADO NET Destination

f

‹4——— | Script Component

13lPage

G Sử dụng các điều khiến trên thanh công cụ thiết kế cho Data Flow cho Control Flow

Task (DimCustomers)

Data Flow Task: §@§ DimCustomers

AmMỀI

gu Aggregate

Ut Sort

(BE 400 NET Destination am

H Sử dụng các điều khiển trên thanh công cụ thiết kế cho Data Flow cho Control Flow Task (DimProducts)

Bq Control Flow tđề Data Flow

Data Flow Task: |ẩ§ Dim2roduds

xs Excel Source — gh Aggregate

Ut Sort (BRE 200 NET Destination _J —

14|Page

| Sw dung cac diéu khién trén thanh cong cy thiét ké cho Data Flow cho Control Flow Task (FactOder)

Ñ cotrd riou RE Poronee EZ] Event Handles Y= Package Emtorer ef

Dota Flow Task: [gig FactOders

8 beisua à ———›,q xa, F———' ì 3

` "E castomer Location ñ

Lookup Match Output 5 Lookup Match Output TỊ

& G@ Columns © G String Functions

Derived Column Name Derived Column Expression Data Type La

¡ OrderYear | <add as new column> YEAR([Order Date]) four-byte signed inte OrderQuarter <add as new column> DATEPART("QQ" [Order Date]) four-byte signed inte

OrderMonth <add as new column> MONTH(Order Date]) four-byte signed inte OrderDay <add as new column> DAY([Order Date]) four-byte signed inte

ShipQuarter <add as new column> DATEPART(*QQ",[Ship Date]) four-byte signed inte ShipMonth <add as new column> MONTH(Ship Date]) four-byte signed inte

< > Configure Error Output OK Cancel Help

15|Page

Location tương tự như Time

Product tương tự như Time

Customer tương tự như Time

4 Lookup Transformation Editor oO »< This transform enables the performance of simple equi-joins between the input and a reference data set

General : : : A

——— Specify a data source to use You can select a table in a data source view, a table in a database

Se ele connection, or the results of an SQL query

Input Column Output Alias Operation Com ^

i Row ID f Row ID Group by

Customer ID Customer ID Group by

Product ID Product ID Group by

TimelD TimelD Group by

Location|ID LocationID Group by

Order ID Order ID Group by

Sales Sales sum

Quantity Quantity sum

Discount Discount sum

Profit Profit Sum

Shipping Cost Shipping Cost Sum

Order Priority Order Priority Group by

Ship Mode Ship Mode Group by

TimelD LocationID

Order ID Sales

9 ADO NET Destination

&« ADO.NET Destination Editor

Configure the properties used to insert data into a destination using ADO.NET provider

Specify a connection manager, data source, or data source view, and select the table or the

J Nhan phim F5 dé chay va két quả như sau

enamel mm Data Flow gt Parameters IE] Event Handlers “"S= Package Explorer Progress

wit tư FactOders

K Dữ liệu đã cập nhật vào các table cơ sở dữ liệu SQI Server

- _ Data Flow DimTime chuyên dữ liệu vào bang DimTime

18lPàge

Data Flow Task: [ii DimTime

- Data Flow DimLocation chuyén dir ligu vao bang DimLocation

8.4 Control Flow ine Parameters {J Event Handlers “= Package Explorer (J Progress

Data Flow Task: |i DimLocatins

- Data Flow DimCustomer chuyén di ligu vao bang DimCustomer

ig Control Flow @ Parameters [EJ EventHandlers “y= Package Explorer (} Progress